褚遂良的家中，長孫無忌來訪，褚遂良當然是歡喜的迎接，張敬，刑封還有何清楓三人都抓不到褚遂良的一點把柄。那是因為褚遂良真的十分廉潔，他不貪財，不，唯一一次受到的處分還是在永徽元年，因為買房子出的事情。
都知道，大唐的首都長安，是古代著名的國際性大都市，天下四海的賢才商旅、各國的使節和留學生都匯聚于此，也是當時世界上人口最多的大城市。和古往今來大部分國際大都市一樣，在長安生活也有一個突出的問題︰房價太貴。
當時唐朝長安城的房價可謂「天價」，非長安本地的官員一般要到五品（廳局級）以上才有買房子的可能。而大部分官員要麼是借住在朋友或者大戶的家里，要麼就是租房住，比如唐朝著名的大詩人白居易就在長安當了近二十年的「蝸居族」。
因此長安的房價在唐朝是個很敏感的社會問題，中央朝廷針對房價問題也出台了各種法律規定和政策措施，其中一條法律就是禁止達官貴人憑借自己的權勢以低于市場的價格來購買房屋，違者要判處徒刑。可褚遂良偏偏在這個問題上出了事兒。
永徽元年（650年），時任中書令的褚遂良以極低的價格強買自己屬下一名譯語人（翻譯）在長安的房屋，結果遭到了一位御史的彈劾。最後卻判處褚遂良繳納罰款20斤黃銅（約合現在7500元，不到褚遂良強買房屋省下費用的十分之一）。
但這個處罰卻沒有執行，因為褚遂良在沒結案的時候就以宰相的待遇出任同州（今陝西省渭南市大荔縣）刺史。過了一段時間，褚遂良重新回到朝廷擔任宰相。而褚遂良回京後做的第一件事就是把之前彈劾自己的御史給貶到外地當縣令了。
「褚遂良強買房屋案」雖然不是一件大案子，但是在這個案件處理的過程中可以明顯地看到長孫無忌集團的活動已經開始凌駕于國家律法和社會公理之上。李治因為長安的「房價」開始警惕長孫無忌、褚遂良集團，這也為他們後來的失敗埋下了伏筆。
要說褚遂良無懈可擊那也是不對的，因為褚遂良其實是有自己想要的東西的，有人一定會問，那是什麼？
兩個字，黨爭。
這位褚遂良太喜歡權利了，也因為喜歡權利，所以他不惜黨爭，貞觀二十一年，褚遂良的父親褚亮去世，褚遂良回家守孝一年。貞觀二十二年，褚遂良被起復，同年被任命為中書令。從這時開始，褚遂良成了唐朝內部權力最大的人之一。
貞觀二十三年，李世民去世，李治登基。李世民去世之前，曾托孤于長孫無忌和褚遂良。就連李世民的遺詔，都是褚遂良寫的。李世民去世後，李治對他先貶後用。先是貶為同州刺史，外放三年後，再次調回京城，擔任吏部尚書。永徽四年，升至尚書右僕射，達到了權力頂點。
但是，在這個過程當中，不管是被外放還是被召回，褚遂良始終都堅持自己的黨爭習慣。
李治登基後，以長孫無忌和褚遂良為首的老臣黨，無疑是朝堂上最大的一股勢力。
但在接下來的幾年里，作為老臣黨的領袖，褚遂良和長孫無忌依然不肯止步，依然想靠黨爭奪取更多的權力。
這次的房遺愛案，其實就是是褚遂良和長孫無忌想要將家宗室內部的所有實權派，全都清理干淨跟著就是他們老臣黨一家獨大。
只要這樣之後，那麼老臣黨在朝堂上，幾乎堪稱無敵。就連皇帝李治，都要盡可能地听命于他們。老臣黨的政令，可以毫無阻礙地通行全國。褚遂良的政治抱負，也可以順利施行。
可惜呀，這群老臣黨完全就是忘記了，他們爭取權力的目的，或許只是為了更好地辦事。但他們的黨爭之舉，卻嚴重威脅到了李治的皇位。
李佑一出現，李治都不用想，就直接倒向了李佑，而且還是堅決不已，一點都沒有猶豫，說真的，這就是老臣黨的錯誤之處，他們太愛權利了。
愛著權利，還將皇帝當成傀儡，拼命的將皇帝的羽翼給剪除，最蠢的是還不想造反，嘿嘿那你就是找死，要麼你就直接反，要麼你就臣服。
可以這麼說，所有當權臣的人都沒有好下場。
權臣為什麼會沒有好下場，是因為權臣貪贓枉法了嗎？是！最後被處置的理由都是貪贓枉法。說到底最終的原因是權臣侵犯了皇帝的權力。
歷史上有很多權臣之所以成為權臣完全是被逼無奈，要保證改革成效，要成功挽救帝國大廈之于將傾，就要避免權力過于分散導致的拖後腿，最後就只會成為權力集身的權臣。
一個臣子將權力集于一身，置皇帝于何處！皇帝的決定與改革策略相悖，權臣陰奉陽違，或者當面否決，讓皇帝臉面何存！
所以褚遂良和長孫無忌的後路已經注定了，這次來到褚遂良的家中，長孫無忌也是十分的憋悶，這次的房遺愛案算是賠了夫人又折兵。
不但讓李佑有了回長安的借口，並且還讓一大波皇室直接投向了李治這邊，走進了褚遂良的書房長孫無忌還沒有坐下，就事先的嘆息了一口。
「登善我們沒有做錯吧。」
褚遂良字登善，長孫無忌喊了一聲褚遂良的字，表示兩人的親厚，這邊的褚遂良听到了長孫無忌的嘆息聲，連忙的扶著長孫無忌坐下道︰「閣老我們沒有錯，那些人都是潛在的威脅，可是陛下太年輕了，一被齊王殿下蠱惑就著了道。
現在我們不但不能心灰意冷，還必須要更加的往前一步，一定要克制死齊王殿下，不能讓齊王殿下將大唐帶往深淵。」
「深淵嗎！」長孫無忌淡淡的看了一眼褚遂良道︰「登善，剛剛宮中傳來消息，說武媚娘有意向我們示好，我們要不要接納武媚娘的示好呀？」
長孫無忌看向了褚遂良，而這個時候，褚遂良卻露出了一絲玩味的笑容