显庆三年（公元658年）正月，李治下诏实施新礼仪《显庆礼》。褚遂良在爱州（治所在今越南清化）刺史任上去世。同年四月，洛阳人李奉节告太子洗马韦季方、监察御史李巢结党营私，李治命监察御史许敬宗与侍中辛茂调查审判。许敬宗拷打韦季方后得到长孙无忌意欲叛变的口供。许敬宗上疏李治说韦季方打算联合长孙无忌趁机叛变，夺取政权，而今怕事情泄露，韦季芳已畏罪自杀。李治命许敬宗再作细致的查证，许敬宗再次回复长孙无忌叛变属实。 显庆三年（公元658年）四月二十二日，李治下诏剥夺长孙无忌太尉及封爵采邑，出任扬州都督，但软禁黔州（重庆市彭水县），以正一品官位待遇供应饮食。许敬宗又上奏说长孙无忌反叛是褚遂良、柳奭、韩瑗教唆煽动，于志宁也是长孙无忌一党。于是，李治下诏追夺褚遂良的官职爵位，开除柳奭、韩瑗[yuàn]的官籍，免掉于志宁的官职。长孙无忌的儿子驸马长孙冲等，全部开除官籍，流放岭表。褚遂良的儿子褚彦甫、褚彦冲，流放爱州，在中途全被诛杀。
