齐衡容貌上上乘，待任何人都彬彬有礼，且出身高贵，满腹才华，这样的一名男子自然是许多女子的梦中情人。

然而他却和许多普通男子一样，不敢违逆父母之命迎娶心爱的女子，最终娶了三任妻子都郁郁寡欢。

齐衡的第一任妻子是六王爷的女儿，也就是剧版《知否》中的邕王和邕王妃的女儿嘉成县主。

原著中的老皇帝是有很多亲生儿子的，但是因为一直没有立储引发了朝堂的动乱。

最终老皇帝选择立三王爷为太子，但是三王爷没有子嗣，就直接过继了六王爷的儿子，自此他们一跃成为炙手可热的人物。

而六王爷的女儿嘉成县主第一次见到齐衡，便看上了这位风华绝代的齐小公爷。

齐衡的母亲平宁郡主向来拜高踩低，这样的好亲事她怎么会错过，于是两家一拍即合，不管齐衡愿不愿意，嘉成县主就嫁入了国公府。

六王爷得势之后处事太过于嚣张，竟然胆大妄为残害荣妃的亲妹妹，荣妃深知等他们当上皇帝自己绝对不会有好下场，就勾结四王爷起兵谋反。

虽然最终谋反失败了，但是六王爷与三王爷一家都被杀害了，六王妃和嘉成县主也被凌辱致死了。

齐衡就这样成为了鳏夫。

齐衡的第二任妻子是内阁首辅申大人的女儿申氏。这位申氏虽然长得并不美艳，却也眉清目秀、雅致高涵。

申氏后来知道齐衡喜欢的是明兰，因此嫉妒明兰，多次给她找不痛快。申氏命好，第一胎就生了一对龙凤胎，明兰到齐府参加宴席的时候，申氏故意透露两个孩子被齐衡取名为玉明、翰明。

明兰心惊不已，还以为齐衡是因为她才给孩子起了带“明”字的，其实只是恰巧齐府这一辈都带“明”字。

申氏的这番运作也让明兰与顾廷烨闹了好一阵子的矛盾，冷战了好长一段时间。

不过申氏也是个命薄的，齐衡赴任闽南时，申氏带着两个孩子一起前往，不幸的是在途中因为一场瘟疫，申氏与两个孩子都因此丧命了。

齐衡的第三任妻子是庆宁大公主的嫡孙女，生下两个儿子后也过世了，时年不满三十岁。

原著中对这第三位妻子的描述不多，但是也能从中看出齐衡命中克妻，每任妻子都还正值芳华就都早早的过世了。

在这之后，齐衡也不再续弦，只留下两个姨娘，自己亲自抚养两个儿子长大，同时还要兼顾朝堂，很是辛劳。

后来齐衡为家中的孙子去盛家提亲，求娶盛长柏第四个儿子的庶出女儿，在长柏孙辈中排行老六，也被称为盛小六。

这样的亲事对于盛家来说绝对是高嫁，盛家齐家结亲震惊整个汴京，说起来这个孙女还是沾了盛明兰的光。