玄龄死后，嫡长子房遗直嗣父亲梁国公的爵位，对此，高阳公主很不满意，觉得自己丈夫的地位太低了，因此要挟，让房遗爱袭爵。
不过这绝非是件小事，纵使唐太宗宠爱高阳公主，也不可能让自己的女儿如此胡作非为，所以并没有允许，父女俩之间也就有了隔阂。
后来房遗爱和高阳公主的感情生变，高阳公主对他的态度愈发冷淡，甚至经常对他颐指气使，把他当成是下人使唤。
不学无术的房遗爱久居高位，哪里受得了这种气？要是换个人这样对他，房遗爱怕是马上得发飙，奈何这个对他呼来喝去的人是皇帝的女儿，他也无可奈何，只能默默忍气吞声。
直到一次高阳公主外出游玩看到了出家僧人辩机，辩机是个和尚，还是一个年轻俊美的和尚，更是一个在当时的同龄人中出类拔萃的和尚。
高阳公主一下就被他身上的气质给吸引了，这一来二去嘛，自然是郎有情妾有意，勾搭到了一起。
可怜房遗爱这个驸马爷，就成了摆设，脑袋上面挂着一顶绿油油的帽子招摇过市，只不过这顶帽子的颜色一开始只有他自己知道，而且是他心甘情愿的。
据说有时候高阳公主和辩机和尚私通的时候，房遗爱还没事给他们站岗。