而当时跟霍家交好的方家，知道这件事后，一直想要图谋霍家的那份藏宝图，最后方家家主让女儿想办法嫁给了霍家长子。跟霍家长子的婚姻内，又一直在试图勾引有藏宝图的傅家长子。

傅家也一直想私吞藏宝图，便伙同方素宁残害了霍家长子，灭了霍家，拿走了藏宝图。可是那时候方素宁发现她怀孕了，是霍家的孩子，而且她还发现，姓傅的只是利用她，所以，她把藏宝图藏了起来。