说到这里，谈让猜测李成没跟他说实话。祁王既然有心保林氏，必然安排的很充分，李成在护送之列，他跟众人都没走散，怎么偏偏就林氏走散了呢？一方面谈让认为，“走散”是林氏自己的意思，二来他觉得，也是李成顺水推舟故意安排的。
林氏那个人，谈让再了解不过，她能狠下心来糟践自己，虐待亲子，令谈让成为世人眼中的笑柄，恐怕也不会稀罕那所谓的祁王继承人的身份，恐怕从一开始她便想放弃这一切，宁肯逃出来过苦日子。
她的心思没能瞒过他们，李成很聪明，孩子没落地，生死权全在林氏手里，强迫是不成的，她就算跑不掉，可能也不会听话把孩子养成人，且祁王遗腹子这个身份本身就是一重危险，万一被什么人知道了，反而不容易保护。
于是李成便将计就计，干脆将这孩子隐藏在洛阳城的大家族里，这样没有人会怀疑他们的身份，没有人能威胁到继承人的安危，而且孩子成长在权力中心，于日后复国也有利。他挑中了安伯侯一宗，故意引“走散”的林氏与谈政相识，以林氏之貌吸引一个谈政不难，而林氏当时走投无路，为了腹中之子，肯定会选择委身于他。
故而林氏与谈让看似被埋没在谈家后院，实则都在李成掌握之中。或许后来的林氏也回过味来，所以才极尽所能的令谈让长成个废物，断绝一切被他们利用的可能，只是天不从人愿，谈让太聪明，即便在那样的环境里长大，也没成个废物，甚至自己便有了一逐天下的