趙如今雖然不在國內，但衛軍強大的實力與其本人極高的人望卻不是假的，所以這些士大夫們必須先取得道義上的正義性才行。按理說以趙構對兒子的寵溺，應該不可能支持他們的行動，但是這位如今有了第二個兒子的大宋皇帝，較之當初全力支持趙這獨生子的時候，心態不可避免地有了一些變化。
因為虞允文辭職而被重新起用的張浚，敏銳地抓住了趙構膽小多疑的性格，向其諫言道，說趙雖然驚才絕艷，卻也將祖宗傳下來的規矩破壞得一塌糊涂，歷數史上所有的變法，有幾個成功了的？而且即使變法成功最終了，那些變法之人又有哪個能有好下場的？
趙構本就不是一個勇于開拓的皇帝，一听之下頓時心生憂慮，尤其是當張浚提到歷史上令一代雄主趙武靈王晚節不保、最後甚至活活餓死的「沙丘之變」時，趙構的心情就愈不好起來，因為這在無意中觸及了一個他此前一直不必擔心的嚴重問題，那就是諸子爭位。
如果潘賢妃是皇後，或者趙構還是只有趙這一個兒子的話，那麼這個問題就根本無須過慮，最有資格的皇子同時也是能力最強的皇子，那是再好不過了。可現在趙構有了第二個兒子，而且還是皇後所生，情況就大大不同了，因為那個剛被取名叫作趙敖（注1）的嬰兒才是更有資格成為儲君的嫡子
趙構雖然對趙善良的本性很有信心，但他也深知「人在江湖，身不由己」的道理，何況當初趙也對他說過，「當年太祖爺爺，難道不是周世宗的忠臣嗎？」。趙如今已經有了自己的勢力，為他效忠的大有人在，這些人為了自己的功名富貴可是什麼事情都干得出來的。
而且現在兒子又許久不在自己身邊，長期在那些人的影響下，說不定日後歷史上生過無數次的慘劇將會再次上演，這是趙構絕不願意看到的。另外，趙的個性與大宋歷代皇帝普遍只顧個人享受而權力欲則不太強的特點全然不同，就更加增大了這種可能性，之前大宋處于危機時，趙構對于兒子的創新不得不大力支持，但現在大宋舊土全復，而且版圖更勝從前，亡國的危機顯然已經不復存在。在這種情況下，趙構先想到的自然是保住已經取得的成果，而不是繼續冒險嘗試新的改革，所以父子之間的分歧日間增大。
而趙這次不告而別，居然一下子跑到了萬里之外，趙構為兒子的安全擔憂的同時，也更加對他的未來感到不安，畢竟中國歷史上還沒哪個喜歡標新立異的皇帝最後能有好下場的。何況趙此舉實在太不負責任，雖然因為年齡的緣故，趙構多少可以諒解兒子的行為，但這樣一個連招呼都不打就跑到天涯海角去的太子，真的能夠成為一個合格的皇帝嗎？一直以來都對兒子信任有加的趙構，第一次對他將來是否能夠盡到皇帝的職責，產生了懷疑
由于宋代長期的「虛君實相」傳統，趙構一直認為，一個皇帝並不需要有多麼杰出的才能，他只需在丞相犯錯的時候將其罷官，干得不錯的時候繼續留用即可，同時記住一定要選擇丞相的對頭擔任御史中丞，以維持權力的平衡。只要堅持這一原則，哪怕一個傻子，都能將皇位坐得很穩，而如果皇帝意圖親自干涉國是，則往往沒有什麼好結果，神宗皇帝就是很好的例子。
何況現在趙構已經隱隱約約感覺到，兒子所謀甚大，恐怕遲早會對大宋「與士大夫共天下」的國策開刀，那可是傷筋動骨的事，趙構可沒魄力冒這麼大的險。雖然擺拖士大夫們的掣肘，恢復歷朝歷代至高無上的皇權，的確是一個很大的誘惑，但在一直接受宋代傳統教育的趙構看來，集權制度雖然有時可能會造就出威服異域、萬國來朝的盛世景象，但更多的時候卻會令國家陷入戰亂和不安之中，對百姓來說還不如過過沒有戰爭和暴君的太平日子更好。
趙顯然不可能成為這種和傀儡沒多大區別的皇帝，他到目前為止的所作所為，無不透出他想要改變整個大宋的強烈願望。以趙的能力，也許確有很大可能改革大宋積澱已久的弊政，但趙構卻很擔心，如果為了這些「細枝末節」的東西而動搖大宋的國本，恢復過去那種「其興也勃焉，其亡也忽焉」的皇帝集權制度（注2），是否真的值得？但趙構卻不知道，若不是這個時候的趙已經與歷史上那個早夭的幼兒大大不同，按照大宋原有的制度維持下去，中國雖然內部可以長期保持穩定，但卻遲早是要亡于外族之手的
基于這些擔心，再加上張浚等人的不斷挑撥，趙構開始覺得，早早確立趙的太子之位、並全力支持他，未必是一件好事。因為若是趙將來登基坐上皇位以後愈一意孤行，士大夫們便肯定會擁立更符合宗法制度的趙敖。到時候內戰必起，不但百姓將會流離失所，而且兄弟相殘的慘劇也會再次上演，這是身為父親的趙構絕對不想看到的。
注意到趙構內心的動搖，張浚立刻不失時機地進諫，先以「玄武門之變」的例子進一步加深趙構心中的不安，再以其後李世民立儲的例子為佐證，勸諫趙構早作決斷。張浚說，當諸子爭位時，最好的辦法就是立其中最弱的那個為儲君，因為他最有可能放過自己的兄弟，比如歷史上李世民最後選擇諸子之中最弱的李治為太子，就是基于這種考慮。由于有唐太宗這樣的千古明君作為示範，趙構很自然地傾向于接受張浚的看法，渾然忘記了這段歷史的全部真相，李治的確心軟，但當初諫言立他為太子的長孫無忌卻毫不留情地將李世民其他的兒子甚至是女兒殺了個干淨（注3）
不過趙構深知自己要真的這麼做了的話，趙心里必定會受到很大的傷害，多少有些不忍，再加上他的個性本就有些優柔寡斷，所以遲遲下不了決心。張浚知道話已至此，再說下去只會起反效果，畢竟趙構並不愚蠢，提得多了遲早會現話中的問題。
注1︰趙的「」字其實是敷的異體字，何況「方」本來就極少被用作部，所以本書中以反文旁作為他們兄弟的排行。至于趙構給二皇子起名為「敖」，是希望他日後能夠快快樂樂地生活，而不必再像他的父親和哥哥一樣飽受憂患，這也是為人父母的一點小小的心願，正如他當初給趙取名，以希望他從此少受病患折磨一樣。
注2︰宋代的制度雖然缺陷很大，但若沒有強大的外來威脅，內部是相當穩定的。事實上，即使長期面臨巨大的軍事壓力，宋代也維持了三百多年，是漢代以後歷朝之中最長的。所以基本上可以得出結論，宋代確實已經解決了中國古代王朝興衰周期律的內因，但卻是以外因解決得更差為代價的
注3︰李恪等人明白無誤是長孫無忌殺死的，罪名是謀反，他們又沒有軍隊，鬼才相信會造反，即使是真的，也肯定是被逼的。而李泰等人正是年富力強的歲數，高宗即位沒多久就一個個死了，長孫無忌的嫌疑實在很大，後來武則天的出現，也算是報應