盡管如此，趙雖然在戰略分析與決策上已經顯示出極高的天賦，但要說到政治斗爭的伎倆，和那些官場上混跡多年的老油條們相比，還差得很遠。只要暗中串聯，耐心滲透，他們並不是沒有機會。
然而，趙身邊雲集了一批當世杰出的人才，還有在外人看來神秘莫測的內衛系統，再加上衛王府相較大宋其他的官府而言極高的工作效率，使得他們不敢輕易下手，萬一被趙過早覺，那他們就再也沒有機會了。
但士大夫階層數百年的積澱不是假的，其中不乏一些老巨滑之輩，他們很快就現了衛軍管理模式中的漏洞，那就是決策權太過集中了。趙當初建立衛軍時，為了防止衛軍走上舊式軍隊軍閥化的老路，雖然在執行權上盡量下放，對于決策權卻抓得很緊。即使他後來現，一旦自己生病或是外出，衛王府的運轉就會出現大問題，也只是讓虞允文在他不在時有限地代其決策。
之所以只給有限的授權，倒不是由于趙像歷史上的那些「聖君」一樣不放心臣子，而是因為在趙看來，虞允文的才能雖然在自己之上，可是他畢竟是在這個時代長大成*人的，甚至可以說他完全就是一個符合儒家道德典範的謙謙君子，盡管自己已經作了很大的努力令其有所改變，但兩人的思想路線還是多少有些分歧的，一旦授權過大，趙制定的國策便很可能遭到破壞。
不過雖然沒有得到足夠的權限，由于事關國運的重大決策並不常見，以虞允文得到的授權，也完全可以將衛王府與衛軍的各項運作打理得井井有條。即使虞允文也遇到變故，趙的幕僚們應付一下日常事務還是沒有問題的。可是這次趙離開大宋實在太久，這就出了問題，因為看似完美的虞允文，終于被那伙人找出了一個要命的弱點
其實趙也不是沒想過設立一個機構以分擔自己身上背負的重任，但是現在改革才開始沒幾年，尚未培養起足夠數量的既得利益者，如果過早地推行上層民主，只會使改革很快偏離原有的方向。但趙還是太年輕了，思慮難免不周，他既然有這樣的顧慮，就不該離開大宋那麼久。也許是因為長久以來背負了太大的心理壓力，趙來到廣袤無邊的西域之後，第一次從那種即使成年人都難以忍受的精神重負中解拖出來，確實有點樂不思蜀了
瀏覽著異域的風情，享受著在無邊草原上策馬狂奔的快感，無聊了還能調戲一下未成年的可愛蘿莉（趙開始磨他的匕，「該死的作者，再亂寫我捅死你」），還不用听爹娘的嘮叨，趙這幾個月里過得的確很開心，但若早知道會是這樣的代價，恐怕他說什麼也不會在國外如此拖沓了
虞允文是天下少有的大孝子，他的母親此時已經亡故，但體弱多病的老父仍然健在，不過由于改革大計離不了他，虞允文這幾年來難得回家一趟，盡不到人子的孝道，心中一直內疚萬分。而趙的反對者們正是抓住了這一點，令虞允文陷入了巨大的痛苦之中。
虞允文的父親虞祺是朝廷的御史，人品端方、清正廉潔，他當年因為兒子的緣故從川陝地區調入中樞，現在卻已是大宋清流之中的重要人物。這足以看出虞祺的才能和人品，隨著官職的提升，和清名的遠播，虞祺與那些士大夫的上層人物交往日益頻繁，而那些人中的大部分卻都是趙改革的反對者。虞祺不是聖人，自己又本來就是士大夫階層的一員，時間一長，思想不免受到了那些人的影響，而越來越與整個階層趨同起來。
盡管如此，虞祺一開始對兒子積極參與的改革還是保持肯定態度的，畢竟百姓溫飽、國庫充裕、外戰節節勝利的事實擺在那里，作為一個心懷百姓的士大夫楷模，虞祺對此還是十分贊許的。但隨著改革的深入，在那些「友人」的提醒和暗示下，虞祺漸漸現改革似乎越來越針對他們這些士大夫，心中自然有些不滿了。而虞允文的回答就更加令其惱火，听到兒子說那些政策是為了國家的長治久安，虞祺頓時有種被抽了耳光的感覺。打壓排擠士大夫的政策「利國利民」，這不是等于在說他們這些士大夫們是「禍國殃民」的嗎？
心中有氣的虞祺在一開始只是不斷對改革措施挑刺，這在無意中到倒反而幫了虞允文一把，使其修正了一些因為趙調查研究不夠就想當然搞出來的政策，令趙的改革舉措得到了更好的反響，民眾之中反對改革的也日益減少。結果虞祺辛苦忙活一場，反倒幫了改革的大忙，在對自己無意中為百姓做了些實事而感到欣慰的同時，也愈地對這場一開始並不引人注意，如今卻日益影響到整個大宋的改革不滿起來。
雖然在這個時代，父母之命兒女是不敢有違的，但虞允文在二十來歲的時候就已經成為趙的老師，與其朝夕相處，後來又長期為其辦事，在趙堅持不懈的努力下，不知不覺間已經受到了他相當大的影響，孝順歸孝順，未必就會因私廢公（盡管虞祺認為這「公」不過是「小公」）。
再加上虞允文自小性烈，本來虞祺不欲讓其過早參加科舉，就是為了消磨他的火氣，沒想到他的計劃卻被不知從哪兒得知虞允文存在的趙給破壞了，而且還上過早地執掌大權、甚至當上了丞相，地位的提高也對虞允文的心態多少有些影響，結果現在的他火氣比當初離家時還大。
在這種情況下，虞允文雖然很孝順，也未必會听從他父親命令式的要求，如果不注意說話的語氣和方式，弄不好反而會有反效果。于是，在某些別有用心的友人暗示下，虞祺想出了一條「妙計」，那就是對服侍其起居的下人借故找茬，將他們打走人，逼虞允文親自服侍。
老頭的戲演得很逼真，奈何趙走後，衛王府的公事全都壓到了虞允文一人頭上，對于家中出現的問題，他根本無暇顧及，只是讓相府里的官家多費點心，找些能夠讓父親滿意的下人。這種情況是虞祺完全沒有想到的，在那些不懷好意的「友人」反復調撥下，虞祺雖然一向了解兒子，卻也開始懷疑虞允文如今的孝心，不由心生怨憤，再加上年事已高，結果這一氣之下居然中風了
虞允文是至孝之人，當初母親病故時他因為公務纏身而沒能盡孝，結果竟成永別，這令他一直到現在都內疚萬分。現在父親竟然又因為自己未能盡孝而一病不起，虞允文心如刀割，很快也跟著病倒了。雖然虞允文身子強健，但正所謂「心病還須心藥醫」，急切之間很難痊愈。何況現在的虞允文只想終日陪伴父親，以贖前罪，實在沒有處理公務的心情，便向趙構遞上了辭呈，然後陪著父親一起返回了四川老家。
至于趙，現在一時間聯系不上，虞允文只好等其歸來後再向其致歉了，反正一般的公務沒有他在，衛王府的官吏們也完全可以處理，只是沒他在的時候完成得那麼完美罷了。虞允文完全沒有想到，他的離去使得衛王府的危機處理能力大幅度下降，而一個蓄謀已久的政治陰謀則剛好抓住這一時機，隨即如疾風驟雨般展開