郭逵謝過即行，與趙一同前往。這時交趾發出布告，傳到京城，聲稱︰「中國行新法，擾民生，因此特地出兵，來救濟百姓」等話。王安石見了自然憤怒，因此親自寫文，極力駁斥。王安石下令郭逵，要他傳檄給佔城、佔臘二國，夾擊交趾。
郭逵此時已率軍走到潭州，當即依令傳檄，並派遣裨將去攻打欽、廉兩州。他和趙向西進發，到了富良江，就接到了欽廉捷報，兩州已經收復。郭逵乘勢進兵，到了江邊。他遠遠看見敵艦紛紛來到，帆檣像樹林一樣成列，艦中滿載著兵甲，來勢非常銳利，倒不禁疑慮起來。
郭逵于是和趙商議道︰「南蠻狡悍，鼓足勇氣前來，急切間難以和他們爭鋒，看來我軍是不能迅速渡過去了。應如何設法，方可破敵？」郭答道︰「不如先造好攻戰的用具，毀壞敵軍戰船。我們再出奇兵攻擊，如此說，我就不擔心不能取勝。」郭逵欣然說道︰「就照此辦理！請你督促各部施行便是。」
趙唯唯應承而出，當即派遣將吏，上山砍伐樹木木，制成工具，運到江邊，用石發機，拋擊出來的石頭如雨。交趾的戰船對此毫無預防，突然遭到打擊，頓時帆折檣斷，七顛八倒。趙早已準備好大竹筏，挑選出精銳士卒一萬多人，登上木筏，發動急攻。
宋軍奪得了戰船幾十艘，斬殺了一千多首級，各自回報，獻功陳績。趙大喜，一一記錄，轉達郭逵。郭逵于是上奏告捷，又和趙商議道︰「我軍此次大獲全勝，賊人應該已經喪膽。我們正好乘勢進攻。只是我軍遠來，觸犯了煙瘴，非死即病。昨日我已經派吏查核，我軍本來有八萬人，現在已經死亡過萬，有一半也是病疫，這卻如何是好？」
趙說道︰「既然如此，不如暫時不渡富良江，就在江北安營扎寨，借此示威。如果李乾德肯來謝罪，我等就得休便休了！」郭逵點頭說道︰「我也上這般想的。」于是他停兵不渡，分兵攻佔了廣源州、門州、思浪州、蘇茂州及桄榔縣。李乾德大為震懼，于是遣使上表，到郭逵的營門納款投降。
郭逵、趙于是便與來使議和，班師還朝，群臣相率稱賀。趙頊諭改廣源州為順州，赦免了李乾德罪，又追劇沈起、劉彝兩人開釁邊疆的罪狀，安置于隨、秀二州。不久，李乾德遣使進貢，並歸還所掠的兵民。宋朝因為李乾德悔罪投誠，于是把順州賜回給他，
接著又還他二州六縣。
交趾事情了結，王安石也被罷相。原來呂惠卿出任陳州之後，王雱氣憤難消，總想對付這個小人。但是此事被呂惠卿得知，于是上奏稱王安石假傳聖旨，欺君罔上，以及王雱陷害他的情況。趙頊于是拿給王安石看，王安石自然為兒子辯解。
王安石回家之後，急忙詢問王雱。王雱也沒有抵賴，還說必須把呂惠卿弄死，才能泄心頭之恨。頓時父子爭執不休，大吵一場。王雱因此郁郁成疾，突然得病，很快喪命。王安石悲痛欲絕，多次請求解職。
御史中丞鄧綰擔心王安石一離開，自己必然會失勢，于是力請慰留王安石，在京師賞賜府邸給他。趙頊心滋中不悅，轉問王安石。王安石看出趙頊的心意，當即奏道︰「鄧綰為國司直，卻替宰臣請求恩賜，大傷國體，應當問罪遠斥。」趙頊于是責備鄧綰論事薦人，不守本分，降他為虢州知州。
王安石繼續申請辭職，趙頊見他去意已決，也就答應了。趙頊讓王安石以使相的身份，出任江寧府通判，接著又改為集禧觀使。王安石退住金陵，往往寫「福建子」三字。福建子是指呂惠卿，有時也直說呂惠卿誤我。
呂惠卿再攻擊王安石，呈上王安石的私書，有無都要讓皇上知道，里面還有不要讓齊年知等語。趙頊得知齊年二字，是指馮京，馮京與王安石同年。自從趙頊看到此書，這才認為馮京是賢人，于是召他知樞密院事。又因為王安石的女婿吳充，素來中立，不依附王安石，特擢升為同平章事。
吳充于是請求乞召回司馬光、呂公著、韓維，並舉薦孫覺、李常、程顥等數十人。趙頊于是召呂公著知樞密院事，又任命程顥判武學。呂公著字晦叔，是呂夷簡的第三個兒子。
呂公著從小好學，以至廢寢忘食。父親呂夷簡對他器重驚異，說道︰「他今後必定能為王公輔臣。」後來因恩蔭，補任奉禮郎，進士及第，召試館職，沒有赴任。不久他外出通判潁州，與知潁州歐陽修結為講學之友。後來歐陽修出使契丹，遼國皇帝詢問宋朝有學問「德行之士，歐陽修首先以呂公著回答。
宋仁宗獎許他淡于名利，賜給他五品官服。壽星觀營造真宗神御殿，呂公著說道︰「先帝已經有三神御殿，但不停地建立，豈不是祭祀沒有豐厚父廟之義。」進官知制誥，他三次上疏辭謝。改任天章閣待制兼侍讀。
宋英宗親政，加呂公著為龍圖閣直學士。當時正議論追崇英宗生父濮王趙允讓，有人建議稱呼濮王為皇伯考，呂公著說道︰「這是真宗稱呼太祖的，怎能施于濮王。」等到下詔稱親，而且分賜諱號，呂公著又說道︰「稱親則有兩個父親的嫌疑，濮王諱可以避于陛下面前，不應與七廟同諱。」呂誨等人因此事被調離朝廷，呂公著說道︰「陛下即皇位以來，納諫之風沒彰揚，多次貶退諫官，何以風示天下？」英宗沒
有听從。呂公著便請求補外任，英宗說道︰「學士為朕所器重，怎能離開朝廷？」呂公著一直請求，被外放為知蔡州。
趙頊即位，召呂公著為翰林學士、知通進銀台司。當時司馬光因論事被解除御史中丞之職，回到經幄。呂公著封還詔命說道︰「司馬光因舉職賜罷，這是讓有言事職責的人不能盡其言。」詔令以告示形式直接交付閣門。呂公著說道︰「制命不由門下省，那麼封駁的職責，因臣而廢棄。望陛下治臣之罪，以正紀綱。」趙頊說道︰「之所以流放司馬光的原因，是依賴他勸學而已，不是因為言事的緣故。」呂公著一直請求，最後被趙頊解除了知通進銀台司之職。
呂公著知開封府時，開封發生地震。呂公著上疏說道︰「過去人君遇到天災，有的恐懼以致福，有的簡誣以致禍。陛下以至誠待臣下，那麼臣下思慮盡誠以回報，上下至誠而變異不消失的，從來沒有。做人君主的只有除去偏听獨任的弊端，而不被先入之語所蒙蔽，那麼就不會被邪說所亂。顏淵問為邦國之道，孔子答以疏遠奸佞之人為戒。大概奸佞之人惟恐不順合君意，那麼其勢必容易親近，正直的人惟恐不符合大義，那麼其勢必容易疏遠。只有首先格王端正此事，沒有事正而世不治理的。」
禮官遵用唐代舊例，請趙頊五月臨御大慶殿接受朝拜，並上尊號。呂公著說道︰「陛下正在超越漢、唐，追復三代，何必在陰盛的日子，為不符合禮義的朝會，接受無益的虛名？」趙頊采納了他的意見。
王安石頒行青苗法的時候，呂公著極力反對，說道︰「自古以來，有作為的君主，沒有失去人心卻能圖治，也沒有能脅之以威、勝之以辯，卻能得人心的。過去所謂的那些賢能之人，都認為青苗法是不對的，但發議論的人把這一切詆毀為流俗浮論，難道過去都是賢能，而現在就都是不肖嗎？」
王安石听了，非常憤慨。趙頊讓他薦舉呂惠卿為御史，呂公著說道︰「呂惠卿固然有才，但奸邪不可任用。」趙頊把這話告訴了王安石，王安石更加憤慨，于是誣陷呂公著惡語中傷，趙頊于四月初八貶呂公著為潁州知州。
彗星出現的時候，趙頊下詔求取直言。呂公著上疏說道︰「陛下臨朝希望治理國家，時日已經很久，但左右前後，沒有人敢直言。致使陛下有想治理天下的雄心，但沒有實現，這是任事大臣們辜負了陛下。大概士人的邪惡正直、賢能不肖，已素定了。現在則不是這樣，前不久所薦舉，認為是天下最賢能的人；但後來被貶逐，認為是天下最不肖的。其于人才既然反復無常，那麼于政事也違背常理不加審慎了。古代為政，不被百姓所信服的有之，像子產治理鄭國，一年後，人們怨恨。三年後，人們歌頌。陛下垂衣拱手希望成功，已經七年，但是眾人的陳述，與以前相比也沒有什麼不同，陛下難道沒有察覺嗎？」