這時尚書左丞張康國已經升任知樞密院事，他本來是由蔡京所舉薦。不久後，他被越級提升。在任職樞密院之後，他又和蔡京互相爭奪權力，自立門戶。有時他覲見趙佶，少不得藥詆毀蔡京。剛好蔡京這時也覺得蔡京越來越驕橫，于是秘密下令張康國監視蔡京，還說道︰「你如果能盡力，就可以讓你代替蔡京為宰相。」
張康國听了，自然歡喜雀躍得很。他派人日夜監視蔡京的舉動，稍為听到了一些風吹草動的消息，就立即密報上去。蔡京也已經有所察覺，于是舉薦吳執中為中丞，囑咐他彈劾張康國。哪知道張康國已先得到消息，竟然先發制人。他趁著趙佶上朝，急忙進去，跪奏道︰「吳執中今日進來，必定是替蔡京彈劾微臣。微臣情願避位，免遭蔡京怨恨。」
趙佶上道︰「朕自有主張，你不要多慮！」張康國退導殿廬。吳執中果然進見，當面陳說張康國的過失。趙佶不等他說完，便勃然大怒道︰「你敢受人唆使，來進讒言嗎？朕看你不配做中丞，給我滾出去吧！」吳執中踫了一鼻子灰，磕頭退朝，嚇得面如土色。當夜，就有詔書譴責吳執中，命他出京擔任滁州知州。
愛搞陰謀詭計的蔡京，遭遇此次挫擺，自然不肯干休。于是他千方百計的想謀害張康國。張康國心知肚明，自然也小心防備。可是明槍易躲，暗箭難防，就算他百般慎密戒備，還是保不住有一疏。一日，張康國入朝，退到殿廬。他只是喝了一杯茶，就覺得月復中大痛，狂叫不止。不到半個時辰，已經是仰天吐舌，好像牛喘一般。殿廬直役的人，慌忙扶他到待漏院。剛剛進入房間，他就兩眼一睜，頓時嗚呼哀哉了。
眾臣听說張康國突然暴斃，逗料定是中毒，但是也不便明言。趙佶听說後，暗暗驚異，表面上只好照例優恤，追贈開府儀同三司，給他一個美謚，叫作文簡，算是了結。張康國的遺缺，趙佶就命鄭居中代理，另外用管師仁為同知院事。
一次集英殿臚唱貢士名，由中書侍郎林攄，傳報姓名。貢士中有姓甄名盎，林攄卻把甄讀為煙，又讀盎為央。趙佶剛好上殿看閱，不禁笑道︰「你讀錯了。」林攄去人自以為是，並不認錯。當時在旁站立的人，難免偷偷發匿笑。林攄卻大聲喝道︰「殿上怎能失儀！」眾人听了他的話，感到非常不平。
于是御史彈劾他沒有學問，並且倨傲不恭，有失人臣之禮。趙佶便罷了林攄的官職，降為提舉洞霄宮。趙佶任命余深為中書侍郎，薛昂為尚書左丞。薛昂亦也是蔡京一伙，全家人都不敢說京字。如果無意中說了，動輒自己責罰。薛昂如果自己誤說，就自己打自己的臉。蔡京非常喜歡他的恭順，于是舉薦擢升他擔任了是職。
只是鄭居中既然掌權，他與蔡京本來就有夙怨。于是他暗地里指使諫官，上奏陳述蔡京的罪惡。中丞石公弼、殿中侍御史張克公等人，接受了
鄭居中的囑托，接連上奏彈劾蔡京，共上了數十本，卻沒有效果。鄭居中一計不成，再生一計。鄭居中賣通了方士郭天信，讓他秘密上奏說日中有黑子，是宰輔欺君的預兆。
趙佶這時正好非常迷信，不免心驚膽戰，于是罷了蔡京的相位，降為太乙宮使，改封楚國公。殿中侍御史洪彥升、毛注等人，趁機落進下石，上奏攻擊蔡京的大罪，請求把蔡京遣出京城。
太學生陳朝老等人，也上陣大講蔡京之惡，共有十四款，說蔡京，瀆上帝、罔君父、結奧援、輕爵祿、廣費用、變法度、妄制作、喜導諛、箝台諫、熾親黨、長奔競、崇釋老、窮土木、矜遠略。
結尾的時候，還引用了《左傳》的成文，有「投諸四裔，以御魑魅」等話。趙佶缺只是命蔡京退休，仍然留在京師。趙佶任命何執中為尚書左僕射，兼門下侍郎。陳朝老又上書說何執中才不勝任，趙佶不肯听從。
到了大觀四年夏季，彗星出現在奎婁間趙佶徽宗援照以往的例子，避殿減食。他還命令侍從官，直言陳說朝廷的得失。石公弼、毛注等人于是大力論述蔡京之罪，張克公也說蔡京不軌、不忠的事情，多達數十件。趙佶于是貶蔡京為太子少保，出京到杭州居住。余深失去了一個大援，心中不能自安，也上疏乞求罷職，被趙佶出知青州。
當時張商英調任杭州知州，路過京城的時候，面見趙佶。在和趙佶的面奏中，他對蔡京明確表示了不滿，因此暗合趙佶的心意意。趙佶于是留他在京城居住，任命他擔任中書侍郎。張商英字天覺，蜀州新津人。他身材魁偉，容貌姿態如玉石一樣聳立。他能言善辯，又自負卓異，雄視世間。
英宗治平二年，中進士，任通川縣主簿。一天，進入寺中看到大藏經的卷冊齊整，生氣地說道︰「吾孔聖之書，乃不及此！」欲著無佛論，後來讀《維摩經》，看到「此病非地大，亦不離地大」，深有所感，于是歸信佛法。
不久，渝州蠻夷發動叛亂，他說服首領投降，被朝廷征召為南川知縣。章惇治理夔夷的時候，經常侮辱郡縣官吏，因此沒人敢和他說話。有人想到只有張商英足以和他抗衡，就傳檄召他到夔州。章惇詢問當地人才，使者就把張商英介紹給了他。章惇馬上喊他進去一起吃飯。
張商英穿著道士服裝，長揖就坐。章惇隨意狂言亂語，張商英不時加以辯駁，舉止瀟灑，高出章惇一籌。章惇非常高興，引他為坐上客。章惇回到朝廷，把他推薦給王安石，因而被皇帝召見問話，從檢正中書禮房擢升為監察御史。
王安石變法後，有人反對屢次要廢新法。商英上書說道︰「三年無改于父之道，可謂孝矣。今先帝陵土未干，即議變更，得為孝乎？」他巧妙地利用「孝道」來維護變法。並且寫信給蘇軾，其中有「老僧欲往烏寺，呵佛罵祖」的不滿言語。呂公著听
說後，很不高興，把他調出京城，先任河東刑獄，後在江西、淮南任職。
哲宗初年，張商英任開封府推官，出任提點河東刑獄，連續任河北、江西、淮南使者。哲宗親自當政，召他任右正言、左司諫。張商英非常怨恨元祜大臣沒有重用自己，就極力攻擊他們，指責內侍陳衍動搖高太後，以至于把她比為呂後和武則天。他請求朝廷褫奪贈給司馬光、呂公著的謚號，搗毀他們的墓碑和墳墓；說文彥博忘恩負義，以及蘇軾、範祖禹、孫升、韓川等人，于是這些人都相繼受到譴責。
蔡京擔任宰相，張商英和他交好。遇到草擬朝廷公文時，就對他大加贊美。不久他被任命為尚書右丞，轉左丞。不久，他又和蔡京政見不合，多次說蔡京「身為宰相，卻一心迎合君主」。蔡京被罷免宰相，削除官籍，張商英任鄂州知州。蔡京恢復宰相職位，張商英以散官被安置在歸州和峽州。
大觀四年，蔡京再次被逐，張商英被起用任杭州知州。結果被趙佶留在朝廷任資政殿學士、中太一宮使。不久，任命為中書侍郎。很快又被任命為尚書右僕射。蔡京長久以來竊奪大權，朝廷上下都怨恨憤慨。眾人看到張商英敢于提出異議，多次稱贊他為賢臣。
趙佶因為他有聲望，就任他做宰相。當時長期干旱，一日，彗星出現在天空。這天晚上，彗星沒有出現，第二天，就下了大雨。趙佶很高興，大字書寫了「商霖」二字賜給張商英。
張商英處理政務公平，認為蔡京雖然標榜恢復新法，但不過是借此來威脅控制國君，禁錮士大夫罷了。于是他大力變革弊政，廢除當十錢進而改革幣制，恢復轉般倉進而廢除直接運輸，施行紙鈔以便于通商行旅，免除不合理賦稅以減輕百姓的負擔。
張商英還勸說趙佶節制浮華奢侈的生活，停止修建土木工程，打擊投機鑽營的佞臣。趙佶對他頗有幾分畏懼，曾經修葺裝潢升平樓，告誡主管官吏凡是遇到張丞相騎馬來到，一定要把工匠藏在樓下，直到他走過去才哪恢復工作。
趙佶想任命楊戩擔任節度使，張商英說道︰ 「祖宗法規，內侍不擔任團練使。有功勞應當提拔之人，則應另外設置昭宣、宣政等使官加以褒獎，從沒有听說過要授予旄鉞執掌軍權的。」一直堅持不簽發任命狀，人們更是稱贊他。
他曾經到五台山禮拜文殊菩薩像，有所感應。于是塑文殊像供奉在山寺，並撰寫發願文。不久，遇到大旱災，他入山祈雨，三次都很靈驗，因此聞名于朝中。他又歸還僧寺田三百頃，以此表達崇佛的赤誠。他任職江淮荊浙等路發運使的時候，禮謁東林寺常總禪師，得到禪師的印可。
接著他又到兜率寺的從悅禪師處參學，在該寺的面，擬瀑軒題詩中有「不向廬山尋落處，象王鼻孔縵朝天」，意思是譏諷從悅禪師不肯定東林禪師。