胡適從接任大使以來，便招惹來種種議論和流言。特別讓人眼熱的是，胡適在大使任內，竟如旋風般地往返美國、加拿大等地，用有些人的話說，名為講演，實為游山玩水。還有就是所謂沽名釣譽接受名譽學位。四年間，他竟領得二十七個榮譽博士學位。如此風光燦爛、顯山露水、出盡風頭，怎不叫人羨慕嫉妒。于是，好些多事者便眾口一詞︰胡適「只好個人名譽，到處領學位」。
這些議論和流言，到了1940年間，到了高潮。伴隨這些流言蜚語的則是謠言四起。
中央研究院院長蔡元培病逝後，院長一職空缺，當時，評議會曾推舉胡適繼任，可是，蔣介石的意中人卻是顧孟余。所以，當孔祥熙匯報中研院院選時，蔣介石生氣了，隨口說道︰「他們既然要適之，就打電話給他回來吧！」
此信息傳出後，傳著傳著便走了樣，傳到了海外竟成為︰胡適即將回國當院長，顏惠慶將赴美任大使。
其實，早在一年前，胡適因病住院時，便傳言顏惠慶將任駐美大使。當時，蔣介石知道後，唯恐影響工作，立即讓王世杰給胡適拍去電報︰外聞所傳「顏惠慶繼任的消息，純屬虛造」。
舊風波剛息，新風波又起。美國《中國日報》發表消息︰「傳顏惠慶將任駐美大使，胡適博士或調任中央研究院長。」
身在美國的胡適怎麼能想到，這是蔣介石的氣話惹起的風波，自然不能不信。于是找近人打听。
蔣介石趕忙又讓王世杰致電胡適︰「謠言所出，乃中研院院選所起。政府以美使之任重于中研院，故不擬調其回國。」
但是，實際上，蔣介石對于胡適處理中美關系的信心，到1940年春天已急速降低。在此之前，蔣介石很欣賞胡適的「苦撐待變」，但「苦撐待變」說起來容易，做起來難，「苦撐待變」是很難熬的。胡適沒法告訴蔣苦撐到什麼時候，什麼時候能變。
中國抗戰的形勢越來越艱難，財政情況則更為拮據。
在國際上，除了美國外，凡是有能力幫助中國的國家（英國、法國、蘇聯）不但不幫助中國，反而出于不同動機而對中國進行傷害。到了1939年底時，中國政府上下，一種悲觀的意識已經逐漸佔了上風。認為，在當前狀況下，實在無法再「苦撐」下去，而「待變」逐漸變得毫無意義，在「變」給中國帶來好處之前，中國就可能會全盤崩潰。
蔣介石把越來越多的希望寄托在美國身上。1940年，蔣介石委任宋子文出任中國銀行董事長，並派他為處理對外借貸的「私人代表」出使美國。宋子文的美籍顧問楊格隨行。
同年6月14日，蔣介石在致美國總統羅斯福的信函中表達了他對宋子文的完全信任:「因世界局勢之劇變，余覺有與閣下交換意見並請給予援助之迫切需要。因余不能親來承教，特派宋子文先生為代表，前來華府晉謁，彼固為閣下素所熟悉者。余已授予宋先生代表中國政府在美商洽一切之全權，彼受余之完全信任，且其對國內之情形與對外之關系完全明了。敬請閣下惠予親切之洽談，一如與余私人接觸者然，不勝企盼。」
胡適是國民政府派赴美國的特命全權大使，宋子文是蔣介石派赴美國的特命全權代表。在這種人事安排下，兩者之間不產生摩擦是完全不可能的。更何況胡適一向對孔祥熙、宋子文等皇親國戚不滿，而對宋子文的印象尤差。
宋子文對胡適更沒有好感。
1939年10月，報紙傳說蔣介石兼任行政院長將改組各部，宋子文將取代孔祥熙出任財政部長或貿易部長，宋子良將取代陳光甫出任貿易委員會主任。胡適听到傳聞深感疑慮，于11月7日給國防最高委員會副秘書長陳布雷發一密電，請轉呈蔣介石:「鄙意對行政各部改組消息，頗有顧慮:(一)慮子文個性太強，恐難與光甫合作。(二)慮報紙所傳貿易委員會改由宋子良代光甫之說如屬實，則光甫所辦事業，恐不能如向來之順利。(三)子文今年夏間，曾向美財部重提棉麥借款，美財部疑為有意另起爐灶，印象頗不佳。以上各種情形，國內恐無人為介公詳說，故弟不敢避嫌疑，乞吾兄密陳，供介公考慮。」
後來，宋子文出任財政部長並沒有成為事實，這並不意味著蔣介石采納了胡適的意見。但這件事不可能不傳到宋子文的耳中，宋自然要把賬記在胡適身上。
宋子文赴美之後的情況，胡適1942年5月17日在給翁文灝、王世杰的信中表述得相當直白:「某公(宋子文——作者注)在此，似無諍臣氣度，只能奉承意旨，不敢駁回一字。我則半年來絕不參與機要，從不看出一個電報，從不听見一句大計，故無可進言，所以我不能不希望兩兄了。去年12月8日我從國會回家，即決定辭職了。但不久即有復初之事，我若求去，人必以為我‘不合作’，對內對外均須費解釋。故我忍耐至今。我很想尋一個相當機會，決心求去。我在此毫無用處，若不走，真成‘戀棧’了。」這說明，胡適和宋子文的關系，已經勢同水火冰炭，毫無調和余地。
但是，宋子文到美國之後，借助胡適在美國打下的良好基礎，和有利于反法西斯的大好形勢，接連與美國簽訂《鎢砂借款》、《金屬借款》、《中美平準基金協定》三個協定，一連爭取到三筆貸款。以上三筆美援的取得，宋自要歸功于他本人，這便反襯出胡適外交工作的低效，也因之增添了蔣介石對胡適的不滿。
宋子文來美國後，便竭力擠壓胡適。1940年10月，宋子文致電蔣介石，很有針對性地說︰「欲得美國切實援助，非空文宣傳及演說所得奏效，務面向各政要及各界不斷活動。」「際此緊要關頭，亟需具有外交長才者使美。」他甚至公開提出撤換胡適，推薦施肇基接任駐美大使。
蔣介石統籌思慮，基本采納宋子文的意見，但是，因顧及美國的反應，故遲遲未能成命。可是，宋子文卻窮追不舍，連連去電，催促公布免去胡適大使職的消息。1941年7月12日，宋子文又參胡適一本，說胡適在工作上不予配合，「長此以往，不但文不能盡職，有負委任，適之亦屬難堪。唯有懇請毅然處置，迅予發表」。
宋子文當了外交部長後，人仍在美國，幾乎包攬所有的外交事務，而將胡適基本上邊緣化。
一向能容忍的胡適，也憤憤不平地稱宋子文為「太上大使」了。
1942年5月19日，胡適在日記中記道︰「自從宋子文做了部長以來，（去年十二月以來）他從不曾給我看一個國內來的電報。他曾命令本館，凡館中和外部，和政府，往來電報，每日抄送一份給他。但他從不送一份電報給我看。有時蔣先生來電給我和他兩人的，他也不送給我看，就單獨答復了（他手下的施植之對人說的）。
「記此一事，為後人留一點史料而已！」
這個大使再做下去，實在沒意思了，胡適決定辭去大使一職，以打破目前尷尬難堪的局面。他給王世杰去信，表示既不做大使，也不做中央研究院長，因為，「我舍不得北大，要回去教書」，「我要保存我自由獨立說話之權，故不願做官」，「大使是‘戰時征調，我不敢辭避’，中研院長一類的官不是‘戰時征調’可比」。
1941年12月24日，他鄭重其事地對宋子文說︰「郭泰祺來美時，我曾經告訴他，我不想干這種外交官的事。若有更動駐美使節的需要，我隨時可走。現在你是我的老朋友，新上司，我也同樣向你聲明。如果政府要更動駐美使節，也請你千萬不要遲疑。我隨時可走。」
可是，蔣介石還是遲遲不發表新的任命，胡適仍然被干晾著，一晃就是半年多。他無所事事，只得離開大使館，到處演說，從美國的東海岸到西海岸，又到加拿大，行程一萬六千多英里，演講百余次，使中國抗戰在美國人的心中，深深地扎下根。
1942年初，英國首相丘吉爾訪美，他便「發現中國在相當多的美國人的心目中，有極其重要的地位，甚至在上層也是如此」。為此，他忿忿不平地埋怨道︰美國人竟然「把中國看作幾乎同大英帝國相等的參戰大國」。
1942年1月，中、美、英、蘇等26個國家在華盛頓簽訂了《對法西斯軸心國共同行動宣言》，國際反法西斯統一戰線正式形成。
胡適這個「過河卒子」，如今「河」已過，胡適這個「卒子」就可以舍棄了。同年8月15日，國民政府以「心髒衰弱，不勝繁劇」為由免去胡適駐美大使職務，由魏道明接任。
被免職的當晚，胡適致蔣介石電:「蒙中樞垂念衰病，解除職務，十分感激。」在致蔣介石電文中，胡適又力稱魏道明「庸劣」，美國報紙已有指摘，並推薦郭泰祺或蔣廷黻取代魏道明，以此表現他的「諍臣」氣度。然而木已成舟，蔣介石不可能采納胡適的意見。
為了對胡適稍加撫慰，9月初，國民政府行政院給了他一個「高等顧問」的虛位。孔祥熙又給胡適發電，問他是否缺錢花，歸國川資夠不夠。
胡適于9月14日復電婉謝。