澄衷學堂一年半的求學生活，給了胡適如此豐厚的人生獎賞，讓胡適縈念于心，不盡感激。成名之後，他曾兩次撰文，親切回顧在澄衷的學習生活，感恩之情，溢于言表。他還先後三次回母校視察、演講，其溫厚謙和的形象、睿智深邃的思想，深深烙印在澄衷師生的心中。
1936年4月，胡適在《敬賀母校卅五周年紀念》中感慨︰「我離開澄衷整整30年了。但我現在回憶那一年半的光陰，我還覺得那是我幼年最得益的時期。」
但是，胡適在澄衷學堂同樣沒拿到畢業證書，因為沒等到畢業，他便憤然離開了。
不是學得好好的嗎？怎麼回事？
所謂「成也蕭何，敗也蕭何」。胡適轉入澄衷學堂與白振民有關，離開澄衷學堂也與白振民有關。
白振民，名作霖，江蘇南通人，上海南洋公學首批師範生。先後在澄衷學堂任副教長、總教長、校長。前邊提到過，白振民與胡適的二哥胡紹之是同學，可以說胡適就因為這一層關系，才很容易就進入了澄衷學堂。
如前文所說，胡適熱衷于社團活動，喜歡學生活動。他在澄衷學堂發起組織或參與的學生自治團體有集益會、學藝會、理化研究會、算術研究會等近10個。當然，投入時間和精力較多的是閱書社、自治會等。作為總教長或校長，白振民對社團活動、學生自治等，是相對認同和重視的。
「閱書社章成立後，已蒙白振民先生贊成，允以故算學三齋地假為社所，並允以本校藏書相助。本社得此助力，大約不十日當可成立矣。」
「向白振民處取得江蘇學會簡章一紙，見其完備善美處，直非安徽學會會章所可比擬。」
「澄衷的好處在于管理的嚴肅，考試的認真。還有一樁好處，就是學校辦事人真能注意到每個學生的功課和品行。白振民先生自己雖不教書，卻認得個個學生，時時叫學生去問話。」
從胡適當時的日記和日後的回憶可知，胡適對白振民的印象大體是良好。而從胡適在學校的境況可知，白振民作為學校的主要負責人，對胡適也是很看重，很支持的。
但是，白振民管理學生十分嚴格，也由此把自尊心調得極強，容不得學生有所過失，更不能容忍學生對他有所不敬，以至于時而將小問題演成大矛盾。而胡適呢，在「澄衷」的一年半期間，思想受到了當時社會思潮的強烈震與沖擊。在追隨新潮的波浪里，胡適的獨立意識與人格尊嚴也得到了張揚。具體表現是，他當班長，堅持己見，行使獨立權利，時時要與校方沖突抗爭。
毫無疑問，這便為二人的關系留下了隱患。
胡適離開澄衷學堂的「導.火.索」是「罷操風波」。關于「罷操風波」的前因後果，胡適的澄衷學堂日記有詳細記錄。
5月16日那天天氣很熱，學校的夏操服也未備好，同學們要求不做夏操，胡適便代大家向學監林仲希反映，林說可穿舊的夏操服。胡適去看，發現舊操服少十來件，認為夏操做不起來了，就與同學到教室里溫習功課。
忽然林仲希與白振民駕臨，詰責眾人不做操，胡適即以天熱為由回答。不料白振民「怒甚」，說胡適是「集眾要挾」。當日東一齋也未出操，大概白振民認為是受西一齋影響，胡適那時的學名叫胡洪，白振民因此道︰「東一不操，西一擔其責；西一不操，胡洪擔其責。」說完就走了。
學生們見勢不妙，于是于下午補操。
白振民本欲重罰為首的人，後被其他老師勸止，但他卻又掛出告示牌，上面寫著︰兩齋不出操，事先不清示白振民先生，西一齋班長胡洪與東一齋班長趙啟承「不勝班長之任，應即撤去」。
胡適自認不先請示是有過錯，但不領受其他「罪名」，當晚又听一位叫余成仁的同學說︰「總教習說你強辯，說上午托言不能操，下午卻能補操，操後怎麼也不生病呢？」胡適听了這話，自然也生氣，于是當即寫了一封信給白振民，陳述事情緣由，又引余同學的話，加以辯白。
白振民讀了胡適的信更加生氣，認為胡適竟引旁人的話來詰責，「氣焰甚盛」，次日對胡適道︰「此語我未嘗說，你從何處得來？若是教習說的，我辭退教習；學生說的，我開除學生！」胡適便據實說是余成仁說的。
白振民道︰「我不曾對余成仁說胡洪一個字，可證也。」
胡適又去詢問余成仁，余成仁道︰「這是我解釋白總教之意之語，他說不曾對我說你一個字，此則大謬，他確實說過你找借口的話。」
于是余成仁與白振民對質，白振民不再堅持他未曾提胡洪一個字了，而改口為「我實說你但無病不病之語耳」。胡適天真地以為事實既已清楚，事情可以就此了結了。他不知這一回合以他小勝，白總教怎能咽下這口氣！
次日，告示牌又掛出來了，其中有「播弄是非，誣蔑師長之咎，應由胡生一人任之」之語。胡適在日記里將白總教的言行說為「無理取鬧」，又寫道，假使我真想播弄誣蔑，就不會耗費筆墨來辯解，而會當眾陳述事實使他難堪。
大概胡適將這意思又寫信給白振民，而下午白振民又掛出告示牌，中有「胡生能保他日無此等無秩序之事否？若有之，應由何人擔其責任？」
胡適見了，在日記里將此斥為「尤為無理」，並以「事之有無，當視學生之程度若何及管理法若何而後可定。若何人擔其責任，則當視此事之性質如何而後定」回敬白振民。
下午，胡適收到二哥的來信。原來，前一天白振民與胡適不約而同地就此給嗣秬寫信，白振民狠狠地告了胡適一狀，信中有「將此不悛，將不能顧私情而妨公益」等語，總之嗣秬即使沒將白振民的信轉寄胡適，至少引了些白信中的話，被胡適視為白振民「痛詆吾」。
嗣秬在信中未仔細分析誰是誰非，對弟弟也未深責，而只「深戒」道︰「弟所以致此者，皆好名之心為之。天下事，實至名歸，無待于求。名之一字，本以勵庸人。弟當以聖賢自期，勿自域于庸人也。」
這樣一說，頓時使胡適站高一線，心胸開闊，也就願意听從二哥的話，委屈自己，寫信向白振民「略陳悔意」。
次日白振民又懸出告示牌，略謂「胡洪自陳悔改，姑許其自新，前情姑不追究」雲雲，此波瀾也就歸于平息。可是胡適既非真的「悔過」，他在日記中寫道︰「1906年5月19日，嗚呼，幾許筆墨，幾許口舌，直為爭一副光耀之面具之價值耳！」
白振民爭到了面子，胡適自然也就失了些面子，剛好嗣秬又有信來，「諄諄以輕妄相戒」，胡適即把信拿給同學們傳閱，實際上帶有告訴大家他妥協的真正原因的意思，也是為了挽回一點面子。
但經此一事，胡適在二哥的一再教導下，對自己也進行了一番反省，他在5月22日的日記中，痛斥自己一生有好名、鹵莽、責人厚三大病根而欲痛改。
事過兩月後，那位余成仁同學又有事得罪白振民，胡適在日記里寫道︰「 1906年7月16日， 今日暑假謁聖後，學生皆出校矣，忽見一牌示謂‘余成仁既自命太高，應听其別擇相當者入之，下學期毋庸來校’ 雲雲。蓋昨日事之結果也。成仁往詢其‘自命太高’之語何所見而雲然？白振民曰‘即使汝不如此，則作為我恭維汝之語可也’雲雲。」
胡適日記對這件事語焉不詳，十來天後，他的一部「澄衷日記」也結束了。25年後，胡適作自傳《四十自述》，中間有段寫道︰「我在西一齋做了班長，不免有時和學校辦事人沖突。有一次，為了班上一位同學被開除的事，我向白先生抗議無效，又寫了一封長信去抗議。白先生是懸牌責備我，記我大過一次。」
那個被開除的余成仁，是胡適當時「最相契」的六位同學之一。胡適在《四十自述》寫到白振民，並無指責之言，倒不乏贊揚之語，比如他寫道︰「澄衷……還有一樁好處，就是學校辦事人真能注意到每個學生的功課和品行。白振民先生自己雖不教書，卻認得個個學生，時時叫學生去問話。」對于白振民記他大過，他也不說公與不公，而這樣寫︰「我……知道白先生很愛護我」，只是「我當時心里頗感覺不平」。胡適筆下這樣寬容，固然可以理解為事過境遷、心平氣和了。
但當時「我當時心里頗感覺不平」的結果是，胡適一怒離開了澄衷學堂。