胡適家的房屋，是他父親當官以後新蓋的二層樓房。正面牆上有騰飛的門檐，門檐下兩扇黑漆大門，門上貼著「僧道無緣」的大紅紙條。這是舊日理學家庭的典型標記。胡適的叔父兼老師胡介如家，門上也貼有「僧道無緣」的紙條。他們都篤信程朱理學，不言怪力亂神，不信道家佛家，也不布施和尚道士。貼有這「僧道無緣」的條子，和尚道士就不好登門化緣了。
但是，胡家的女眷卻深信神明菩薩。胡傳死後，大門上「僧道無緣」的紙條由紅變白，後來竟完全剝落，無影無蹤了。女眷們便誠心而自由地求神拜佛。家里人有個三災兩病，便念經許願，求神佛保佑；甚至恭請和尚到家里來，放焰口，超度冤魂。
胡適說，「星五伯娘幾乎是這個大家庭的‘母’，輩分高，德望重，晚年更是吃了長齋，拜佛念經是她主要功課。四叔與受過新教育、頗有新思想的三哥都不能勸阻她。三哥嗣過繼與星五伯娘的小兒子守瑜，稱星五伯娘為‘祖母’。由于他從小得肺癆，星五伯娘就常為他的病拜佛求神，設蘸許願，甚而招集和尚來家中放焰口超度冤魂。嗣只能堅持自已不行拜，絕不敢公開反對‘祖母’的善行。」
每當這種場合星五伯娘就叫胡適去替代嗣跪拜行禮。胡適從小本來就身體弱，病痛不斷，對于胡適加入拜佛求神的行列，他母親不僅十分贊同，而且還時常請星五伯娘帶胡適外出燒香拜佛。每當她自帶胡適回娘家中屯，十里路上所過廟宇神亭，凡有神像位的，她總要領著胡適拜揖，並鄭重教導胡適拜神拜佛時必須誠心敬禮，不能敷衍了事。
童年的胡適不知不覺中也成了這個拜佛陣營中的一員。這個陣營中還有一個重要骨干︰胡適一個哥哥的丈母娘，她不僅是那位星五伯娘吃齋念佛的最好搭檔，而且知書識字，有理論武器。她常來胡適家中寄住，隨身也帶來了許多拜佛文化的典籍，如(玉歷鈔傳)、妙莊王經)等「善書」，並常常與小輩講述目蓮救母游地府、妙莊王的公主(觀音)出家修行的故事。
胡適本來在戲台上已看過《觀音娘娘出家》全本連台戲，小小腦子里已有」地獄」的初步印象，等讀了哪些「善書」典籍之後，對神佛那一套迷信的東西了解加深了。在這樣的家庭環境氣氛中，小小的胡適自然也就跟著她們一幫信徒拜佛行禮。
胡適說︰「我11歲時，一日溫習朱子的《小學》，這部書我能背誦卻不甚了了。我念到這位理學家引那位歷史學家司馬光攻擊天堂地獄一般信仰的話。這段話說︰‘形既朽滅，神亦飄散，雖有剉燒舂磨，亦無所施。’這話好像很有道理，我開始懷疑死後審判的觀念。」
他細細體味了「形既朽滅，神亦飄散，雖有銼燒春磨，亦無所施」幾句話，忽然高興得直跳了起來，《目蓮救母》、《玉歷鈔傳》等書里的地獄慘狀、放焰口的和尚陳設在祭壇上的十殿閻王的畫像，一一都呈現在眼前，但胡適已經不感覺到害怕了。他再三念叨著這幾句話，心里很高興，「真像地藏王菩薩把錫杖一指，打開地獄門了」。
同在那一段時間內，小胡適又發現了範縝的反因果輪回說，使他的思想受到了更加激烈震蕩。從此便成了範縝和司馬光的信徒。
他不止一次地說過︰「司馬光的神滅論教我不怕地獄；他（範縝）的無因果論教我不怕輪回。我喜歡他們的話，因為他們教我不怕。我信服他們的話，因為他們教我不怕。」
範縝在《神滅論》中寫道︰「形者神之質，神者形之用，是則形稱其質，神言其用，形之與神，不得相異也。名殊而體一也。」譯成白話︰形體是精神的實質，精神是形體的作用，所以形體是從實體方面講的，精神是從作用方面講的，形體和精神是不能相互分割的。名稱不同，本體還是一個。對于範縝「形者神之質」這三十五個字的理論，胡適十分信服，後幾十年里時常提及，還專門寫過條幅送人。
他反復強調︰「只讀了這三十五個字就換了一個人。」
「只讀了這三十五個字就換了一個人」，這未免有些夸張。其實，同樣是「拜佛行禮」，胡適與那些痴心篤定的信徒門是不一樣的。做一個死心塌地的迷信者，或是需要狂熱的崇拜，或是需要堅固的成見，至少是無助、無路、無知靈魂的精神寄托。而這些東西，胡適是沒有的，而且，不要忘了他那獨立思考的本事。
童年的胡適在思想上經過了範、司馬光這一番點化，幾平可以說是發生了一場「革命」，獲得了一種「解放」。但在他母親面前，當然還不敢公然發表非鬼神的狂悖言論，母親叫他去神寺佛亭燒香還願，他還得硬著頭皮去敷，滿心里的不願意，但行動上終不敢有所表露。
長期的神鬼偶像的壓追使他產生了一種激烈反抗的念頭。
村旁小廟里有幾個羅漢菩薩。胡適到外婆家，常和小伙伴們去小廟或亭子里玩。他領著打菩薩的耳光，但不明顯打壞；有時又拔去菩薩的幾根胡須，也絕不拔光。因此，一直沒有被大人們發覺。
十三歲那年的正月，他從大姊家拜年回上莊的路上，經過中屯外婆家。中屯村外有個三門亭，亭里供著幾個神像。他與同行的外甥章硯香說︰「這里沒有人看見，我們來把這幾個爛泥菩薩拆下來拋到毛廁里去，好嗎？這個突然其來的毀佛主張將他外甥與跟隨著挑擔的長工嚇壞了。
他們當然一致反對︰「舅，菩薩是不好得罪的。」
胡適大為掃興，一個人拆毀不了菩薩，準備拾了些石子去擲神像。而恰好村子里有人走來了，胡適只好沮喪地離開。這一次暴力反抗的未遂，使他心理很受壓抑，也很不痛快，在當天晚上又以另一方式發泄。他多喝了一二杯燒酒，便借酒力佯作醉狀，說了很多不敬神明的話。
這嚇壞了同行的人，那挑擔的長工先到胡適母親那里告了密︰「摩舅今夜怕不是吃醉了罷，…他今夜嘴里亂說話，怕是得罪了神道，神道怪下來了。」他全盤托出了胡適在三門亭里倡議毀壞神像的經過。這個說法很快又得到章硯香的證實。
胡適母親急忙「自己去洗手焚香，向空中禱告三門亭的神道」，訴說兒子年少無知觸犯神道，但求神道寬宏大量不計較小孩子的罪過，目後一定親到三門亭燒香還願以罪。
一個月後胡適母親真地帶著胡適去三門亭還願。她拿出錢來，在外婆家辦了豬頭供獻，備了香燭紙。胡適只好又恭恭敬敬地行禮跪拜謝神，他終于受到了一場「比挨打還更難為情的責罰」!
胡適曾反復強調:「我只讀了這三十五個字就換了個人。」他認為司馬光本人也深受範縝的影響，所以當他編撰《資治通鑒》時，硬把《神滅論中這最精彩的三十五個字插入進去，「他決想不到，八百年後這三十五個字竟感悟了一個十二歲的小孩子，竟影響了他一生的思想。」這件事成了胡適日後發揮他的《社會不朽論》的重要例證。
從那時起胡適對司馬光與範縝的言論文章便十分注意，對他們兩人的思想貢獻耿耿不忘。胡適後來曾專門論證了司馬光是兩宋儒學復興的真正開山者，移了北宋五子邵雍、周敦頤、程源、程張載的傳統地位。他認為兩宋儒學的崛起是把中國思想界從一千年印度思想中解放出來的偉大的復興運動，這個運動得功于司馬光。他對範更是感情深，日後他凡有言論中涉及無神論的，都必然要提及範填。
1914年8月24日胡適在他的留學目記中專門做了一節(神滅論與神不滅論)的讀書筆記，認真排列了範鎮(神滅論》的主要觀點︰「一、形即是神神即是形。二、人體是一，放神不形者神之質神形之用。三、百體之質之形，總百體之謂之神。四、而生者就而滅者，漸而生者，漸而滅者。」
他還專門羅列了反對神滅論主要觀點，如梁武帝的答臣下神論，沈約的形神論、《不滅論)、(範神滅論)等，比較研究，認真推理，並引沈約ゑ神滅論)中一段論指出了範「三十五字」理論存在的缺陷。
又說︰「吾十二歲時讀(通鑒》，見範縝此警，以為精闢無倫遂持無鬼之論，以此為中堅。十七歲為《競業報作《無鬼語)亦首此則。多年來，稍讀書治科學，始知其論理亦有，而不知氏在當時已見及此也。」
盡管如此，他對範縝的崇拜並未絲弱，在1946年4月還專門寫了篇(考範縝發表(神滅論)在梁天監六年》的考證文章。很巧的是，胡適的父親胡傳也曾對範縝發生過興趣，他在光緒二十一年三月二十日的記里居然亦清清楚楚地記錄了那「三十五字的神滅論」和「人生如樹花同發」的「偶然論」。真所謂有其父必有其子。
不過，胡適說過；「我父親死得太早，我離開他時還只是三歲小孩，所以我完全不曾受著他的思想的直接影響。〞
從小就從迷信中解放出來，必定能夠在做學問的道路上更易接近真理和事實真相，毫無疑問，這對于胡適的一生及其所取得的成就舉足輕重。
宗教學家樓宇烈如是評道︰「胡適是中國近代史上第一個以非信仰者的立場，用思想史的眼光、歷史學的態度和方法研究禪宗史的人。」