雖然出生于江蘇省松江府川沙縣，但胡適更願意說他是安徽省績溪縣人。
績溪位于黃山與天目山接合部，縣界及境內有海拔千米以上山峰40余座，重巒疊嶂，溪流縱橫，地勢高于鄰縣，史稱「宣歙之脊」。山脈、盆谷相間，呈「多」字形延伸。中部是貫通南北的斷裂帶，縣城位于斷裂帶中南段的華陽斷陷盆地。清涼峰踞縣境東端，界皖、浙兩省三縣，頂峰及其北坡坐落境內。中部東西向凸起，溪水南北分流，分別入錢塘江和長江。
績溪屬徽州府，在安徽省南部。徽州全境多山，風景雖然秀美，但山多地少，土瘠民貧。因此，徽州人大多離鄉撇井，外出做生意，以善于經商聞名全國，甚至有「無徽不成鎮」的說法。
有人說，這樣的特殊地理生活條件，造就了徽州人的三個突出特點︰其一、重鄉黨觀念，以「徽州幫」為最有名。其二、艱苦奮斗的精神，有「徽駱駝」、「績溪牛」之稱。其三、重文化教育，出了像朱熹以及胡仔、江永、戴震、俞正燮、凌廷堪、胡培等許多著名學者。
是不是真的如此，還需史家去考證，但有一點是肯定的，徽商和晉商一樣，確是很值得自豪的一族。
有意思的是，這些特點，在胡適身上幾乎都有體現。他以徽州人自居，愛吃徽州鍋，喜歡攀徽州同鄉關系。1953年1月，他為績溪旅台同鄉會題辭，寫的便是「努力做徽駱駝」六個字。直到晚年，他為凌鴻勛編著的《詹天佑先生年譜》作序，仍不忘以詹天佑的「徽州同鄉後輩」自居。對于徽州歷代的幾位著名學者，更是常常念在口中，寫在文章里，欽敬不已。
皖南的山生得好，綠得深。到了這一帶，勢雖不雄，峰頭卻依得緊，依得密，分不出一點斷處，顯出一種結實的樣子。過雞公關，在績溪城西約80里，橫起一座大會山，在它的下面，牆色粉白、屋檐青黛的房子散了一片，便是胡適的老家——上莊村。是胡氏聚族而居的一個大村落，是群山環抱著一塊小小的盆地。山峰蒼翠，聳立村北，像藍天底下綠色屏障，護衛著整個山村。清澄的常溪河，由村西向南，潺潺流淌，穿過楊林石橋，蜿蜒東去。作為母親河滋潤著上莊的農田。
世代聚居上莊的胡氏，據說始祖昌翼公原非胡姓，而是唐昭宗李曄的太子。因避朱溫之亂，隨義父胡三公逃亡南方，匿居民間，便改從胡姓。後唐同光三年(975)以明經登第，故世稱「明經胡氏」，至今民間仍稱之為「李改胡」。這些既闊且貴的事跡卻不見于史冊，很可能是胡氏後裔為神化抬高他們的祖宗而寫在族譜里的一種杜撰。
胡氏雖找到了貴為帝冑的祖宗，遷居上莊以後的六百余年間，卻並無仕宦顯赫之人。一直到光緒二十年(1894)，胡適的父親胡傳做到了「三品餃在任候補知府台灣台東直隸州知州」，要算是上莊胡氏族中最顯赫的官兒了。
胡適的家，原不是什麼書香門第，而是歷代經商，做茶葉生意。他的高祖由小本經營，居然在上海的川沙開設了一家小小的茶葉店。他的祖父擴大營業，並在上海華界增設了一家支店。到他父親胡傳做了官，本錢充裕了，生意便越做越興隆。胡傳死後，家里還留有上海一家裕興泰茶葉店，一家公義油棧，在漢口還有一家兩儀酒棧。只是因為胡適的父親胡傳的逝去，這些產業也先後隨之而陷入了不景氣。
胡家第一個有志讀書的，就是我們前邊幾次提到的，胡傳的伯父，也就是胡適的伯祖父胡奎照，字星五。可憐他寒窗苦讀十余載，連個秀才也沒考上，只在鄉里教私塾，人稱星五先生。
胡適出世後剛滿90天，其父奉旨調往台灣。
胡傳到台灣任「全台營務處總巡」，在6個月內將全島考察一遍，這趟壯游，南到恆春，北至滬尾 (淡水) ，深入後山台東、花蓮、宜蘭，遠達外島澎湖，親赴全台31營、28哨、2隊，考察防務設施及訓練情形。接著，辦理台南鹽務，積弊一清，鹽務大有起色。
1893年，奉委「代理台東直隸州知州」一職，兼「鎮海後軍各營」統領，大力掃除軍中鴉片，加強後山防務。在台任職3年6個月，迄台灣割日，奉命內渡。
胡傳生前最後的官餃是「 誥授通議大夫、賞戴花翎、江蘇候補知府、前台灣台東直隸州知州兼統領鎮海後軍各營屯」，賞加三品餃。
這些理想，雖因台灣割讓日本而未實現，但可以肯定的是，在近代中國邊疆的開發史上，其事跡足以名垂青史。
到1893年春天，馮順弟便帶著一家子，抱著小兒，去台灣投親。在胡傳做官的台南和台東，度過了將近兩年的很快樂的團居生活。
那時已年過52歲的胡傳。在公務之暇，剪一些紅紙方箋，用毛筆端端正正寫上楷字，教年僅20的馮順弟認字。他們兩人又一起教剛過兩歲的小兒也開始咿呀識字，父親當教師，母親既是學生又兼助教。這老夫少妻稚子三口，享受到了人間最神聖的天倫之樂。到離開台灣時，母親認了近千字，小兒胡適也認了七百多字。
幸福是那樣短暫，瞬息即逝，悲痛卻來得那樣突然，沉重。中日甲午戰爭爆發的第二年，胡適母子剛離開台灣，回到績溪故鄉不久，就傳來了他父親胡傳病死在廈門的噩耗。
這家庭的巨變和不幸，在胡適幼小的心靈里，留下了最初的記憶︰「這時候我只有三歲零八個月。我仿佛記得我父親死信到家時，我母親正在家中老屋的前堂，她坐在房門口的椅子上。她听見讀信人讀到我父親的死信，身子往後一倒，連椅子倒在房門檻上。東邊房門口坐的珍伯母也放聲大哭起來。一時滿屋都是哭聲，我只覺得天地都翻覆了！我只仿佛記得這一點淒慘的情狀，其余都不記得了。」
胡適的母親遭到這般沉重的打擊，當時還只有22歲多2個月零17天，虛齡也只23歲！她在人生的途路上還剛剛邁開幾步，剛剛嘗到一點生活的甜蜜，便青年喪夫，做了寡婦，這是一個中國婦女的最大的不幸！而她又「以少年作後母，周旋諸子諸婦之間」，再加上家業中落，經濟困窘，如胡適所說，「困苦艱難有非外人所能喻者」。
胡適的母親23歲守寡，一直守了23年，受盡了人生的痛苦和折磨。
落葉歸根，成了寡婦的馮順弟無奈中不得不帶著胡適回到老家尋找生路讓孩子接受教育。23歲的馮順弟成了鄉村大家族的主母。
馮順弟仁慈而質樸，為主持好一大家子，時時處處小心謹慎，寧願個人也不願弄得家庭不和。胡適大嫂二嫂都生的是兒子，一不順心便打孩子出氣，一邊打還一邊說些尖刻話來刺激胡適的母親。馮順弟總是裝著听不見、忍辱負重，從來沒說一句傷人感情話。但她也是一個講原則人，盡管處事逆來順受，但卻不接受人格侮辱。
胡適的五叔是個游手好閑之徒，有一天在煙館里發牢騷、說胡適母親家中有事總請某人幫忙、肯定給他好處不少。不知怎麼的，此話傳到胡適母親耳中。她氣得大哭，請幾位本家來，把五叔喊來，當面質問他她給某人什麼好處。直到五叔當眾認錯賠罪、她才罷休。
這一切胡適都看在眼里，他的身上留有母親品格的烙印。胡適後來也坦承，他日後好脾氣的養成，和他這段日子的冷眼旁觀很有關系。童年的鄉村生活，對他的一生產生了巨大深刻、無以替代的影響。
馮順弟對胡適既是慈母兼嚴父，又是恩師兼嚴師。她從不溺愛獨子。胡適說︰「她從來不在別人面前罵我一句、打我一下。我做錯事，她只對我望一眼，我看見了她嚴厲目光，就嚇住。犯的事小、她等第二天早晨我睡醒時才教訓我。犯的事大、她等到晚上人靜時，關房門，先責備我、然後行罰。」
有一個初秋的夜晚，胡適吃了晚飯，在門口玩，身上只穿著一件單背心。這時候母親妹子玉英姨母在胡適家住，她怕胡適冷，拿了件小衫出來叫他穿上。
胡適不肯穿，她說︰「穿上吧、涼了。」胡適隨口答道︰「娘（涼）什麼、老子都不老子呀。」（意即老子已經死了或不在身邊。有可能來源于胡適的兩個嫂子說的風涼話。）
胡適剛說了這句話，一抬頭，看見母親從家里走出來，胡適趕快把小衫穿上。但她已听見這句輕薄的話了。
晚上人靜後她罰胡適跪下，重重責罰了一頓。她說︰「你沒了老子，是多麼得意的事！好用來說嘴！」母親氣得坐著發抖，也不許胡適上床去睡。
胡適跪著哭，用手擦眼淚，不知擦進了什麼微菌，後來足足害一年多的眼翳病。醫來醫去、總醫不好。
胡適母親心里又悔又急，听說眼翳可以用舌頭舌忝去，有一夜她把胡適叫醒，真用舌頭舌忝他的眼翳。
馮順弟這種既嚴厲又保護其自尊心教育方式，使胡適從小就懂得正經做人、愛惜名譽，這為他日後不斷上進奠定了基礎。