楊過出了赤霞莊之後，也不知該去向何處，雖然他對周遭的地形已經略有了解，但真正臨到自身之時，卻連東南西北都難以辨別出來。
他心中想著︰「且不管能走到哪里，先離得這赤霞莊遠遠的總不會錯的。」心中有了打算，他便也不去管方向有無選對，見有道路便走了下去。
此時夜已過半，四處人跡皆無，他孤身濕衣獨行，大感有蕭索之意，一會兒想起了前世生活的困苦，一會兒又想起了古墓中習武的無憂，臉上時而悲傷，時而欣喜，究竟是如何一番心緒，連他自己也說不明白。
也不知走了多久，他抬頭向天上看去時，月已經斜斜西下，東方已將要破曉，他這時感覺雙腿又酸又沉，便想找個地方歇息一下。
四下打量了一下，見路旁不遠正好有一小片林木，便走了過去。
這片林木長得稀稀疏疏的，大都也不甚高大，不過作為一個臨時歇腳之地，避過一些蟲獸的騷擾卻也足夠了。
他選中了一棵最高的大樹，飛身攀了上去，然後在一個大的枝丫間坐了下來，斜身靠著枝干。
「現在倒是不用再擔心被李莫愁師徒發現了，等到天明，我再向路人問明了去終南山的道路，想來不用再等上多久，就可以返回古墓了。」他雖然不知道自己身在何處，但心中估算了一下，按他的腳程來算，少說也已走出了數十里地，這天下便是再小，也決計不可能再與李莫愁踫上。
他移動身子，找了一個舒服的姿勢斜躺了下來，便準備睡上一覺，但他先前走路之時固是能有幾分精神，此時一停下來，雖然困意不住上涌，但肚子卻在一陣陣的「咕咕」作響，怎麼也不能入睡。
他又躺了一陣，終是耐不住饑餓，想道︰「我且到附近尋上一尋，看有無充饑之物。」下得樹來，他直接向林中走去，但行走了片刻，卻什麼都沒有發現，連野果子都沒有見到一個。
又走上一段距離，他感覺眼前光線一亮，向前看時，卻是已經走出了樹林。
他心中嘆了口氣，輕輕揉了揉肚子，正想再回到樹林，轉身之時卻見遠處依稀顯出幾間房屋的輪廓。
他心中不由一喜，忙上到了一棵樹上，然後定楮仔細去看，這時卻是看得清了，里許之外，果真有一些房屋，看樣子應是一個小的村落。
既然有人居住，吃的自然也不會少了，他精神一振，下了樹之後便健步向那個村落疾去。
里許路程眨眼即到，楊過到了村內之時，家家戶戶都閉著大門，還沒有任何人在這個時候出外活動。
他本想尋上一戶農家上前敲門，但想想現在天色未明，冒然去問定會惹人生疑，十之八九會被拒之門外。
「算了，我還是做一回梁上君子吧。」他在村子中隨意走動著，尋了一戶看起來還勉強能入眼的農家，翻身便從牆上躍了過去。
這戶農家院中只有兩間小小的土屋，楊過隨意一看便認出了一間正是廚屋，他來到另一間屋前，听得屋內有三個人的呼吸之聲，顯然正在熟睡之中。
他又走到那間廚屋門前，見門上並未上鎖，只是用一根木棍掩著房門，便將木棍抽出，輕輕推開了木門，推門之時他特意向上用力，微微將木門提起，使得木門沒有發出任何的響聲。
他走進去尋找了一番後，卻不由得大失所望，灶台上除了有一些鍋碗用具之外，並無任何吃的食物，鍋底上連塊鍋巴都尋不著。
「看來食物沒有放在這間房內，這卻是讓我有些為難了。」他剛才看過這戶農家的臥房，窗戶是半開著的，但讓他直接進去，他卻心中有些打鼓，總覺得有些膽氣不足。
他躊躇了半響，也難以下定決心，不由心中想道︰「看來小爺我還是不適合干這一行，還是乖乖地等到天亮再說吧。」
他退出了廚屋，正準備出去，卻听得另一間屋中傳來咳嗽之聲，隨即傳來了一個女聲︰「老頭子，你沒事吧？還在疼嗎？」
屋內的咳嗽聲響了幾下便即止住，然後另一個男聲響起︰「沒事兒，剛才翻身的時候不小心壓到了傷口，一時沒有忍住。」
那女聲又道︰「白日里我見你都有些咳血了，要不天亮之後到鎮上去看看吧，吃上幾副藥也能好得快些。」
那男聲回道︰「咱家哪里還有余錢買藥？便是屋中的這點口糧還是我拼了老命才從那幫畜生手中搶回來的，總不能拿這些口糧再去換錢。」
那女聲嘆息了一聲，說道︰「總是這樣也不是辦法，咱們辛苦上半年也就存上那麼點兒糧食，到頭來卻都被那些天殺的山賊搶了去，你看咱們是不是搬到別處去生活？」
那男聲又咳嗽了幾聲，才說道︰「搬到哪里還不是一樣？在這里咱們雖然日子過得苦，但山上的那幫畜生也不敢將咱們逼上了絕路，多少還會留上一口吃的，這日子就先這麼湊合著過吧，等娃兒長大了，家中多上一個勞力，就能好上一些了。」
那女聲似是有些無奈地說道︰「也只能這樣了，咱們別說話了，娃兒還在睡，別吵醒了他。」
屋中很快又安靜下來，不久就傳出均勻的呼聲。
楊過心中想道︰「听他們所言，這里附近常有山賊過來打劫？怪不得我轉一圈下來，所有的房屋都是破敗得不像樣子，連只狗都沒有見著。」
他既知這村中之人家家窮苦，也就息了再向別家偷食的念頭，輕手輕腳地又翻出了牆外之後，便無精打采地向村外走去。
經此一事之後，他的困意也消失了，他听得剛才兩人的談話中提到了鎮上，便循著村中的大路向下走去，若他沒有猜錯的話，至多走上個十余里，便能到達那個鎮子了。
他走出幾里，道路卻是分出了兩個岔道，正不知如何去選時，見得右邊的岔道盡處，遙遙地聳立著一座孤山，心中不由想道︰「那些山賊既是常來村中打劫，其山寨駐地想必也不會太遠，會不會就在山上？」
他腦中冒出這個念頭之後，便又想道︰「我此去終南山，路途遙遠，身無分文實在難以成行，何不去山上打些秋風？雖說山賊手中的錢物來之不正，但與其讓那些山賊享用，還不如讓小爺取了作為盤纏，大不了我將那些山賊驅散，也算是作為對那些遭劫村民的回報。」
他自感此舉既能行俠仗義，又可解了自己燃眉之急，不由心中有些興奮，他在李莫愁手中吃癟，又落到這般地步，早就積了一肚子的悶氣，正好可以拿那些山賊泄泄火氣。
楊過轉道而行，又向那座孤山而去，行了約有半個時辰，便到了山腳之下，有一條四五尺寬的山道彎彎曲曲的通向山上，他向地上查看了一下，發現有許多的足跡，心中頓時大定，便大步向山上而去。