據司馬懿和陳宮事後分析，呂布之所以同意離開。
一則，呂布就是想當面問一問老部下成廉，為什麼當初選擇突然要離開他，尤其是居然投靠金玨這個小子。
二則，呂布想離開並州透透氣。
身邊的女子始終沒有能夠給自己剩下兒子，寶貝女兒嫁人後，越來越向著金瑋那個呆女婿，呂布又不是傻子，他自然看得出來，他的部下因為金瑋，已經暗中分成了三派。
第一派，以三個老部下為首陳宮、張遼，甚至于一直以來都對自己忠心耿耿的高順都已經歸心于金瑋，並不是說，他們三個想造呂布的反，而是，他們三個對于呂布的人事任命越來越偏向于金瑋，這讓呂布覺得很不舒服。
後來，呂布招納，實際上，幾乎都是金玨推舉的河東郡、河內郡，以及並州刺史部內的人才，就更是如此，基本上都想著金瑋，這里面以司馬兄弟和楊奉為首。
而楊奉的態度更是讓呂布感到奇怪，當初，楊奉可是非常瞧不起金玨的，可是，自從曹操將漢獻帝遷居到許縣之後，楊奉對金氏兄弟的態度直接來了個一百八十度大轉彎。
而第二派，以另外三個老部下為首，魏續、宋憲和侯成。
尤其是魏續，身為他的內弟，一直被呂布委以重任，呂布軍最精銳的陷陣營是高順一手訓練出來的，可是，在平常沒有戰事的時候，呂布卻把陷陣營交給魏續管理，由此，呂布對他的信重可見一斑。
而金玨明知道這種情況，卻點評，若是呂布軍緊急時，第一個背叛呂布的人，就是魏續，接下來，宋憲和侯成。
金玨當初的點評可是一點面子都沒有給呂布。
事情在沒有發生之前，金玨的話究竟會不會成真，根本無法印證，又如何能夠說服呂布呢？哪怕金玨推舉給呂布的人才個頂個都非常好用，哪怕金玨的建議，已經讓呂布軍成功報復了好幾次曹操，可是，呂布心里面還是信任魏越，這是任何人都改變不了的。
第三派就是中間派，這類人絕大多數，都是呂布北返之後招募的人才，比如一直對呂布態度並不明朗的徐晃，衛覬等。
而最讓呂布心煩的是，卻是他的後院開始失火了。
家里面也分成了三派，嚴氏是正妻，而呂玲兒雖然不是她親生的，但卻是她從小養大的，自然偏向自己的女兒和女婿。
魏氏向著魏越三將，因為魏氏也為呂布生了一個女兒，只是年紀實在是太小，要想成婚家人，還得五六年，因此，魏氏背地里說金瑋的壞話，效果並不佳。
至于貂蟬，只要呂布到她哪里去，從來只說他們二人之間的事情。只可惜，也許是受到了董卓詛咒的關系，貂蟬至今未能給呂布生下一男半女。
不對，貂蟬也曾說過兩個人的壞話，一個就是曹操，一個就是金玨，曹操喜好人qi，垂涎貂蟬，這是一個公開的秘密，而金玨自黑，與曹操的這個喜好掛鉤，自然也讓貂蟬極為不喜。
貂蟬深知，若是呂布真得哪一天不幸敗亡的話，以她的容貌，必定會淪為其他人的玩物，而其中，最有希望統一天下的人中，曹操就是這種人，袁紹也未必不會這麼做。
呂布沒有兒子，後院亂成這個樣子，讓他如何不心煩呢？
若是金瑋是一個囂張跋扈，時不時闖禍的無知小子也就罷了，可金瑋偏偏就是循規蹈矩，有些迂腐的世家子，家教相當好，不但對呂布的女兒非常好，對嚴氏和呂布也非常孝順。金氏兄弟家中已經沒有了直系長輩，呂布和嚴氏自然就是他的父母了。
金瑋雖然有些呆，但是，其為人性格溫和寬厚，大度，可他喵的，這小子不但善于騎馬，還非常善于養馬，這一點對呂布軍以後的發展尤為重要。
呂布軍手下的大將一大半都喜歡金瑋也就在情理之中了。
因此，司馬懿一提出這個建議，呂布立即就同意了。
第二個原因，呂布已經被魏氏吵煩，出來就是想多透透氣。
呂布走後，在嚴氏的支持下，陳宮便立即調整了呂布軍的人事安排。
魏越就任雁門郡太守，宋憲就任代郡太守，
同時，趁著這段時間，袁紹軍把幾乎所有能夠調動的兵力全都集中在幽州，以消滅公孫瓚勢力的當口，侯成為主，高順從旁協助，二將一起出兵，進攻定襄郡，準備徹底將南匈奴人驅趕出該郡。
中平四年十二月，休屠各胡人與南匈奴貴族們全都擔心，漢朝因為內亂，征發匈奴軍隊的事不會停止，因此，談便反叛單于，大軍如今東漢邊郡。
一時間，整個並州大亂。
並州刺史部中的定襄、雲中、五原、朔方、上郡一時間幾乎全都被這兩股胡人說攻佔。
中平五年正月，休屠各寇西河，攻殺西河郡守邢紀。同年三月，休屠各攻殺並州刺史張懿。遂與南匈奴左部胡合，號稱有十萬人，並殺其單于羌渠。
後來，還是呂布的一個義父丁原在中平五年就任並州刺史後，賞識呂布和張揚，在這些人的幫助之下，最終穩定了並州的局勢。
只可惜，丁原被董卓殺死之後，並州刺史部、河東郡和河內郡又因為白波賊而又一次陷入到了內亂之中。
興平元年，諸侯割據，再加上受席卷大漢朝長江以北蝗災的影響。南匈奴人主動參與了諸侯的混戰，他們率兵沿黃河而南下。
此後，高借著袁紹的勢力強勢進入並州，就任並州刺史，可這個時候還，休屠各胡人和南匈奴卻已經佔據並州刺史部中很多郡縣。
事實上，高這個並州刺史，能夠控制的郡只有太原郡、上黨郡和部分雁門郡，至于並州其他郡，他可沒有那個能力收回。
那個時候，呂布軍兵力雖然很弱，但是，軍中的將領全都是虎將，西河郡中的休屠各胡和南匈奴聯軍猝不及防的情況下，迅速被擊敗了。