再說回隴上，去歲九月，呂布在金城之下大敗，一日之間損失過萬。後在韓遂率軍追擊之下，接連失地，過去兩年中奪得武威南部諸縣盡數丟失，麾下招攬的諸多勇士都在雪地內相繼死亡，不得不敗退回靈州之中。
此次大戰對隴上影響甚大，涼州羌人本以為呂布已穩操勝券，多有投靠。孰料韓遂卻能另施巧計，將局勢扭轉。結果就是他們順風而倒，原本才剛剛往東定居，歇不過幾日，如今便又紛紛離散往西，再投韓遂去了。
這令呂布大為惱火，他生平除去高陵之戰外，從未遭遇如此大敗。而戰敗的理由又是自己誤信劉雄鳴，將奸賊引為心月復，這份經歷令他倍感恥辱。以至于在涼州發布賞格說，能獻上劉雄鳴頭顱的，可得千金，獻上姜正頭顱的，可得五百金，以此來宣泄胸中羞怒。但既然已經戰敗，如此行為也不過是增加笑料而已。
如此情形下，呂布派遣張昶向朝廷求援，希望朝中再次能夠撥派援軍與錢糧。陳沖得聞後，立刻從董承軍中抽調萬人北上，又安排衛固在河東一帶募兵，直至炎興六年三月，募得萬余人，也盡數送入北地郡內。加之呂布在這半年間，厚金擴軍，又約得萬人，以致于麾下約有雄兵六萬，更勝金城戰前。
呂布如此窮兵黷武，所為自然是雪恥復仇。但令他意想不到的是，在三月十九，韓遂竟派出使者，前來與呂布說道︰「欲與將軍各提五萬兵馬，于逢義山前一決雌雄。」言辭態度甚是輕蔑，這令呂布大怒，當眾用馬鞭抽打使者雙面，呵斥道︰「韓遂何等小人，也敢與我比試高低？若非小人奸計，韓賊早是枯骨！」
孰料使者口含血沫，仍舊笑道︰「將軍如此說來，是不敢與韓公一戰咯？我本以為將軍乃是北疆英雄，現在一見，原來是守戶之犬耳！」
呂布受此一激，勃然大怒，當眾抽出短刀，揮手割下使者的鼻子，看使者在身下捂臉哀嚎，他再呵斥道︰「小人膽敢出此言！我呂布堂堂偉丈夫，五原鐵騎士，麾下十萬雄兵，怎會受辱于韓遂？你回去告訴韓遂，若是真男子，就勿要食言！」如此應下了韓遂的邀約。
于是呂布盡起治下六萬余眾，只留下五千兵馬鎮守富平，繼而再次舉兵南下，以赴韓遂之約。
約戰的地點逢義山，位于高平城西北約五十里處，處于六盤山的余脈，丘陵起伏，溝壑縱橫，並非是耕種的沃土。但這片高原俯瞰著整片高平盆地，一旦有人馬自此通行，無論是向南向北，均要受其威脅，可謂是安定郡中的軍事重地。
建寧元年（公元168年）春，護羌校尉段便是在此山下與先零諸種羌大戰，大獲全勝，繼而賜予破羌將軍之名，今人從此經過，至今還能看到前人戰場的遺跡，石中馬骨，草下銹劍，不得不追思前人的武功盛事。
而呂布于去年在山下招攬羌人，砌牆築堡，已將此地囊入治下，對安定楊秋取得了極大的優勢。而韓遂在此地與呂布約戰，顯然是做著一戰收復失地，徹底將呂布封堵在北地的打算。但若呂布獲勝，高平盆地將易手，金城戰敗的影響也會隨之消散，呂布將重新佔據隴上的主動。
故而兩軍皆不敢不嚴陣以待。
四月初六，呂布率眾自石峽口登山，沿著一條名叫白羊水的小河流溯流而上。州府的騎兵在小河邊的平地上排起了長隊，人和戰馬在山崖下仿佛螞蟻，而他們馱運的鐵甲，正在陽光下閃著光。靜悄悄的水流就在他們腳下，又很快消失在跌宕的山道里。雨季尚未到來，河道大部分地方仍舊干涸，有水的地方漂泊著些許雜草來回，如同水上浮雲，遮蓋住了漣漪的波光，時而交叉糾纏，時而匯合或分開，向下綿延而去。
呂布望著前方怔怔出神。南面再走三十里，就能抵達逢義山堡了，兩邊都是大片吐綠的樹林，林子後面的山脈漸次抬高，而在山脈的後面還有一道淡淡的山影，直至天跡。偶爾林間有一片黑點在晃動，好像樹葉隨風飄一樣。在前的斥候說︰「那是烏鴉。山南坡有一大片柿子林，羌人離開後，烏鴉就在那里安了家。」
呂布想︰「韓遂現在在哪兒呢？」
雖然呂布自認為野戰必勝，但涼人在金城一戰的用計著實令他印象深刻，事後回想，呂布也不得不為謀劃之大膽而感嘆。故而此次約戰，他分外小心，一路上前後斥候不斷，唯恐敵軍又設奇計。
從南邊高平回來的偵騎說，高平城中陸續有兵卒聚集。顯然，涼軍各部是正在自雞頭、薄落谷小道往高平城聚集，目前城中約有兩萬人，預計還有一旬，他們才能盡數到來，前來會戰。
呂布聞言，心底的緊張稍釋，但他轉念又想，會不會是他們誘我來此，再在北邊河水斷我歸路？于是又打起精神，等待後方斥候的匯報。直到兩日後，呂布率軍抵達逢義山下，後方無事的消息傳來，他才又吐了一口氣。
逢義堡不大，只能容納約七千人在堡中生活。于是呂布便派典兵從事曹豹率先頭騎兵至高原東南角的莧麻河，監視高平涼人們的動向，自己則率大部，在逢義堡南五里的馬營水駐扎下來。羌人在這里築有山營，能容納軍官在這里住宿，但大部分軍人馬匹都只能自己尋找山崖，在其中露宿。晚上狂風從西北邊吹過來，帳外的厚盾都僕僕作響。新卒們听著這些聲音，便開始懷念溫暖的酒肆之夜。
出發前，呂布給靈州的每名士卒都發了一壺滾燙的好酒，還請了一些羌女在軍中輕歌曼舞。這幅景象深深地烙在大眾腦海中，河東子弟更是如此，他們不能入睡，整夜地思念家鄉。軍士議論說︰「奮武將軍要是想起齋戒修行的妻妾，想必更加難以入睡。」
原來在臨行之前，呂布的美姬王貂蟬在靈州舉行了齋僧大會，一連請了近百名天竺高僧，為出征將士求福。貂蟬已信佛多載，她問自貴霜來的高僧支度迦羅，如何能保佑將士平安歸來。支度迦羅說︰「只要發願舍身，行八關齋戒，每日清晨沐浴、焚香、更新衣，口含旃檀，燒香懸幡，日念觀世音經不止，則可保一切平安。」貂蟬于是在府中立佛金身，月兌去絲織衣裙，換上清補法衣，舍身修行祈福。臨行前，貂蟬對呂布說︰「夫君歸來之日，便是妾身出閣之時。」如今這漫漫長夜，想必她仍在祝願遠去將士得勝吧。
如此又過了七日，高平的涼軍仍在匯合，遲遲沒有北上約戰的意思。這讓呂布等的頗為不耐，以至于在四月十五、十六兩日，接連派了三次使者前去約戰，詢問他們打算何時赴約。
使者都見到了韓遂，他高坐席上，卻語焉不詳，一會兒說五日後便可一戰，一會兒說尚不知時日，先請使者回去。這些舉動令呂布迷惑不解，部下中有人說，或許是將軍行軍謹慎，韓遂見無機可趁，心中已然怕了，又有人說，或許是韓遂故技重施，一邊令我們松懈，然而再忽出奇兵。
這時張遼獻計說︰「將軍，我願去高平，觀察敵營虛實，若敵為實，則我軍可戰，若敵為虛，則其必有詐計，我軍當撤回河水，先奪回失地。」
張遼是呂布軍中屈指可數的猛將，但更為難得的是，張遼在上陣廝殺之余，觀察極為細膩，常常能察覺出敵陣變動之中的疏漏與破綻，故而往往能批亢搗虛，一擊而取奇效。呂布正猶豫間，听聞張遼敢冒奇險，大為歡喜，與張遼握掌笑道︰「好兄弟，若真能得其虛實，此戰你功勞第一！」
張遼由是南下高平。高平城北便是涼軍大營，張遼路過時，細細觀察周遭布置，發覺涼軍營壘分散，兵員多老弱。即便如此，粗粗算下來，恐怕城前涼人只有兩萬出頭，這令張遼狐疑不已。轉而面見韓遂，再問其何時挑戰，韓遂仍舊含糊其辭，這更令張遼警覺。
因此出城之後，張遼並未立刻回軍，而是藏于高平城東北的一處山林里，觀察城中情形。就在半夜明月高照，間或蟬鳴的時候，張遼忽聞南邊聲聲鴉叫，一群烏鴉在大道的蔭林間飛了起來，在其下，可見如龍的黑影在緩緩出城，估計約有三千余人。而到了次日辰時，城外又有一行人大張旗鼓，奏號凱歌而來，緩緩進入城內。
張遼頓時了然，向呂布通報說，高平城中並無大軍，韓遂所謂約戰，估計是想牽制我軍于此地，真正意圖恐怕另在他處。且過不了兩日，北面的斥候來報說，大河北岸似有人員往來，呂布頓時確信，在高平的只是疑兵。于是他立刻召回曹性，打算率部返回河水，先奪回顫陰渡。
四月二十日，呂布正欲拔營而行，高平涼軍忽然出城北上，出現在莧麻河前，呂布便移軍轉向，與涼軍隔河對峙。涼軍見其有接戰之意，便又緩緩退軍，似只有牽制之意，並不敢于呂布野戰。
呂布對高平為偏師的意圖更為確信，以其必為虛軍，無膽決戰。故而待其退走後，呂布令軍中各部暫時歇息，明日再行撤軍。自己則卸甲飲食，早入夢鄉，孰料睡夢之中，忽為一陣嘈雜的喊殺聲驚醒。
他匆忙走出大營，只見南營已縱起大火，不少騎著快馬的騎士，正在州府士卒間大肆砍殺，嚎叫與哀鳴此起彼伏，夾雜著箭雨在風中的破空之聲。
原來，賈詡在高平設有兩座大營，一座堂而皇之地置于城北，令軍中老弱者駐扎其中，另一座則置于城南的弓背梁里，乃是涼軍精銳所在。如此一明一暗，張遼只知其一不知其二，還道涼軍在北面另有奇兵，實則涼人從設計之初，就打算傾力決戰。
在白日里最後一次向呂布示弱後，韓遂領兵夜襲逢義堡，馬騰、成公英等部直摧南營，繼而一舉擊破呂布營壘。呂布自知必敗，只能領數百陷陣營倉皇北逃。
至此一戰，呂布軍中死傷無數，被俘無算，能回到靈州的不超過四千人，關中也為之大震。呂布隴上五年之辛苦經營，可謂一夜盡毀。