于是張遼在當夜募集敢于出城迎戰的精銳將士八百人，開剝牛支讓將士飽食，準備明日大戰。
天色剛亮，張遼被甲持戟，親自先登上直直陷敵陣，撕裂了東吳軍隊的防線。
在他率軍沖入東吳的中軍營壘之前，張遼就已經親自斬殺了數十名東吳士卒和兩名東吳將領。
他一邊大聲呼喊著自己的名號一邊拼殺，沖入東吳的中軍營壘，此後，張遼率軍繼續猛攻，一直沖殺到孫權的主帥旗之下。
孫權見狀大驚，孫權身邊的眾將士也因驚慌失措而不知道該如何應付，于是，孫權等人逃跑到一座較高的山冢上，用長戟來自衛。
張遼見敵方主帥退避，便叱喝孫權，挑釁他下來對戰，但孫權沒有輕舉妄動，隨後孫權發現張遼所率領的士兵非常少，于是聚攏東吳軍隊將張遼的部隊重重包圍。
張遼在吳軍陣中左沖右突，終于打開包圍圈，率領部下們突圍。
公元216年，曹操再征孫權，到合肥後，曹操循行視察昔日張遼作戰的地方，贊嘆良久，于是給張遼增兵，多留諸軍徙屯居巢。
公元217年，曹操攻濡須口，孫權請降，留夏侯惇、曹仁、張遼等屯居巢。
公元219年，關羽圍曹仁于樊城，適時孫權稱藩于魏，為了讓孫權安心攻打荊州，于是曹操召張遼及諸軍悉數回救曹仁。
張遼素來知曉曹操的用意，雖然他收到詔令較晚，但向樊城的進軍速度卻很快。
而張遼尚未到達，徐晃就已經打敗關羽，張遼便與曹操會師摩陂，曹操乘車出來慰勞他，並派他屯于陳郡。
公元220年，曹操去世，曹丕即位魏王，張遼從征東將軍平級轉任為前將軍，分封其兄張汛及一子列侯，同時，賜給張遼的帛多達千匹，谷多達萬斛。
不久孫權再叛變，張遼還屯合肥，並進爵都鄉侯，曹丕賜輿車予其母以示榮寵，並派兵馬送其家人到他駐軍的地方，又預先在當地告示張遼家人將要到臨，命令所有守軍出迎，眾軍士將吏都列隊出候拜迎張遼家人。
看見此景的人均認為這是十分榮耀的事，同年曹丕稱帝，再封張遼為晉陽侯，增邑千戶，並前二千六百戶。
公元221年，張遼到洛陽皇宮朝拜，曹丕便引張遼會晤于建始殿，親問其昔日破吳時的情狀，張遼述說過後，曹丕向左右嘆息道︰
「簡直是古代的召虎啊！」
于是，曹丕下令為張遼建造屋舍，替其母興建殿室，當年跟從張遼突破吳軍陣線、直沖孫權帥旗而臨時應募的一眾步卒，都被封虎賁。
公元222年，孫權再次向曹魏稱臣，張遼奉命還屯雍丘，卻在此得病。
曹丕遣侍中劉曄帶著太醫審視其疾，並令虎賁衛士們往來傳達張遼病況，為張遼問病的使者經常在路上互相遇見。
梁章巨《三國志旁證》中提到「漢三公病，遣中黃門問病，魏、晉則黃門郎，尤重者或侍中，張遼位未至公，而遣侍中，蓋寵之也。」
可見曹丕如何重視張遼，張遼之疾久未痊愈，曹丕命人把他接到自己的行營，自己則車駕親臨，握著他的手，賜給他御衣，太官每天來送御膳。
病情稍有好轉後，張遼便返回其屯軍之所駐軍，忠于職守，正當其時，孫權再次背叛曹魏，曹丕派張遼乘舟，與曹休到海陵臨江駐防。
孫權知張遼至此，甚為忌憚，敕令諸將道︰
「張遼雖然抱病，但仍是勇不可當的，千萬要謹慎在意！」
同年，張遼與王凌等人進軍至廣陵，一天夜里，呂範等人的東吳水軍漂至北岸。
張遼與王凌等人出戰，大破吳將呂範等人，並繳獲了大量舟船，但張遼的病情卻也日漸嚴重，最後終于在江都逝世，一代名將就此隕落，曹丕為之流涕，謚曰剛侯，其子張虎嗣任其爵。
「文遠將軍，我家主公一到蕩陰城，沒有休息片刻，馬不停蹄就來看你了」
辛棄疾一邊嚷嚷著，一邊走進大帳之中，張遼聞言趕緊快步走出來迎接。
「公孫將軍想見末將，讓人前來喚我前去便是，將軍旅途勞累，不敢勞煩親自此處！」
眼見公孫越果然親臨大帳，張遼不由誠惶誠恐，畢竟自己只是聲名不顯的小將，而公孫越已經是雄據兩州的一方大諸侯。
「文遠將軍，只要是金子總會發光，只要是尖錐總會破袋而出，將軍只是缺少一個大平台而已。
若不是有將軍前來，漢臣他們也不會贏得這麼輕松，據兗州探馬來報，呂將軍在兗州士人的支持下，諸郡紛紛棄暗投明，如今曹操只剩東阿三縣，文遠宜速帶兵前去助呂將軍一臂之力！」
得知兗州的情況之後，張遼即刻命士卒去做準備，這一晚公孫越和張遼徹夜長談，一直到天明時分才依依惜別。
「文遠，若是哪天呂將軍那里待不下去了，我這里的大門隨時為你敞開，目前三郡未定，實在無力出兵與你們共擊曹操。
不過你可以放心，我會立即手書一封，讓坐鎮聊城的劉玄德和坐鎮樂平的徐榮、徐晃二位將軍，與你一起從後方威脅東阿。
至于最後能否功成，那就要看你們了，我會在鄴縣等著你們的好消息，希望你們能擊敗曹操。」
「公孫將軍，如果有一天真在呂將軍那里待不下去，您一定會是我的第一選擇，告辭！」
目送張遼離去之後，公孫越回到蕩陰城內，留辛棄疾為主將，管亥與蔣奇為輔，領幽武卒第一軍和虎賁軍第一軍坐鎮蕩陰，其余兵馬則返回鄴縣。
眼看魏郡、陽平郡已經被破，廣平郡很快也派人請降，公孫越自然滿盤接收，派朱靈前往廣平郡坐鎮。
如此一來魏郡、陽平郡和廣平郡全歸帳下，冀州11郡總算落到公孫越手中，冀州刺史之位總算名正言順。
「漢臣，以後就要靠你坐鎮魏郡了，總督魏郡、陽平與廣平三郡政務和軍務，元凱先生也會留在這里助你一臂之力。
魏郡、陽平與廣平三郡是進入兗州和並州上黨郡的橋頭堡，戰略位置非常重要，等戰事結束之後，將袁軍家人送歸袁軍，換回黎陽重鎮。」