再说王躞在阳武口兵败，自回鄂州，留下统制官王渥、赵兴等四军，转隶程昌寓节制，移驻上让江口。不久，杨幺军乘胜聚集了八只车船，满载一精锐铁甲士卒出酉港进击上游宋军。双方交战于金风口，宋军溃逃。程昌寓恐义军攻鼎州，即于德山沅水对岸、社木寨、船场寨，各遣兵五百人戍守。
四年正月初七，程昌寓遣统制官杜湛，会王渥、赵兴共率兵出战。初九，攻克皮真寨，俘杨幺军陈钦等八十余人，夺船三十只，于是招安各寨。六月，王躞自鄂州再至鼎州，听说杨幺拒绝招安，又派遣大军进剿。七月，杨幺军反击攻鼎州。
当时江水暴涨，社木寨地势低平。水满寨中，冲断新陂桥，守寨宋军无船转移被困。杨幺麾下首领杨钦率车船水军径入其寨猛攻，杀了守将许筌。守寨官兵五六百人疲弊无援，被歼殆尽。八月，王躞败逃。朝廷以其出战无功，屡战屡败，连贬三官，并调动兵力，准备大规模进剿。
岳飞先后平定了游寇李成、张用、曹成和吉、虔州的叛乱之后，升任神武后军统制。赵构赐御书“精忠岳飞”锦旗给岳飞，又将牛皋、董先、李道等部拨归岳家军，岳家军兵力得到扩充。绍兴四年春，岳飞上《乞复襄阳札子》，提出收复陷于伪齐政权的襄阳六郡：襄阳府、郢、随、唐、邓等州、信阳。并说道：“恢复中原，此为基本。”
岳飞还认为应先逐走李成，接着平定杨么，再进图中原。赵构询问朱胜非、赵鼎两人，朱胜非说道：“襄阳为江、浙上流，不可不急取。”赵鼎说道：“知上流的厉害，没有人超过岳飞，当令岳飞专任此事。”赵构于是命岳飞兼荆南制置使，规划收复襄阳。但是赵构又特别规定岳家军不得称“提兵北伐或言收复汴京”，只以收复六郡为限。
四月十九日，岳家军又重返战场，由江州向鄂州挺进。在从武昌乘船渡江北上时，岳飞情绪昂扬地对幕僚说道：“飞不擒贼帅，复旧境，不涉此江！”于是，岳飞长驱来到郢州。此时郢州已被刘豫所部占领，并派遣部将京超拒守。京超非常有勇力，平素号称万人敌。他听说岳飞来到城下，当即上城头守御。他自恃有勇力，因此不怎么防备。
岳飞一到，就下令道：“先登上城者有赏，退后者立斩！”他坐在大纛下指挥，忽然有一大块炮石飞坠在他面前，左右都为之惊避，岳飞的脚却纹丝不。部将王贵、牛皋等，奋勇登上了城墙。岳飞麾众随进，前仆后继。霎时间岳家军拔去了伪齐的旗帜，换成了宋军旗帜。京超开城逃走，被岳飞派遣大将追赶，京超跳崖而死，郢州得以收复。岳飞安民之后，立即进军襄阳。
牛皋字伯远，汝州鲁山人。牛皋所在的鲁山县石碑沟村处于深山老林，交通闭塞，人烟稀少。牛皋入伍之前，以卖柴为生，与老母和妻儿相依为命。牛皋力大如牛，挑五百多斤重的担
子还健步如飞。每次上山砍完柴，他都去砍一棵结实的树做扁担，然后挑着5柴火进鲁山县城去卖。
光卖柴火很难满足家庭的日常开支，这时牛皋就想到了发挥自己的射猎技艺。牛皋从小就喜欢弹弓、射箭之类，随着不断练习，他的射猎技艺有了很大长进，几乎是百发百中，箭无虚发。石碑沟村林丰鸟多，给了牛皋充分施展射艺的机会。每次进城卖柴，牛皋都要捎带一些野兔、野鸡等猎物。如此一来，生活倒也不愁。更重要的是，在日复一日的艰苦劳作中，牛皋不仅练就了强壮的身体，同时将射猎技艺也发挥到了炉火纯青的地步。
后来，由于牛皋在家乡组织抗金有功，被晋升为西道招抚使及蔡、唐、信军镇抚使。绍兴三年，岳飞统管江西、湖北军务，决定由襄汉进军中原，收复失地。牛皋奔赴临安面见赵构，力陈刘豫必败，中原可复。赵构将牛皋所部划归岳飞指挥，牛皋由此加入岳家军。
在牛皋加入岳家军之前，二人就多有来往，而且交情深厚。牛皋年长于岳飞，加之战功卓越，因而颇得岳飞敬重。自此，牛皋就担任岳家军的副帅。岳飞见到牛皋之后，非常欣喜，当即命牛皋为唐、邓、襄、郢四州安抚使，后又任牛皋为中部统领。接着就随岳飞收复襄阳六郡。
王贵是相州汤阴人，是岳飞的发小，跟随岳飞起兵。王贵一直效力于岳飞麾下。朝廷命武功大夫、昌州防御使岳飞为通泰镇抚使、兼知泰州。金国元帅左监军完颜昌围困楚州，因为军情紧急，岳飞于八月轻骑先行赴任，命身为统制的王贵指挥主力自江阴军渡江。
绍兴二年正月，曹成拥兵十万，意图席卷东南，朝廷命岳飞权知潭州、权荆湖东路安抚使、马步军都总管，对曹成剿抚并用。闰四月，曹成战败，逃往连州，岳飞遣前军统制张宪追击，将曹成逐出广南东路；又遣中军统制王贵继续追击，将曹成逐出荆湖南路。
绍兴三年，朝廷命岳飞平定盘踞吉州的彭友、李满等人和盘踞虔州的陈颙、罗闲十等人。岳飞所部到吉州，分遣中军统制王贵和前军统制张宪进兵，生擒彭友、李满等人。岳飞乘胜进攻虔州，分兵攻打叛军的几百座山寨，各处山寨纷纷陷落。岳飞上札要求为立功的王贵升转三官，其中一官授遥郡刺史，一官按规定授予其亲属。
绍兴四年，朝廷以镇南军承宣使岳飞兼荆湖南路鄂岳州制置使，出兵收复京西路襄阳府、唐、邓、随、郢州和信阳军。临行前，赵构特赐王贵、张宪、徐庆捻金线战袍各一领、金束带各一条。
李成率众迎战，把步骑分为两队，步兵列在平野，骑兵面临襄江。岳飞一看，不由笑道：“步兵利在险阻之处，骑兵利于平旷之地。现在李成刚好与此相反，显然违背兵法。他虽然有十万多人，怕他什么？”岳飞于是在马上，举鞭指示王贵说道：“你可用长枪步卒
，击他骑兵！”又指着牛皋说道：“你可率骑兵，击他步卒！”两将奉令，分头前进。
王贵杀入敌骑阵内，专用长枪，刺他坐马。战马中枪即坠，骑兵纷纷落马，被杀死无数，剩余的骑兵也大多被逼入江中，多半溺死。牛皋杀入步兵队里，怒马驰骋，锐不可当，李成步军不是被杀毙，就是被踏死，又伤亡了无数。李成顾命要紧，也无心管及部下，只好飞马逃去，岳飞于是克复襄阳。
还有刘豫部将，驻扎在新野，收集溃众，准备再战。岳飞接着派牛皋攻打随州，王贵攻打唐州和邓州，张宪攻信阳军。他亲自率领裨将王万，分作左右两翼，攻击新野的贼兵。李成众所部已是虎口余生，早知道岳家军厉害，一见岳字旗帜，早已魂胆飞扬，逃得不知去向，此外伪齐兵士，自觉形势孤单，当然溃散。被岳飞、王万两翼，痛剿一阵，徒落得尸横遍野，血流成渠。
张宪是岳飞最为倚重的将领之一，从微相随。建炎年间，张宪就已经在岳飞军中崭露头角。绍兴元年，岳飞奉命到江南西路讨伐叛将李成，留下张宪在徽州保护军队家属。徽州知州孙佑拒绝付给钱粮，张宪与之发生龃龉。后来张宪以三日内离开徽州为条件，才得到粮食。
绍兴二年四月，岳飞讨伐曹成。张宪与吴锡军自全州南下，解除曹成对桂州之围。张宪奉命攻打荔浦县的莫邪关，亲兵郭进奋勇先登，攻破关城。当时第五将韩顺夫夜晚放松警备，饮酒作乐，当夜敌军悍将杨再兴率军反扑，杀死了韩顺夫和岳飞之弟岳翻。张宪与后军统制王经率部击败杨再兴。
岳飞在贺州击败曹成后，命张宪统兵与徐庆、王贵招降曹成党羽两万人。张宪在追击中，俘获杨再兴。当时曹成的部将郝政率部逃到沅州，头戴白色毛巾，发誓为曹成报仇，号称“白巾贼”，张宪到沅州一举擒获赦政。
绍兴三年，当时虔、吉二州盗贼反叛，他们联合兵力寇掠循、梅等十几个州郡，赵构命岳飞领军前往讨伐盗贼。张宪跟随岳飞平定虔、吉二州盗贼，因功从武功郎、閤门宣赞舍人之职升任为武略大夫、吉州刺史等。绍兴四年四月，在岳家军第一次北伐前夕，赵构特赐张宪捻金线战袍和金束带。
等岳飞回到襄阳后，牛皋、王贵、张宪就陆续报道胜仗，所有随州、唐州、邓州、信阳军，一律被收复。于是襄、汉都被平定。岳飞移屯德安，军声大振，当即上表告捷。赵构闻报大喜道：“朕素闻岳飞行军有律，不料他遽能破敌，竟成大功。”因下诏褒奖。
岳飞也上疏说恢复事宜，大旨意思是：金人所爱的，是子女玉帛，现在他们志已骄惰。刘豫僭伪，人心终不忘宋廷，如果以精兵二十万，直捣中原，恢复故疆，并不是难事。襄阳、随、郢地都是膏腴之地，苟行营田，其利甚厚，臣一旦粮足，即过江北剿敌。