大夫李胤清廉简朴,在朝廷树立自己的形象,他们都白发事君,自始至终以礼侍奉。他们虽然也受宠而任内外之官,与我没有不同,但还未能受到如此恩遇,我若超过他们,用什么去满足天下的期望,又怎么对今后稍有益处!因此我发誓坚守节操,没有苟且升任之心。如今国家尚未安定,边境多事,请求保留先前的恩典,让我速回边境。如果留连于京城,必定外忧有失。匹夫之志,亦未可夺。”皇帝不许。
等到返回任所,吴西陵督步阐以城来投降。吴将陆抗攻打很猛烈,诏令羊祜接应步阐。羊祜率五万军队从江陵出发,派遣荆州刺史杨肇攻打陆抗,未能取胜,步阐终于被陆抗所俘。有关官吏上奏:“羊祜率军八万多人,敌军不过三万。羊枯在江陵调军迟缓,使敌军得以设防。于是派杨肇以一部分军队涉入险境,兵少粮缺,军队受挫。违背了命令,没有大臣的节操。可以免官,以侯爵身份回家。”因罪最后被贬为平南将军,而罢免杨肇为平民。
羊祜鉴于孟献经营武牢因而郑人畏惧,晏弱驻守柬阳因而莱子顺服,便进占险要,开建五个城,收取肥沃的土地,夺得吴人的资财,石城以西,全归晋所有。从此前后投降的人不断,又宣扬德行信誉,以此安抚初来依附的人,慨然有吞并吴国的志向。每次与吴人打仗,公开交战之日才交战,不实施偷袭的计谋。将帅中有想要出诡计的,就给他们喝醇酒,使他们无法献计。有人俘虏了两名吴国少年,羊枯遣送他们回家。后来昱将夏姜、旦逝等来投降,两个孩子的父亲也率家属一同来附。吴将陈尚、潘景来犯,羊枯追杀了他们,因赞美他们死得有节操而厚加殡殓。潘景、陈尚的子弟来迎丧,羊祜按礼遣返他们。吴将邓香攻掠夏口,羊祜要求活捉邓香,捉到以后,赦免了他。邓香很感激羊祜的恩德,率领部属来投降。羊祜出兵在吴国境内,每次割谷子作军粮,都计算清楚,送绢补偿。每次与众人在江沔游猎,常限制在晋的地域。如果禽兽先被吴人打伤而被晋兵得到,都还给他们。于是吴人都心悦诚服,称他为羊公,不叫名字。
羊祜与陆抗相对,使者往来,陆抗称赞茎拈的德量,即使是乐毅、诸葛孔明也不能超过。陆抗曾生病,羊祜赠他药,陆抗服药而不起疑心。多数人都劝陆抗不要服用,陆抗说:“羊祜岂能是下毒药的人!”当时的评论认为是华元、子反又出现在今天。陆抗经常告诫他的士兵说:“他专行德,我专行暴,这是不交战自己先服丫。各自保住分界就是,不要苛求小利。”孙皓听说双方边境和睦,因而责问陆抗。陆抗说:“一城一乡,不能没有信义,何况大国呢!如果我不这样做,正是宣扬了羊枯的美德,对他没有伤害。”
羊祜忠诚无私,讨厌邪佞,荀勖、冯统一类人很忌恨他。远房外甥王衍曾到羊祜那儿陈说事情,言辞很雄辩。羊祜却不以为然,王术拂衣而起。羊祜看着宾客们说:“王夷甫正以盛名居高位,然而伤风败俗,必定是这个人。”接应步阐那一仗,羊枯根据军法将要杀王戎,因此王戎、王衍都怨恨他,常诋毁羊祜。当时的人为此说:“二王当权,羊公便受诋毁。”
咸宁初,任为征南大将军、开府仪同三司,有权征召官吏。起初,羊祜认为讨伐吴国必定要凭藉上游的优势。而当时吴国有童谣说:“阿童啊阿童,衔刀浮渡江。不怕岸上兽,就怕水中龙。”羊祜听到后说:“这一定是说水军可以建功,应当考虑如何应上阿童这个名字。”适逢益州刺史王浚被征为大司农,羊祜知道他可以任用,王浚的小名叫阿童,于是上表留王浚监益州各军事,加龙骧将军,密令修造舟船,为顺流而下的计谋作准备。
羊祜修缮兵器训练士卒,广泛地进行战争准备。到这时上疏说:“先帝顺应天时,在西部平定了巴蜀,在南部与吴会讲和,海内得以休生养息,百姓有了安乐的心。然而吴国又违背信义,使边境战事又起。运数虽然是上天授与的,而功业必定要由人来完成,不大举扫灭吴国,百姓就无法得到安宁。也是为了使先帝的勋业更盛,完成无为而治的教化。所以尧有丹水的讨伐,舜有三苗的征战,都是为了宁静天下,制止战争和乐大众。蜀被平定的时候,天下都说吴应一同灭亡,到现在已十三年了,可以说是一周,平定的日子又在今天了。议论的人常说吴楚有道而后臣服,无礼而先强大,逭说的是诸侯时代的事。如今一统天下,不能和古代相提并论。合乎道的言论,都没能顺应权变,因此谋略虽多,而做决定时希望仅有一个。凡凭仗险阻得以生存的,是指敌对双方实力相同,力量足以自守。假如双方力量轻重不齐,强弱不一,那么智士也无法谋划,险阻也不能保全。蜀作为一个国家,并非不险,高山耸入云端,深谷不见日光,在险处按兵不动,就可以成事,都说是一人当关,千人莫开。等到进兵的时候,几乎没有屏障的限制,斩将拔旗,杀敌数万,乘胜席卷,一直打到成都,汉中各城,都龟缩不敢出动。不是都无心交战,实在是力量不足以相对抗。到刘禅投降,各地守卫堡垒的人都一哄而散。如今江淮的难于攻打,超不过剑合;山川险阻,超不过岷汉;孙皓的暴虐,胜过刘挥;吴人的困苦,比巴蜀严重。而大晋的军队,多于以前;资储器械,强于过去。如今不在此时平定吴国,而继续拥兵相守,征集民夫劳苦徭役,每天寻思打仗,经历盛衰,不可能长久,应当适时决定,统一天下。如今要是调梁益的军队水陆并进,荆楚的军队进军到2坛,平南、邃业的军队直指夏旦,俭、扰、壹、查的军队一同开往拯壁,用战鼓旆旗来迷惑敌人,用多方出兵使敌人错误判断,以偏居一隅的吴国,抵挡天下的军队,兵力分散,守备的地方都会告急。巴汉的奇兵攻打吴国的空虚之处,一处被攻破,上下都会震荡。吴沿江而守,没有内外,东西几千里,靠屏障来守备,他们的对手强大,没有安宁的时候。孙皓性情放纵,对部下多猜忌,名臣重将不再自信,因此孙秀之类都畏逼向我们投降。将领在朝廷受怀疑,士卒在郊野受劳顿,没有保全朝廷的计谋,没有坚定的信念。平常的日子,还考虑是走是留,到了兵临城下,一定有响应的人,最终不会齐心协力为朝廷献身,现在已经可以知道了。吴国习俗是速战速决,不能持久,弓弩戟循等兵器不如中原大国,惟有水战是他们的长处。一旦攻入吴境,那么昼红就不再是险阻,撤兵保卫城池,就失去了长处暴露出短处。而我军深入敌境,人人都有早日完成大业的志向,吴人在境内作战,有据城守备之心。像这样,战争不会拖延,打胜仗是必然的。”皇帝完全采纳。