他是司马师小舅子，时人比为乐毅诸葛亮，因一事掘了自家祖坟
羊祜（读如户），字叔子。祜是福的意思。他是大文学家蔡邕外孙，亲姐姐羊徽瑜后来嫁给了司马师。十二岁丧父，孝思过礼，事叔父羊耽甚谨。有一天去汶水游玩，一个老头跟他说，你的相貌非凡，不到六十就会建立大功业。说完就不见了。博学能文，身长七尺三寸（汉时一尺23cm，七尺三寸最多一米七，属于正常身高），美须眉，善谈论。州郡多次征召，皆不就。太原郭奕品鉴说，你就是当世之颜回。曹爽当权，征他做官，他婉言拒绝了。曹爽被司马懿干掉后，有人夸他深谋远虑，他说，这也不是我能预料到的，我只是碰巧罢了。
司马昭当权，再次征召，他还是不出山。高贵乡公曹髦征召，他出山了，当了给事中，黄门郎，也就是皇帝的秘书。曹髦喜欢文学，同事们纷纷献上诗赋，羊祜觉着弄这些虚的没用，因此献诗并不积极，故不得曹髦信任。其实他不得信任主要原因是司马师的小舅子，属于司马一党，不属于曹党。司马昭干掉曹髦，羊祜得到重用，却跟司马昭另一个宠臣钟会不和，彼此忌惮。钟会被杀，羊祜迁中领军，悉统宿卫，入直殿中，执兵之要，事兼内外。成了司马昭的心腹嫡系。司马炎当了皇帝，贾充当权，羊祜对他屡屡辞让，不处其右。
司马炎派羊祜伐吴，羊祜跟吴人打成一片，屯田积粮，大获其利。他经常轻裘缓带，身不被甲，随身侍卫不过十几人。有一天半夜想出去，守门者不让，说道，你的安危关系着国家安危，除非你弄死我，我才给你开门。羊祜改容谢之，此后稀出矣。
羊祜跟吴将陆抗对峙，陆抗称赞羊祜德量宏远，即使乐毅诸葛亮也不过如此。陆抗有一次病了，羊祜送了他一副药，陆抗毫不犹豫就吃了。人们都跟陆抗说，不要吃，防人之心不可无，陆抗说，羊祜岂是下毒的人呢。陆抗多次跟部下说，羊祜对我们宽宏大量，我们却以怨报德，这叫不战而屈人之兵。我们只需边境安宁，不要惹事即可。孙皓听说陆抗跟羊祜关系搞得很好，派人斥责陆抗，陆抗说，即使一乡一镇也不能没有信义，何况大国之间呢。我不这么做，正是给羊祜树德啊。
羊祜身居显要，不事家产，有点钱全部赠送给亲族好友。女婿劝他存点钱，资助一下寒士，以彰显自己美德。羊祜默然不应，私下跟女儿说，人臣不能为了树立私党而背弃国家大义。你们应该体会到我的良苦用心。
羊祜五十八岁病逝，司马炎素服哭之甚哀。是日大寒，司马炎涕泪沾须鬓，皆为冰焉。晋人闻祜丧，莫不号恸，巷哭者声相接。吴守边将士亦为之泣。谥曰成。谥法：安民立政曰成。著有《老子传》等书行于世。
相者云，羊祜祖坟有帝王气，如果毁了，羊祜会无后。羊祜闻罢，毫不犹豫把祖坟毁了，果然应了相者之言。当然了，如果不毁，他就会被灭门。这就叫两权相害取其轻。