公元278年，羊祜病逝。朝野闻之，无不大恸。据载，晋武帝披麻戴孝扶棺痛哭，泪水在脸上都结了冰。荆襄各地，一片哭声。东吴的戍边将士，也都暗中垂泪。羊祜生前，喜游岘山，襄阳各界便在山上为他建庙和立碑，按时祭祀。
从众、跟风，似乎是多数人的习惯。以为这才是明智，即便犯了错，也不至于怎么样，法不责众嘛！可是西晋名将羊祜却偏偏反其道而行之，别人千方百计奔竞务进的事，他会退得远远的;而大家都避之唯恐不及的事，他却不计得失不避祸患挺身而出，做出了许多在常人眼里“不合时宜不识时务”的事。
羊祜，字叔子，山东泰山南城人。生于公元221年，世代为官，与魏国的曹氏和司马氏都是血亲，具备显赫的家庭背景和较好的先天优势。而羊祜本人，博学多才、文思敏捷、长于论辩，且英俊潇洒风度翩翩一表人才。这样的优秀人才哪能埋没得了啊？
首先想起羊祜的就是离他最近，对他最为了解，同时也负有向朝廷举荐贤良职责的地方长官。他们推举青年羊祜任上计吏之职，这是个掌管国家财赋统计和审计的低层官员，但是由于岗位特殊干系重大，所以倍受朝廷重视，许多重量级官员正是从这里起跳的。应该说这是个高官厚禄的摇篮，是个打着灯笼都难找的好机会，是很多人梦寐以求的职位。可是，让谁也想不到的是，羊祜没有兴趣，婉言谢绝了父母官们的这份好意。后来，州官又接连四次请他出来担任从事以及秀才，羊祜都一一婉拒了。
公元239年，魏明帝曹睿去世，大将军曹爽掌握了实权。为了充实政权班底，他征召年轻有为的羊祜与王沈一起到中央政府任职，王沈闻召即高高兴兴地前去就任了，而羊祜仍然辞不赴命，尽管王沈反复相劝，羊祜就是不为所动。后来，大权独揽的司马昭又征召羊祜到朝廷为官，羊祜依旧退避三舍。最后，朝廷只好下诏，命令他必须遵旨去做中书侍郎，羊祜这才接受任命。
司马炎称帝后，羊祜因功晋爵为郡公，食邑三千户。当时，王佑、贾充、裴秀等人均为资深位显的前朝重臣，羊祜对他们一直敬重有加，不想因为这些身外之物掩去他们的光辉，因此坚决地辞让这些封赏。他的言辞非常恳切：“昔张良请受留万户，汉祖不夺其志。臣受钜平于先帝，敢辱重爵，以速官谤。”司马皇帝被他的高古和诚恳深深地感动了，别人都不择手段为自己加官晋爵，而他却执意为自己退官，尽管心里不情愿，但还是不忍拂了他谦退的美意，只好给他降一级，封他为侯爵。按照制度规定，享有侯爵，即可开府置署，选官任僚，举荐私门。可他一直到死，也没有征召举用过一名僚属。
羊祜一生中，晋升过多次，但每次都是这样诚恳地婉拒、辞谢和退让。而有的时候，羊祜却又特立独行勇往直前得令人瞠目。
公元249年，司马懿夺取军政大权，并诛杀曹氏集团的代表人物曹爽，与之相关的很多人也同时受到株连。羊祜的岳父夏侯霸害怕遭到杀戮，就投降了刘禅的蜀国。这可是叛国之罪啊！司马懿怎么处置都不过分。亲戚故旧们都知道其中的利害，再也不敢上门，唯恐受到牵连而惹祸上身。只有羊祜，不但没有这样做，反而比以往去得更勤，关心得更多，温言软语安慰他的家属，无微不至照顾他的亲人，唯恐落难的夏侯家遭到不测。
公元277年，东吴侵入西晋边界，掠走弋阳、江夏等地大量人口。这要换成任何人，都要兴师动众反击东吴的挑衅行径。因为这其中有诸多好处，更有大块文章可做，它一可建军功，二可堵百姓的嘴，更重要的是堵朝廷中那些专事吹求的百官的嘴。哪怕吃亏了，也要派兵啊！羊祜岂能不知这些。可是，经过慎重考虑之后，他却没有派出一兵一卒。事后，武帝果然在一些好事之臣的鼓噪下派人追查原因，搞不好，就会面临降职或是更为严重的处罚。羊祜对此早有思想准备，他坦然地回答说，江夏距离襄阳这里有八百多里地，等到得知东吴犯境侵扰这个消息，敌兵早已走了多时了。这时候出兵，连敌人的影子都见不着，怎能将百姓救下呢？为了逃避责任而让将士们毫无意义的千里奔波，这纯粹就是削弱自己，而于敌人又有何妨碍呢？这恐怕不是负责任的主帅应该做的。朝廷在搞清楚事情的真相后，认可了羊祜的处置。
长期领兵在外，最忌朝中出问题，历史上这样的例子太多了。因此，为了自保，大都想尽办法，“京信常通，炭敬常丰”，努力维护好与朝中的大臣，特别是得宠的权臣的关系，甚至为此不惜去百姓那里刮地皮。可是羊祜是个正直清廉，毫无私念的人，这些东西他不会做，也做不来，看见邪门歪道就来气，以至荀勖、冯紞等人十分忌恨，常常在皇帝面前诋毁他。可羊祜丝毫也不为自己着想，只知谋国，不知谋身。王衍在朝中也有一定影响，而且还是他的叔伯外甥，曾经专门来襄阳见他，这不正好是个表现自己如何为国如何忠诚，顺便与王衍大人拉近关系的大好机会吗？可是这个王衍是个夸夸其谈的家伙，根本不对羊祜的胃口，羊祜甚至评价说：“王夷甫方以盛名处大位，然败俗伤化，必此人也。”结果，惹得王衍拂袖而去，这样羊祜又增加了一个在皇帝面前告状的对手。
更有甚者，他实行以道德感化来征服东吴将士的攻心之策，大巧若拙，诚信至上，不仅互通信使，还有礼物往来。应该说，这个战略思想在当时的客观条件下无疑是对的，实践中也确实收到了良好的效果。这里面有一个问题，那就是非常容易被别人扣上通敌的帽子，这也是非常具有杀伤力的一个罪名，因为你手握重兵，而皇帝又不经常和你在一起，他也常常是难辨别真假，众口铄金，后果往往很严重。可是，羊祜不管这些，“苟利国家生死与，岂因祸福避趋之”，这个危险的政策，他一直实行到死。
公元278年，羊祜病逝。朝野闻之，无不大恸。据载，晋武帝披麻戴孝扶棺痛哭，泪水在脸上都结了冰。荆襄各地，一片哭声。东吴的戍边将士，也都暗中垂泪。羊祜生前，喜游岘山，襄阳各界便在山上为他建庙和立碑，按时祭祀。每逢来到此处，都忍不住失声落泪，后人遂把此碑称为“堕泪碑”。荆州人为了避羊祜的名讳，还把房屋的“户”都改叫“门”。
羊祜曾经对自己的儿子说过这样的话：“人臣树私则背公，是大惑也。”在给堂弟羊琇的信中他这样说：“疏广是吾师也”。应该说，这就是他的肺腑之言，他的一生也正是这样做的。可以说，羊祜的“不合时宜”，为的都是国，都是民，而唯独没有他自己。正因为如此，他死后才会那么深入人心、那么让人怀念。
