西汉的历史，一般以宣、元之间为一界线，分为两个时期。宣帝是“中兴之主”，维持了西汉平稳发展的局面，但从元帝开始，西汉开始衰落，所谓“元、成、哀、平，一代不如一代”。元帝的性格与他的先世伯祖汉惠帝刘盈非常相似。他们都柔弱仁慈，而柔弱仁慈的人是最不适宜做皇帝的人。可以说就是他这一性格弱点造成西汉衰落。
当他还是皇太子时，眼看着父皇重用法家人物，动不动就用刑罚惩治下属，大臣杨恽、盖宽饶等仅仅因为“刺讥辞语”就被杀害，很不以为然。一天趁着陪父亲亲用餐时，委婉地说：“陛下使用刑罚略有点过分了，应该多多重用儒生。”汉宣帝刘询顿时变了脸色，厉声说：“我们汉朝自有汉朝的制度，本来就是‘王道’‘霸道’兼而用之，怎能像周代那样单纯地使用所谓的‘德政’呢？更何况那班俗儒不能洞察世事变化，最喜好厚古薄今，连‘名’与‘实’之间的区别都分不清，怎能交给他们以治理国家的重任！”这儿的“王道”与“霸道”，大概也勉强可以解释为“以德治国”与“依法治国”吧？
说完了这番话，汉宣帝又长叹一声道：“乱我家者，太子也！”这儿的“家”，就是指大汉王朝的基业啊。然而，鉴于对已故许皇后的感恩与报答，汉宣帝最终没有更换太子，没有更换“革命接班人”。
汉宣帝的话果真应验了。元帝即位之后，一反前代帝王之制，单崇儒家，纯任德教，治国完全以经学为指导，选官用人完全用儒家标准。这种以经取士，使一些只知书本、而不省吏事的“书呆子”也被选进了各级政府机构。这影响了西汉后期各级政权的效能，给当时的社会带来了严重的消极影响。
不光如此，元帝很是依赖宦官，他认为宦官没有家室，形不成盘根错节的庞大集团。就这样，宦官石显之流得势。宦官石显善于见风使舵，阿谀奉承，他和外戚史丹、许嘉勾结在一起，排挤打压朝臣。汉元帝听之任之，结果大权旁落。加之元帝在位期间，豪强大地主兼并之风盛行，中央集权逐渐削弱，社会危机日益加深。而他又未采取任何有效措施来缓和矛盾，最终导致西汉的衰落。
