在民间评书《杨家将》中，潘美被丑化为奸邪疾功的“潘仁美”，说他公报私仇，陷害忠良，致使杨业撞死在李陵碑前。其实，历史上杨业之死，主要责任人并不是潘美，而是缺乏作战经验却大权在握的监军王侁。据《宋史》记载，当时部队的任务是掩护各州民众撤退内地，而王侁却强迫杨业出击。杨业自知敌众我寡，难以取胜，遂要求王侁、潘美在陈家谷口(即演义中的两狼山)默认强弩步兵接应。
杨业是一员良将，他认为北宋军多为步兵，要对抗契丹骑兵必须依仗强弓硬弩。但是实战中，王侁却为了争功，率领接应人马私离防地，后来发现战况不妙，又临阵脱逃。杨业杀破辽军重围，赶到陈家谷口时，却无接应人马，“抚膺大恸，再率帐下士兵力战”，浑身受伤数十处后被俘，绝食而死。根据宋史说法，潘美支持杨业的立场，只是没有制止监军王侁私离防地，并非“元凶首恶”，这从战后的处分也得到证明——潘美是降职处分，王侁则被撤职发配。
其实潘美对宋朝功劳挺大，应该超过杨业。《宋史》中，潘美位于列传第十七的位置，而杨业仅在列传三十一位，排名差了许多。从列传功业上看，潘美抚陕帅袁彦，协平李重进，协征岭南，广北门役，征江南，说降陈，击北汉，战太原，抵辽军，其功绩应远在杨业之上，而且较有政治眼光，可称得上政治家军事家了。另据非正史载，宋太祖有私生子，不利太祖，太祖不知何为，赵普等皆劝杀，唯潘美知太祖心事，不言，太祖执其手嘱咐，潘美收养，可见仁慈。
但是，艺术作品太厉害，经过评书、戏剧渲染，现在很少有人知道潘美功绩，只知道“杨家将”，形成一桩“文化冤案”。对潘美形象的歪曲可追溯至元代，元杂剧《八大王开诏救忠》、《烬余录》以及明代出现的话本小说《杨家将演义》、《杨家将传》等，为了突显杨家将的忠勇，通过虚构和夸张的艺术手法将潘美进行歪曲丑化。在历史故事的改编加工中，为了吸引读者，作者往往用艺术性遮蔽真实性，民间的口头传播更是使故事带有了浓厚的戏说演绎的成分，造成对历史事件、人物的歪曲和误读，这样的“文化冤案”在中外都不少见。
潘美在杨家将故事中作为反面人物来衬托杨家将的忠义勇武，招惹了无辜骂名，但是历史上真正的潘美一生南征北战，为北宋大统立下了汗马功劳;在招远督办金矿为当时的国家财政和招远的长足发展作出了巨大贡献，他的历史功绩应得到肯定。戏说不等同于历史，对历史事件、历史人物我们应该客观看待，将历史真实与艺术形象区分开来，根据真实记载来评功论过，还原历史，才是真正尊重历史。
