960年正月初四，后周殿前司都点检赵匡胤发动陈桥兵变，黄袍加身，建立北宋王朝。赵匡胤称帝后，虽然表面上善待周世宗柴荣的几个儿子，但他们的身后事却依然扑朔迷离。被降封为郑王的柴宗训于973年病死于房州，年仅20岁且无后。北宋欧阳修在《新五代史》中记载了柴荣别的儿子的下落时，只写了一句“熙让、熙诲，不知其所终”。
欧阳修编书的时间距离陈桥兵变还不到百年，他不可能不知道柴熙让、柴熙诲的下落，史学家胡三省认为他是在有意回避着什么。那么究竟柴熙让、柴熙诲去哪了？两宋文人的记载让后人不禁大吃一惊，柴熙让、柴熙诲中不仅有一人存活，而且收养他们的人竟然是小说中“潘仁美”的原型——潘美！
关于这件事有两个版本，其一是北宋文人王巩的记载。陈桥兵变后，赵匡胤在赵普等人的簇拥下进入皇宫，见到宫中嫔妃抱着一个小孩子，询问之下得知是柴荣的儿子，赵匡胤便询问众人，赵普等人建议除掉，只有潘美默不作声。
赵匡胤言道：“我即位于周世宗，如果杀了他的儿子，不忍心这么做。”潘美说：“臣与陛下曾都是周世宗的臣子，劝说陛下杀掉这个孩子，则辜负了周世宗，劝说陛下不杀，陛下必定对我生疑。”赵匡胤说：“那送给你做侄子。周世宗的儿子不可以做你的儿子。”潘美于是带着这个孩子回家。之后赵匡胤再也没有询问过这个孩子的下落。
第二个版本是南宋文人王铚的记载，说的也是赵匡胤陈桥兵变后进入皇宫，发现宫人还抱着两个小孩子来参拜，赵匡胤询问下得知这是周世宗的两个儿子纪王和蕲王。赵匡胤对诸将说：“这还留着干什么？”左右随即就将两个孩子提走，唯有潘美在赵匡胤身后用手扶着宫殿的柱子，低头不语。
赵匡胤发现后对潘美说：“汝以为非也？”潘美回答到：“臣岂敢！但以为于理未安。”赵匡胤醒悟，随即命令将两人追回，将其中一人赐予潘美，潘美将他收养为儿子，赵匡胤此后对此事也不再过问。
版本内容虽然略有不同，但潘美抚养、保全柴荣遗孤的事实却很清楚，听着很像小说，但确有事实佐证。柴荣的这个遗孤，也可以说潘美的这个养子，后改名为潘惟吉。史书上确有其人，“惟吉，美从子，累资为天雄军驻泊都监。虽连戚里，能以礼法自饬，扬历中外，人咸称其勤敏云。”
不仅如此，还有考古文物作为佐证。陕西省博物馆里收藏着一方墓志铭，是潘惟吉之子潘承裕及其夫人王氏的墓志铭。墓志一反常规，非但不提及祖父为谁，反而提到叔祖是潘美，这并不符合墓志的撰写规则。潘美明明是大名人，墓志却说潘承裕是开封人，籍贯完全不符合。
如果事实真是如此，那么潘美为何要出面保全柴荣的遗孤呢？原因很简单，潘美曾经是柴荣的新服，柴荣也是他的“伯乐”。潘美最初仕途并不顺利，直到他遇到柴荣，从侍从官一路升迁，才有了后来的高官厚禄。虽然现在有的潘氏家谱极力否认，但宋人的记载主要是根据潘惟吉后裔所言，以及其他一些材料佐证，真实性远胜后来修撰的家谱。
虽然是潘美保全、收养了柴荣的遗孤，但成全潘美的是赵匡胤，这个事实同样不容抹杀。
