宋太祖在斧声烛影中不明不白地死去，当时天下就传言“太祖之后，当再有天下”。一百余年后的南宋高宗果然绝后，且其近亲后裔大都已被金兵掳去，只得“广选艺祖之后宗子”。最让人百思不得其解的是：高宗居然在身体还相当强健的五十六岁盛年，主动让位给太祖之后的孝宗，这在中国数千年的历史上绝对是罕见的。靖康之难，金军押解了二帝及宋宫“妻孥三千余人，宗室男妇四千余人，贵戚男妇五千余人，诸色目三千余人，教坊三千余人”等北还，其中就包括赵构康王府的三位有名位的妻妾和五个女儿，其正事邢氏已有身孕，结果在北迁的路上“以坠马损胎”。惟有妾潘氏也已妊娠，因无名位，住在开封自己家中，独得躲过这一劫，后回到赵构身边。赵构即位一个多月之时，即建炎元年(1127)六月，其子赵旉降生，潘氏也晋立为贤妃。
建炎三年(1129)，武将苗傅和刘正彦在杭州发动兵变，逼迫高宗逊位，立他的三岁幼子为帝。后韩世忠统兵历时一个月平定了叛乱，处苗、刘以磔刑。然而此事变最严重的后果是：赵构在此次事变中受惊吓而从此阳痿，才二十三岁就丧失了生育能力。不久，三岁太子也受惊吓而离开人世。在潘贤妃妊娠期间，正值金军破开封府前后，她成天提心吊胆，生活艰难，故所生之子先天不足，体弱多病。据说七月间一天，赵旉患病时，恰好有一宫女，不慎踢翻了一只鼎，“仆地有声，太子即惊搐不止”。高宗大怒，“命斩宫人于庑下”，然而仅过片刻，赵旉就停止了呼吸。两件事发生于同年，如此巧合，莫非天意。而这时，年近六十的隆祐皇太后孟氏，突然“尝感异梦”，梦见太祖赵匡胤说：“只有把皇位传给我的子孙，国势才能有一线转机。”太后自二十四岁时被宋哲宗废黜，长期过着痛苦的幽居生活，不过也由此而没有被金兵北掳，也算不幸中的大幸，此时看到宋廷所遭劫难也时有所思，于是“密为高宗言之，高宗大悟”。在这样的形势之下，高宗也知道自己恐无希望有子嗣了，不如顺水推舟，便说：“太祖以神武定天下，子孙不得享之，遭时多艰，零落可悯。朕若不法仁宗，为天下计，何以慰在天之灵。”(《宋史·孝宗纪》)于是同意“广选艺祖之后宗子”比自己低一辈者。
选太祖后裔比赵构低一辈者，就是在其“伯”字辈的宗室子弟中访求。据说太祖后裔香火还特别旺盛，其“伯”字辈约有一千六百余人，当然朝廷只从七岁以下儿童中遴选。最后选出儿童十人，再让高宗逐一审看。据说，一次审看两人，某次一瘦一胖两个孩子出场，让高宗仔细端详，突然有一只猫走过来，胖的为童心驱使，踢了猫一脚，高宗以为，胖孩“如此轻狂，怎能担当社稷重任”。子是把胖孩淘汰，而那位瘦的，就是后来的宋孝宗赵伯琮。最后，高宗选了两个孩子：赵伯琮和赵伯玖，时为绍兴二年(1132)。
两个孩子来到妃嫔面前，张婕妤用手一招，赵伯琮便向她的怀里扑去，高宗便命张婕妤养育伯琮，命吴才人养育伯玖。伯琮后赐名赵瑗，伯玖后赐名赵璩。赵瑗天资聪颖，博闻强记，异于常人，颇受赵构钟爱，还亲自教之读书。绍兴五年(1135)，封赵瑗为保庆军节度使、建国公，入资善堂上学，并诏：“建国公禄比皇子”。然而，高宗却不正式立赵瑗为皇太子，原因是对自己能否恢复生育能力，仍抱有一定的希冀，就是说心里还是不太情愿由这个太祖的后裔入继大统。绍兴八年(1138)，又封赵璩为节度使、吴国公，使两个孩子处于平列的地位。由此，高宗表明自己尚无立储之意，诸大臣提出不同意见，尤其左相赵鼎竭力反对，据理力争，高宗只得收回成命。然而到第二年，依然封赵璩为保大军节度使、崇国公，“赴资善堂听读，禄赐如建国公例”。此时，右相秦桧进谗言道：“赵鼎欲立皇子，是谓陛下终无子也。宜待亲子，乃立。”此话说到高宗心里。后秦桧独相十八年，是赵瑗成长中最为艰难的岁月，时或与奸相产生嫌隙。直到秦桧病死，总算扫除了立皇储的一大障碍，高宗对自己的生育能力也已不抱希望。这时，赵瑗为普安郡王，赵璩为恩平郡王，两人都已长大成人，且才能不相上下，高宗一时踌躇不决，不知立谁为皇储。最后灵机一动，决定用女色进行试探。他给两人各赐靓丽宫女十名，过一段时间后再将二十名宫女招回，进行身体检查。赵瑗听从老师史浩谨慎对待的劝告，不近女色，所以其宫女依然是处女，后“完璧归赵”。而赵璩则采尽了秀色，十名宫女都已不是处女了。高宗并未将此事公布，但心中已有定数。此事载于周密《齐东野语·高宗立储》之中，令人不解的是：高宗本人就是一个荒淫好色之徒，他怎么会在这方面严格要求子嗣呢？其所用方法，以当时的科技条件能进行比较准确的鉴别吗？周密的记载会不会想立奇而作假呢？或只是采之于无法考据的道听途说？
绍兴三十年(1160)，高宗下诏：“以瑗为皇子，仍改赐名玮”，进封建王。任命赵璩为判大宗正事，置司于绍兴府，并改称皇侄。至此，拖延了近三十年立诸问题，终于在宋高宗五十四岁时得到解决，时赵瑗已三十四岁。高宗教导皇子说：“须是读书，便知古今治乱，便不受人瞒。”实是要赵玮学习做帝王的机谋权术。绍兴三十二年(1162)五月，大臣草拟立皇太子手诏进献，高宗下诏说：“朕以不德，躬履艰难，荷天地祖宗垂祐之休，获安大位三十有六年，忧劳万几，宵旰靡惮。属时多故，未能雍容释负，退养寿康。今边鄙粗宁，可遂初志。而皇子玮毓德允成，神器有托，朕心庶几焉，可立为皇太子。”又赐名眘，宋廷举办了一系列立皇太子的典礼。六月，高宗又出御笔说：“思欲释去重负，以介寿臧，蔽自朕心，亟决大计”。“皇太子可即皇帝位，朕称太上皇，退处德寿宫，皇后称太上皇后。一应军国事，并听嗣君处分。朕以澹泊为心，颐神养志，岂不乐哉！”随后在紫宸殿行内禅之礼。皇太子先不肯接受，退到大殿一侧，经赵构再三勉谕，大臣一番苦劝，太子方才答应，接受了皇帝的宝座。
可见高宗的逊位完全出于自愿，无一丝一毫勉强的成分。年初，高宗曾带太子“扈跸”建康府(今江苏南京)，时值天寒，雨雷不止，父子骑马而行，“雨湿朝服，略不少顾，”而随从大臣中，反而多有乘轿者。五十六岁的高宗能骑马而行，说明其身体还相当强健。退位后，高宗至高寿八十一岁才去世，也足以说明当时的身体状况。在身体还相当健康，又处于五十多岁的中年，且国事平稳的情况下，国家最高统治者自动退位，这在中国历史上是绝少有的现象。那么，是什么原因促使宋高宗主动退位呢？有人会说，其父宋徽宗还是在四十四岁时就禅位于钦宗了。那是什么时候？那时金军重兵压境，国家危在旦夕，徽宗这才被迫撂担子。而高宗退位时南宋正当“边事寝宁”，去年金海陵王率军南侵，最后不但采石一战大败而退，且为部将所杀，金国政局动荡，而这时南宋正好可过略为安稳的日子。有人或说，乾隆也在晚年禅位于嘉庆。那时乾隆已多大年纪？八十五岁，这一年纪退位在某种程度上说，已是十分不得已。而宋高宗才五十六岁，且身体强健，确实令人有些不可思议。
王曾瑜《荒淫无道宋高宗》中说：“他固然贪恋皇帝的尊荣，却又苦于国事之‘忧勤’，故在逊位诏中还是说了一些实话。他愿意以太上皇的地位继续享受皇帝的尊荣，却又免于国事的‘忧勤’。他认为在‘边事寝宁’的形势下，正是自己‘释去重负’之机。”或者说，赵构做皇帝已做得身倦神疲，想罢脱这国事操劳之苦，而过太上皇的清闲日子，所以就把这副担子扔给了皇太子赵眘。这样的解释似乎颇合情理，也符合赵构自己的说法。但是太上皇并没有如其禅位时宣称的那样，从此不问朝政，在深宫颐养天年，而是一到关键时刻，就会多方掣肘，出面干涉。如新任命的宰执必须到他那儿“入谢”，面听“圣训”，尤其在与金战、和问题及恢复大计方面，太上皇更是寸步不让，说明他对权力还是有些不舍。尤其是做皇帝真是如此“忧勤”辛苦，主动退位就犹如释去重负吗？那为什么中国数千年的历史上绝少有皇帝做出如此举动呢？要知道“皇帝”在中国是个什么概念？那就是别人都是奴才，只有他才是主子，整个“天下”都是属于他的。在一定意义上他可以为所欲为，可以驾驭任何人、任何财物。所以上述退位即可“释去重负”的解释，总让人觉得有点勉强，不怎么到位，然而又找不到更确当的原因。
