一手将隋炀帝逼成太上皇的李渊应该没想到，九年后(626年)，他也被迫成为了太上皇。
大唐武德九年(626年)六月，玄武门事变爆发，李渊在此时已大权旁落于李世民手中，在诏书中也只能说“自今军国庶事”，无大小皆委太子处决，然后闻奏”。仅仅两个月后，这一新的权力结构就在法统上得到了确认——李世民登基，李渊做了太上皇。对于交班过程，《旧唐书》和《新唐书》压根就没有记载，只有《资治通鉴》语焉不详并且挺假地说了一句“制传位于太子;太子固辞，不许”，弄得好像真的似的。不过，我们基本上可以从政治逻辑上确认，李世民应该是通过暗示或近臣带话，甚至某种暗含威胁的政治交换完成这项太上皇计划的，在保持了父皇的体面和自己的孝道同时，也得偿所愿。
但是，很难说李渊在这其中就是毫无作用的，这位实力尚存的大唐开国皇帝好歹有大唐重臣裴寂和萧瑀等人的支持，还有李氏宗室和关陇贵族的老班底们，这其中很难说“宁无一个是男儿”，李渊的退让从某种意义上来说是顺应时势和洞察时务的——既然没有胜算，何必逆流而动;再说，李渊在玄武门之变中已经没有了建成和元吉两个儿子，又何必冒着失去第三个儿子或者自己的危险去进行一场前途晦暗的宫斗乃至天下大乱呢？
唐太宗即位没多久，便开始对李渊在位时的大政方针进行“拨乱反正”。李渊颇重李氏宗室，在位时曾大肆封王，甚至一直封到高祖父那一代的远亲，以至于出现了“虽童孺皆为王，王者数十人”的局面，李世民上台仅三个月，除了几个有战功的以外，将已经封郡王的宗室统统降为“县公”，其间有的是杀伐决断，就是看不到半点皇帝对于太上皇的尊重与顾忌。
对于李渊而言，皇位和皇权既已悉数撒手，自己在位时的大政方针又陆续被推倒重来，在此种处境之下，很难再去苛求这位开国皇帝一定要“放下”，一定要云淡风轻。然而，李渊还是守住了不恋栈的边界，几乎彻底地消失在大唐的政治生活当中。当然，你也可以说，这是时势如此，不得已也，但吾国历史上昧于大势者难道还少么？
不夸张地说，李渊一开始的太上皇生活甚至还远远不如没当过一天皇帝的刘太公，同样是无权无势，但太公至少还保有了刘邦的亲情。即使不考虑彻底剥离父皇政治参与机会的因素——这本也无可厚非——李世民对于李渊也很难说得上有多么孝顺，这从贞观三年的一次搬家可以看出部分端倪。李渊在退位之后，前几年还是一直住在自己的皇宫——太极宫里，而李世民则一直住在李建成当年的东宫里处理朝政;但在贞观三年，李渊突然将太极宫让了出来，自己搬到了李世民当年做亲王时的宫殿。
对此，《新唐书》的记载非常简要，“贞观三年，太上皇徙居大安宫”，看上去并没有什么问题。但此次搬家的真相却在《资治通鉴》之中穿帮了。贞观六年，御史马周突然上疏唐太宗，说大安宫比起皇宫来说“尚为卑小”，必须大作修整，才能“以称中外之望”，基本已是直接用国内外观瞻来施压唐太宗重视太上皇显然很有问题的居住状况了。马周甚至对此时正在外避暑的太宗直接开炮说：“太上皇尚留暑中，而陛下独居凉处”，催促太宗早日回宫，“以解众惑”，天下哪里有儿子乘凉父亲捱热的道理，就算你是皇帝也不成。
太上皇此时“其心为如何”，史书中没有提供任何线索。或许就算李渊想了，裴三不在了，老皇宫也不住了，他又能找谁诉说？
贞观四年，一桩突发的历史大事件似乎让李渊从去年的郁结心情中走了出来，太上皇和皇上的冰冻关系也随之迎来了转机。这一年，大唐在与多年死敌突厥的战争中大获全胜，强大的突厥在唐军的兵势之下土崩瓦解，最后竟然连颉利可汗都被俘送至长安。获悉此事的李渊显然回想起了当年晋阳起兵之初被迫称臣突厥的屈辱往事，心悦诚服地慨叹说：当年刘邦被匈奴围困于白登山，始终未能雪耻;今日我儿子灭了突厥，为我当年的耻辱报了大仇。《资治通鉴》记录了李渊非常关键的一句话：“吾托付得人，复何忧哉！”在家国天下的大格局面前，李渊终于放下了父子心结，当年被逼退位之恨再也不必提起了，儿子，帮他报了国仇。
接下来的场面与之前父子离心的叙述大相径庭，《资治通鉴》记载：“上皇召上与贵臣十余人及诸王、妃、主置酒凌烟阁，酒酣，上皇自弹琵琶、上起舞，公卿迭起为寿，逮夜而罢。”父子都喝HIGH了，太上皇弹起了琵琶，皇帝跳起了舞，父慈子孝，一切心结似乎都已烟消云散。
皇帝与太上皇的关系自此迅速升温，史书中突然也多出了皇帝频频在打猎后“献猎”太上皇的记载。到了贞观六年十月，父子关系又上升到了一个新的高度，《资治通鉴》记载说，出巡归来的唐太宗和长孙皇后到李渊的寝宫送上了很多礼物，其后更是大摆家宴，“夜久乃罢”，最后唐太宗竟然要求亲自为李渊的车驾拉车，李渊觉得不合适，就换成了太子代劳。
