综合《隋书》、《资治通鉴》所记载，我们不难发现，杨广能从兄长杨勇手上抢得太子位，除自身的天赋外，还得益于两个女人的鼎力推举。从一定程度上说：是“两个女人”把杨广推上了大隋皇太子的宝座。
客观上讲，杨广应该是杨坚所有儿子中最出类拔萃的一个。《隋书·炀帝纪》说杨广是“美姿仪，少敏慧，高祖及后于诸子中特所钟爱”。可见杨广是英俊美貌的帅哥，很是讨人喜欢。他又从小聪明伶俐、富具智慧，深受杨坚与独孤皇后钟爱。杨广可谓“英雄出少年”，而且是文武双全。他十三岁时就被封为武卫大将军，十八岁任淮南道行台尚书令。开皇八年冬天，年仅二十岁的杨广出任行军元帅，统领五十万大军攻打南方陈国，并于次年灭陈，完成南北一统。当年的“英俊少帅”杨广在陈地领军查封府库，秋毫无犯，百姓都称赞他贤明。是年，杨广晋升为太尉，统领全国军队。《隋书》又说杨广“好学，善属文……”杨广具有文学天赋，擅长作文写诗，手下“笔杆子”代写的东西，他总嫌缺少文采，便常自己动笔写，当上皇帝后也写。所以，若论才具与功绩，杨广远在杨勇之上。
孤皇后天性好妒忌，苛求皇帝也不能妻妾成群。因而，她最见不得男人“花心”，只要闻知诸王与朝中官员中，谁的小妾怀了身孕，就必定劝说杨坚对其进行斥责甚至废黜。
隋朝名相高颎原是独孤皇后父亲家的宾客，曾经很亲近礼待。高颎妻子死后，杨坚与独孤氏想赏赐一个宫女给他续弦，高颎却推辞了。后来高颎的小妾为他生了一男孩，独孤氏便厌恶他。再加上高颎曾在杨坚面前称她是“一个妇人”，就开始诋毁高颎，最终劝说杨坚将高颎罢免之。
可惜太子杨勇就是不顺着独孤皇后的“竿子”爬，他在内宫中宠幸的女人很多，云昭训、高良娣、王良媛、成姬等给他生出十几个儿子。但独孤氏给他选的太子妃元氏却不得宠，突然得心病死了。独孤皇后认为是被杨勇的爱妾云氏所害，便暗中派人进行窥伺探查，找杨勇的过失与罪名。
杨广则是善于领悟独孤皇后的圣意，只与萧妃住在一起，对后宫所生子女都不去抚养。杨坚与独孤曾驾临杨广府第，杨广便将美姬都藏匿起来，只留下年老貌丑的妇人来伺候。房间里的屏帐都改成朴素的幔帐，断绝琴瑟丝弦，不让拂拭掉所结灰尘。杨坚与独孤氏看后，便认定杨广不爱好声色。
杨广被任命为扬州总管上任时，又在独孤氏跟前演了一场戏，他跪地哭诉道：“我总顾念兄弟之情，却不知如何得罪了太子，他一直想加害于我，府中酒具食器被投毒时有发生啊！”独孤皇后愤恨地说：“我给他娶的太子妃，他竟然不善待，却让云氏生下这么多猪狗一般的儿子。”从此，独孤氏便下决心要废掉杨勇改立杨广，并设法笼赂杨坚宠信的近臣杨素共同劝导杨坚。
当时，宣华夫人陈氏深受杨坚宠爱，杨广深知其在皇帝身边的影响，便想方设法讨取她的欢心，不仅对她十分敬重，还经常进献金蛇、金驼等珍奇宝物，谋求陈氏为自己取得太子位助阵。后来，陈氏果然不负杨广所托，在杨坚面前说尽杨广的好处与杨勇的丑恶，为废杨勇立杨广出了大力。
独孤皇后与宣华夫人的“枕头风”，杨勇自身的失德与杨坚对其的猜疑，杨广对朝中之士的恭敬结交，诸方面的因素，终于引发公元600年的隋朝太子废立事件，让杨广堂而皇之地登上太子宝座。
