杨素同意杨约的想法，站到了杨广一边，帮助他做了皇太子。这以后，杨广任命杨约做了左庶子，进位大将军。
隋文帝临终前对杨素有所疏远，杨约也受到影响，离京做了伊州刺史。隋文帝死时，杨约正好在仁寿宫，杨广派他带人进宫，代替原有的守卫者，又让他去把废太子杨勇勒死，布置重兵。
杨广还有一个亲信张衡，一直在他身边做事，深得信任，杨广的许多计谋全部出自于他。杨广登基之后，张衡进位银光青光禄大夫，转为御史大夫。
物极必反，张衡后来失宠，杨广先是把他的官职全部夺尽，后来赐他在家里自尽。临死之时，张衡意味深长地说：“我帮别人做过何等可怕的事，怎么还敢奢望继续活在世上！”
负责监刑的官员害怕张衡说出什么可怕的秘密，让自己陷于难堪的境地，急忙把自己的两只耳朵牢牢塞住，让手下赶快把张衡弄死。
关于隋文帝的死，人们一直疑惑重重。如果杨广一伙人做过什么罪恶勾当，张衡必定是重要的参与者，所以临死之时他才说出这种话。
隋文帝病重时，只有杨素和兵部尚书柳述、黄门侍郎元岩等三个人在近前服侍。皇太子杨广住在大宝殿，与杨素之间秘密通信，由宫人传送，互通情况。有一次，传信的宫人出了差错，错把他们的密信送到隋文帝这里。隋文帝因此知道了他们私下的勾当，很生气。
此时发生的另一件事，让隋文帝彻底看清楚皇太子杨广的真面目。当时，隋文帝宠爱的宣华夫人与杨广一起在仁寿宫照顾隋文帝，杨广趁机对她无礼，宣华夫人到隋文帝面前哭诉。隋文帝大怒：“这样的畜生，我怎么能把江山社稷交给他！皇后真是把我害了！”
隋文帝派人召来兵部尚书柳述、黄门侍郎元岩，吩咐他们：“快快把我儿召来！”
柳述和元岩马上派人去找皇太子，隋文帝怒吼道：“我说的是杨勇！被我废掉的皇太子！”
柳述和元岩马上退出来准备敕书，杨素看到敕书的内容，立刻派人飞报皇太子杨广。杨广与杨素商量，不再顾忌，索性把东宫的卫兵调入宫中，由宇文述、郭衍带队，严守宫门。又派张衡进宫服侍隋文帝，把隋文帝身边的侍者全部打发出去。当天，隋文帝不明不白地死去，死得疑点重重。
在发布消息之前，杨广先把柳述和元岩两个人投入牢狱，免得他们泄露隋文帝临死前的愤怒决定，然后以隋文帝的名义下令赐死废太子杨勇。一切安排妥当，方才公布隋文帝的死讯。
仁寿四年七月，隋文帝死在仁寿宫。皇太子杨广在仁寿宫继位，是为隋炀帝。
八月，隋炀帝护送隋文帝的灵柩返回长安。随后，杨勇的大儿子杨俨被毒死，杨俨的弟弟们被流放到岭南，并在当地被处死。
