转眼来到了603年的二月十九。今天是皇后的生忌，杨坚来到泰陵给皇后上香。杨坚看上去已然老了很多，身形显得有些老态龙钟。他抚摸着皇后的墓碑说道：“伽罗，犹如昨日你还活着。转眼你已经逝世半年，再也不能回到朕的身边了。谁会想起这世上少了一个你，只有朕还时常挂念着你。”

柳述走过来说道：“陛下，现在尚未开春，不宜久立风中。”杨坚叹道：“开春，朕还能看到几回开春？”柳树道：“陛下，你春秋鼎盛，定能寿比南山。”杨坚道：“私底下，你就不用给朕说那些祝贺之词了。朕的身体怎么样，难道自己还不清楚吗？生命无常，世事无常。人生犹如走在一条幽黑的路上，越往前走路越黑，永远难以见到光明。”柳述见皇上如此悲观，像是迟暮之人所说的话。他连忙开解道：“陛下，你是天子，怎么会走在幽黑的路上？就算是一条幽黑的路，我等也会为陛下掌灯，照亮前方。”

杨坚道：“你们都说圣心难测，其实你们的心，朕又何尝能够看的透。你觉得越国公杨素担任仆射如何？”柳述一听这话，就明白皇上是在暗示杨素功高震主，权力太大，便说道：“如今越国公杨素年龄大了，不用让他天天跑到尚书省主持事务，三五日去一趟就行。”

次日上朝，大理卿梁毗，上书直言弹劾杨素作威作福。杨素一听这话，却是无话可说。满朝文武，谁不知道他杨素现在家财万贯，家中小妾上百，仆人上千；这些本来都是他做给皇上看的。如果他权力那么大，又没有什么把柄，没有什么嗜好；这样他肯定早就被皇上给杀了。他平日里生活奢侈，这是不是罪状，皇上说了算。皇上说是小节，就不是罪状。皇上说是罪状，那就是罪状。

杨坚本来就有疏远杨素，剥夺他权力的想法，便道：“仆射是国家的宰辅重臣，就不用亲自处理细小的事情；只需三五日到尚书省一次，议论国家大事即可。”表面上看是给予杨素特别的尊崇，实际上是削弱杨素的权力。杨素从宰相高颎手上，夺过仆射之权。还没干足三年，就被杨坚剥夺了总管尚书省事务的权力，成了一个挂名宰相。

杨素回到越国公府，心想：“肯定是昨日皇上去给皇后上香，柳述陪同去的。柳述在皇上面前，应该说了自己的坏话。皇上才会疏远自己，剥夺自己的权力。”

杨广得知杨素被父皇罢免了宰相权力。他很着急，没有了杨素的全力配合。他想要让父皇废了汉王杨谅，就很困难。杨广秘密召见杨素，商量对策。杨广道：“现在父皇不让你行使宰相权力，应该是柳述搞得鬼。”杨素道：“柳述娶了兰陵公主，现今正得皇上宠幸。我们暂时不要有什么动作，你安心等两年，等你登基了，一切都好办。”杨广道：“怕就怕，我不能顺利登基，父皇虽老，但并没有老糊涂。”