自从大业元年被封为尚书令以后，他的工作不是更多了，而是更少了，甚至没有了。部属对他倒是很客气，也客套地请他指导工作，但聪明的杨素看得出来，那是一种同情的客套，那种客套是现任干部对待退休老干部的。
大业二年六月二十九日，杨素被提升为司徒（三公之一），这更是一个闲职，一个能把自己闲出病的职位。杨素彻底明白了，自己的政治生命已经结束了，接下来的任务就是在重大节日接受现任国家领导人的看望和慰问了。
不过事情到这里还没有完，随后杨素又被封为楚国公，这也是一个荣誉称号。这个荣誉称号看着荣光，实则险恶，用通俗的话说，这个称号是让杨素替国家踩地雷的。
事情又是天文台引起的，当时一位天文台官员经过连续观察星象写了一份研究报告，报告显示：古随国地区将有大规模的葬礼，也就是说这个地区将会死人，而且死的不是一般人，不是皇帝就是重臣，反正得死人。
杨坚以前在北周时被封为随国公，因此在隋朝，古随国地区实际上指代隋王朝，如此一来，这份报告的意思就是隋王朝将会有比较盛大的葬礼，对此杨广非常厌恶，怎么才登基两年就赶上这种事呢？
那个年头是讲究消灾的，杨广灵机一动，想到了消灾的方法，既然有人需要死，那就让杨素来担当这个大任吧。
随即杨广下诏，将杨素封为楚国公，楚和古随国都是指湖北中部地区。杨广把杨素封为楚国公意思很明显，你杨素就替国家死一回吧，我保证你会享受国葬的。
像杨素这样的高官，宫里是不可能没有几个朋友的，很快他就从宫里知道了皇帝这个封号的意思，“为了国家，去死吧！”任务够艰巨的。
如此一来，杨素的政治生命已经到了尽头，自身的生命也快到了尽头，一年多的抑郁加憋屈很快积成了病，他正向生命的终点加速迈进。
得知杨素重病，杨广表现得很关切，频繁派出最好的医生开列最好的药，每次医生一回宫，杨广就会关切地问：“怎么样，什么情况？”千万别误会，杨广频繁过问杨素病情并不是为了让杨素快点好，恰恰相反：“怎么还不快点死，为国家消灾呢？”到了这个份上，杨素已经没有选择了，药不能吃了，身体不能要了，医嘱不能遵了，气也不能喘了，目的只有一个，不活了，每语弟杨约曰：“我岂须更活耶？”
有的时候，活是一种折磨，死是一种解脱。杨素，同意请点头。
大业二年七月二十三日，司徒杨素走完了他的人生路，他的一生是奋斗的一生，革命的一生，久经考验的一生，同时是虎头蛇尾的一生。
杨素死后，受到了国葬，被追认为太尉和虢州等十个州的州长，他的悼词很长，很长。
悼词，是为死人写的，念给活人听的。
活人是承受不起，而死人又听不到。