杨广皱了皱眉：“这孩子怎么什么都抢呢，他不知道朕不给，他不能抢吗？”自此芥蒂已经在杨广的心中产生，愤怒也在一点点累积。
到了公元608年，杨广又被儿子恶心了一把，这一次让杨暕的太子梦彻底破碎。
这一年杨广下诏兴建了汾阳宫。汾阳宫是皇帝的离宫之一，功能相当于国家招待所。在汾水发源地兴建汾阳宫，主要有三个原因，第一个原因是术士说此地王气很重，杨广希望通过建离宫压一压此地的王气（按照唐朝的说法，这里的王气是属于李渊的），第二个原因是这里风景好，第三个原因是这里野生动物比较多，非常适合打猎。而杨暕的太子梦碎就是因为打猎。
杨暕跟随杨广前往汾阳宫周围猎场打猎，父子俩各自带领人马围猎，本来是父子亲切交流围猎心得的机会，最后却变成了杨广雷霆之怒。
事情的起因很简单，就是杨暕太不懂事了。杨暕亲自带一千士卒围猎，捕获了大量麋鹿，而杨广带队的那一组，居然一只麋鹿都没有打到。别说麋鹿了，连只野兔都没有，皇帝的脸上有点挂不住了。
杨广愤怒地盘问手下的官员，官员们也无可奈何：“我们有什么办法，附近都被齐王杨暕的人围了，根本不让野兽进来！”
“小子啊，你这是诚心恶心我呢！”自此杨广的气愤到了极点，自己忍辱负重了十几年才登上皇位，没风光几年就遭遇二小子拆台，爷俩打猎，连只麋鹿都不给我，以后还能指望他什么呢？这样的人能当太子吗？
一个美女，数只野兽，再加上若干件不拘小节的小事，杨暕在父皇心中的信任度急剧下降。杨广授意手下的官员寻找杨暕过失，结果一找一大把，这个孩子的过失实在太多了。
过失一：隋制县令不能无故离境，杨暕却因为打猎把跟自己交好的一个县令违规带到了汾阳宫。
过失二：王妃韦女士早逝，杨暕却与韦女士的姐姐通奸，而大韦女士是有主的，她的身份是元夫人。然而就是这位元夫人给杨暕生了一个女儿，杨暕让相面师给元夫人相了一下面，相面师撂下了一句话：“这个生女儿的会当皇后！”（这话要是让独孤皇后听见，能气得从地下蹦出来。）
过失三：祈求鬼神，使用邪术，诅咒侄子。因为太子杨昭的身后还有三个儿子，从封建帝王传统的继承方法来看，这三个侄子与杨暕一样，都有继承大统的权利，因为他们也有可能以皇太孙的身份继位（明代建文皇帝就是以皇太孙的身份继承朱元璋的大统）。为了搬掉这三块绊脚石，杨暕想到了诅咒，使用了扎小人等诅咒方法，结果三个绊脚石没搬掉，自己却被老爹搬掉了。
有了这三大过失，再加上美女和麋鹿的芥蒂，杨暕的太子梦碎了，从此在杨广的心里，这个孩子就被盖上了黑章，“永不重用”。
自此杨暕只担任洛阳市长，不准参与中央事务，他还创造了一个就业岗位：定点监督员。杨广指定一名虎贲郎将定点监视其居住，一有情况马上汇报。另外遇有皇帝巡游，杨暕必须陪同出巡，不是因为待见他，而是怕他谋反！
宇文化及江都兵变时，不明就里的杨广对萧皇后说：“莫非是老二造反？”等宇文化及派兵去杀杨暕时，杨暕以为是父皇要杀自己，高喊：“请钦差大人禀告父皇，儿臣不敢造反！”父子相疑到了这个程度，也算父子一场！
太子死了，次子废了，杨广的子嗣只剩下时年两岁的杨杲了。相比于表哥李渊的二十二个儿子，杨广的战斗力是要受到鄙视的，没办法，这个事情还真没法比，有时干着急也没办法。
在杨广看来，太子位空缺不是问题，他还有的是时间，然而定时炸弹已经给他绑上了，表哥李渊和李密他们并不打算给他太多时间。