在宇文述的建议下，杨广决定先回洛阳，择机再回大兴。
抵达洛阳之后，杨广开始慵懒起来，以前“言必信，行必果”的皇帝变得言而无信，原本在雁门郡做出的承诺基本都不作数了。
按照在雁门郡的承诺，将士们只要认真守城，皇帝全部重重有赏，守城有功的人，无论是平民还是士兵，直接升为六品，赏绸缎一百匹。有功的官员按品级逐级升迁。现在到了论功行赏的时候，杨广却变得小气起来，当时参加守城的士兵总共有一万七千人，全部兢兢业业地守城，杨广却只给了一千五百个嘉奖的指标，嘉奖率居然不到10%。
就是这一千五百个士兵也没有得到当初约定的赏赐，杨广规定：第一次作战建功的升官一级；原先不是军官的此次只能升为从九品的立信尉（当初承诺是六品）；累计立三次战功的可以升为从八品；参加作战但没有立功的，累计参加四次战役才能官升一级。
本来不能按约升官已经让将士们非常郁闷，令他们更郁闷的还在后面，皇帝居然赖账了！每人赏绸缎一百匹的承诺居然作废了，一千五百人连个布头都没得到！
仅此一项，杨广省下了十五万匹绸缎，却寒了全军的心。民部尚书樊子盖还在坚持给士兵赏赐，被皇帝一句话噎回去了：“难道你想收买军心？”
“收买人心”，这顶帽子太大了，樊子盖万万戴不起，只能叩头请罪，仓皇离去。
雁门承诺已成泡影，四征高句丽却又成了皇帝的话题，自此皇帝威信日下，“出尔反尔，言而无信”却成了将士们议论的话题。
士气可鼓不可泄，自此民心渐失，军心已远。