等到杨勇被废，杨秀“意甚不平”。但是为什么生气呢？史书上没有明确交代原因，可是也没有记载他口头或者书面上为大哥鸣冤叫屈，我只能推断他不是为杨勇被废而怒，而是为立杨广没有立自己而怒。一千多年以后的人都能猜出他的心思，杨广能不知道？于是指派杨素揭发杨秀，还是从有“异心”这个突破口展开，老皇帝大怒，招杨秀回京，有杨俊的例子摆在前面，杨秀还真不愿离开根据地。杨坚又指派了新的益州总管，这位新总管很会做心理工作，终于说动了杨秀回京。杨秀带着自己的嫡系部队上路了，走了四十来里路，又有了反悔之心，准备率兵偷袭益州。只要一开战，杨秀造反的事实就确凿无疑了，幸亏这位新总管也不是吃素的，已经做好了防御准备，杨秀只有乖乖的到京城报倒。
杨坚没有给杨秀辩解的机会，也没有亲自骂他，派使臣“切责之”之后就押进监狱，等待审判。杨广一面在杨坚面前痛哭流涕地为杨秀求情，一面暗中指使人弄了两个小木人，埋在华山脚下，分别对杨坚和杨谅（杨坚第五子）进行诅咒，可能害怕这种妖术会真的灵验，杨广出于安全起见，没有把自己列入受害人的行列。挖出这个木人的是主审杨秀工作组的首席大臣杨素。这还不够，又伪造杨秀讨伐京城的檄文草稿夹在杨秀的文集中给杨坚看，证明杨秀早就盼着天下大乱骨肉相残好混水摸鱼乱中取事。杨坚被彻底蒙蔽，盛怒之下放出狠话，要把杨秀当街问斩，给老百姓一个交代，有一位大臣为杨秀求情，也差点被割了舌头。最后尽管没有要了杨秀的命，但也削掉王爷的爵位，废为庶人，禁锢终身，一位土皇帝变成了无期徒刑的囚犯。
后来杨广坐上皇帝宝座，可能是杨秀已经没有什么威胁了（人被关起来了，嫡系的幕僚基本在处置杨秀的时候被杨坚杀完了），也可能“真兄弟”只余下这一个（老五杨谅因谋逆去世的早），总之是没有给杨秀加刑，留了一条命。不过杨广对皇家的宗室也非常警惕，无论走到哪里始终把这帮人带着。杨广穷途末路之时被宇文化及以为民除害的借口勒死之后，杨秀一度成为傀儡皇帝的候选人，不过经过宇文化及等人的讨论又否定了这个提议，应该是觉得堂堂蜀王不好控制的缘故吧。那下场就比较明显了，和杨坚的其他后人一起被杀，这样看来，虽然杨秀郁闷半生，却是兄弟之间最晚离开这个世界的。
四、杨谅之死
和杨秀一样在史书被称为“庶人”的还有杨谅，和杨秀窝囊地在监押之下度过后半生不同地是，这位被封为汉王的杨坚最小的儿子，还真是轰轰烈烈的造过反。
杨坚对这位小儿子非常宠爱，在他担任并州总管离京的时候，老皇帝打着到外地视察的旗号，一直送出很远。杨谅的辖区很大，西起华山，东至渤海，北达燕门关，南到黄河，共计五十二州。兵马也很多，并且特许他可以“便宜行事”，就是所谓的先斩后奏吧。不过他辜负了这份信任，史书上记载他指挥了三大的次战斗，无一胜绩。第一次是攻，开皇十八年出征辽东，败；第二次是防，开皇十九年防突厥，败；第三次是攻防兼备，先打起造反的旗号进攻，后来逐步退守，败。如果前两次是诈败，通过打败仗来逼迫皇帝老子增加自己的实力，那最后的一次无论如何也没有别的借口了，只能说自己志大才疏。
杨谅造反是必然的，不反才不正常。四个哥哥，除了二哥当了太子外，其他的三位或死或监，自己的下场是什么，当然要好好考虑了。资治通鉴上还有一段记载，说杨坚偷偷和杨谅约定好了，如果新君继位，发给杨谅的诏书上面的公章有个暗记，就说明没有问题。结果大将屈图通拿着杨广的诏书来宣招杨谅进京的时候，加盖的玉玺上没有这个暗记，杨谅自然不敢到京城去自投罗网。违旨是不赦的大罪，遵旨又会变成杨俊第二杨秀第二，除了造反，真是没得选择。由此看来，杨坚对这位小儿子真不是一般的疼爱啊，小儿子，大孙子，老爷子的命根子。可是这种疼爱，给杨谅带来的是更大的祸事。