左卫大将军、五原公元旻听见杨坚要废了太子，忙进谏说：“废立是大事，天子说话不能更改，圣旨一下，后悔就来不及了。诬陷的话是没有准则的，希望陛下明察。”
元旻言辞正直，据理力争，声色俱厉，皇上没有答理他。
这时姬威又上书状告太子违法。
杨坚对姬威说：“太子所做的事，应该都说出来。”
姬威回答说：“皇太子多次对我说，他只想骄横奢侈，想要从焚川到散关，一并规定为游苑。还说从前汉武帝准备建造上林苑，东方朔规劝他，赏给东方朔百斤黄金，多么可笑。我实是没有黄金赏赐给你们的。如果有规谏的人，就该被斩除，不过杀死百把人，自然而然就永远平息了。前不久苏孝慈被解除左卫率，太子扬起胡须挥舞手臂说大丈夫总会有一天的，决不会忘记他，一定会使我称心如意的。还有，宫内所要的东西，尚书大都依照规定不给他，他便发怒说仆射以下的官员，我要杀他一两人，使人们都知道怠慢我的灾祸。他又在花苑内建一个小城，一年四季，建城的劳役不能停歇，建起的亭殿，早上建造晚上又改了。常常说皇上责怪我有很多偏房，高纬、陈叔宝就一定是孽子吗曾经让年老的巫婆占卜吉凶，对我说皇上禁忌是十八年，这个期限已经快到了。”
杨坚听了，老泪纵横，伤心不已，他怎么也想不到自己竟然生了这样的儿子当下流着眼泪说：“谁不是父母所生，竟是这样可恶我有过去的一名老侍女，派她探访东宫时，对我说不要让广平王到皇太子居处，东宫憎恨我，是广平王教他这样的。元赞也知道太子的阴险，劝我在左边府库之东，增派两个卫队。当初平定陈国后，宫女容貌美的都安排到了太子宫，但是听说他不知满足，在外面还在访求寻找。我近来读齐书，看到高欢放纵自己的儿子，非常气愤，怎么可以效仿他的坏作法”说完，下令把杨勇以及他的孩子都被监禁起来，部分地逮捕了他的党羽。
过了几天，有关部门按照杨素的意图，向杨坚上书说左卫官元旻身为皇官侍卫，经常暗地里侍奉杨勇，感情深厚，暗自有托付。
在仁寿宫，裴弘将杨勇的书信在朝廷上给元旻，封信处写有“勿令人见”的字。
杨坚看了，说：“我在仁寿宫，连细小的事东宫也一定知道，比驿马传得还快，我觉得奇怪已经很久了，莫非就是这个家伙作祟”命令武士拘捕元旻和裴弘，交给执法部门治罪。
有关部门又查出来，在这之前，杨勇曾经到仁寿宫参见请安后回来，路上看见一棵枯槐，根节交结盘错，高大而且粗得五六个人才能合抱，他环顾侍从说：“这树能做什么器具用”有人回答说：“古槐树尤其能够取火。”当时卫士都佩带火燧，杨勇于是令工匠做了几千枚，准备赐给身边的卫士侍从。
另外，又查出太子专门收藏医药的部门里，贮存几斛艾草。
司法部门觉得奇怪，就来问姬威。
姬威说：“太子要这些东西是别有用心的他接连地派长宁王以下的人，拜谒仁寿宫后回来，每次行动迅速，一夜就到了。所以，这些艾草，就是来喂养千匹马的”
杨素拿姬威的话质问杨勇，问他养那么多马干什么，杨勇不服，说：“我听说你家就有数万匹马，我好歹也是太子，养马一千匹，这难道是谋反吗”
杨素听了，为之无语，又找来东宫的穿用和玩赏的物品，好些加以雕刻和装饰的，都陈放在大庭里，展示给文武百官，作为太子的罪证。
杨坚派人将这些东西拿给杨勇看，以此来诘难他。
皇后也斥责杨勇的罪过。
杨坚派使者责问杨勇，杨勇不服。
太史令袁充向高祖进言说：“我观察天象，皇太子应当废除了。”
杨坚说：“天象早就显示出来了，只是大臣们没有敢说话的罢了。”于是派使臣召见杨勇。
杨勇见了使臣，惊恐地说：“莫非要杀我了”
杨坚着戎装，布卫兵，到武德殿，召集百官，让他们站在东面，各位亲王站在西面，让杨勇和他的几个孩子依次站在殿堂中间，命令薛道衡宣读废除杨勇的诏书。
然后，将杨勇移交给内史省，另外立晋王杨广为皇太子，囚禁杨勇于东宫内。
接着，赏赐给杨素布三千匹，元胄、杨约二人各一千匹，杨难敌五百缎，都是有审查杨勇的功劳而获得的奖赏。
当时文林郎杨孝政上书劝说道：“皇太子是被小人害成这样的，应该给以教诲，不应该罢免废除。”
杨坚听了很气愤，鞭挞了他的胸部。
不久贝州长史裴肃上表说：“杨勇因罪被罢除很久了，应该让他改过自新，请封给他一个小国。”
杨坚意识到杨勇被废，不能使人们在情理上理解，便召裴肃进入朝廷，详细陈述了废立的缘由。
杨勇自以为没有被废除的那些罪名，多次要求进见皇上，当面申诉冤曲。
但杨广阻止他，不能使他当面奏说。
杨勇这时候，想见父皇一面都不行了
他要是在之前，好好去见他的父皇，把内心的忏悔和父皇摊开来说，他尚有机会，可惜，没有，他至始至终，没有向父皇母后忏悔自己的过错，让杨坚和皇后看不到杨勇的悔改。
如今，他被囚禁了起来，生不如死，才想着向父皇忏悔，只要能出去，只要能像庶民一样活着，那就行了
杨坚不是冷血之人，所以，他有一次想起了杨勇这个长子，决定去看他一看。
这一下让杨广和杨素着急了起来，因为杨坚见了杨勇，万一怜悯了起来，把他放出来，那不是糟糕之极
他们想来想去，想出了一个办法，那就是叫人提前去告诉杨勇，说皇帝要路过囚禁他的地方，让他爬上树去叫唤。
杨勇为了见父皇一面，什么都豁出去了，哪怕摔死，也要见父皇一面，所以，他在杨坚未到之时，真的爬在树上大声叫唤。
杨坚见杨勇如此，非常错愕，不知道他怎么了
杨素忙对皇帝说：“杨勇已神志昏乱，鬼魅附身，不能再接纳。”
杨坚听了，叹息一生，认为杨素说的对，到底没有见杨勇一面。
实际上，杨勇至始至终都有翻盘的机会，因为后来杨坚临终前，还想着见杨勇之面。可惜的是，杨勇实在太愚蠢了，始终没有去做一件事：向父母忏悔他只要肯诚心诚意去忏悔，就算太子的位置做不成，也绝不会被囚禁一个人，抓不住事物的主要矛盾，就永远不能把事情做正确
像杨勇这样的人，如果真的做了皇帝，照样不能让隋朝保持繁荣，亡国的命运一样不能避免。倒是杨广，是个智商情商绝顶的人，他做了皇帝，国家灭亡，我们后人能看到，杨坚生前是绝对意料不到的。