杨勇虽然不是很聪明，但也不是傻瓜，所以，他也感觉到了母后对他的冷淡，父王对他的疏远，弟弟杨广对他的不怀好意，他心中忧虑害怕，却一点办法也没有
人最厉害的，就是能发现问题，并解决问题
杨勇已经发现了问题了，却不能解决问题。
他想来想去，没有办法了，只得找来算卦的人，算一算自己运数。
于是，新丰人王辅贤被召到东宫去了。
王辅贤说：“长虹穿过东宫之门，太白金星侵袭月亮，这是皇太子要被废除的征兆啊。”
太子杨勇听了，赶紧问消灾的办法。
王神棍摆摆手，说：“无妨”说着，用铜铁五种兵器制作治服人的符象来挡灾，又在后园做了平民小村，房子简陋，太子时常在村中休息，穿粗布衣服，床垫蓬草，以此就能避免灾祸。
真是愚蠢
扁鹊曾经说过六不治，其中一条是“信巫不信医，不可治也”
杨勇在此时，宁愿相信巫，而不去分析形势，抓住重点，改变命运，真是愚蠢，真的不可治了
他如今面对的形势，就是接近众叛亲离的形势，唯一的做法，就是去哀求母后，去改过自新，去结交众臣，去抓住杨广的把柄，然后，牢牢抓住隋文帝这个重点，无论用什么办法，一定要获得他的重新信任
他如果尽最大能力去做这些事，或许还有一线生机
可惜的是，杨勇宁愿相信神棍，也不去做正确的事，所以，其败可预知
杨坚还没决心废太子，知道了杨勇心里不安，当下派杨素去看望杨勇。
这说明了杨坚对太子还是心存希望，只是，他派杨素去，等于把杨勇的生机给断了
杨素到了东宫，在外屋歇息着，就是不进杨勇的里屋去
杨勇系好腰带等待他，有意长时间不进去，以此来激怒杨勇。
杨勇觉得自己是堂堂太子，而杨素竟然迟迟不进来拜见自己，心中怨恨不已，脸上也表现出了不满。
杨素回到仁寿宫后，就说杨勇心怀不满，恐怕有反常行为，希望谨慎观察提防。
高祖听了杨素的谗言，非常怀疑，可是随行的人也说太子不满形于色
皇后又派人观察太子，细小的事情都能听到汇报，其中，许多夸大事实，无中生有的事，构成了杨勇的罪过。
杨坚听多了杨勇的坏话，开始疏远猜忌起杨勇来，便在玄武门到至德门的路上安排人，观察与太子动静，什么事都要随时报告。
晋王杨广又派段达暗暗地在东宫结交杨勇的亲信姬威，给他财物，让他取得太子的消息，秘密告诉杨素。
于是，宫廷内外，责难杨勇的过失，杨坚天天可以听到。
段达威胁姬威说：“东宫的罪过，皇上都知道了，我已接到秘密的诏书，决定废弃太子。你能告诉情况，就可以取得大富贵。”
姬威在软硬威胁之下，于是答应了。
不久，杨坚从仁寿宫回到皇宫，第二天，他即到大兴殿，对侍臣们说：“我刚到京城，应当尽情欢乐，不知什么原因，反而愁闷”
吏部尚书牛弘回答说：“因为我们不称职，所以使皇上忧闷。”
杨坚问话的目的，实际上是想听听太子的过错，没想到大臣不接招，把责任揽在自己身上。
牛弘的回答，让杨坚脸色不好看，对东宫的臣僚们说：“仁寿宫离这里不远，但是我每次回到京城，警卫森严，好像到了敌国一样。我因此非常担心，不敢脱衣睡觉。昨天夜里要上厕所，原先住在后房，担心有意外，回来后又转移到前殿，难道不是你们要毁坏我的国家吗”说完，拘捕唐令则等人，交给主管部门审讯。
然后，杨坚又命杨素陈述杨勇的罪状，告知身边的大臣们。
杨素当下宣布说：“我奉皇上的命令到京城，命令皇太子查核刘居士的余党。太子奉旨，便声色俱厉，连骨肉也好像抖动起来，对我说：刘居士党羽已全都处置，你要我还到哪里去找你作为右仆射，受权不小，自己查处他们，与我有什么相干又说：如果大事不成功，我就要首先被杀。如今作为天子，竟然使我不如几个弟弟。没有一件事，能够自由办理的。因而长声叹息还顾左右说：我特别地感觉到受到妨碍。”
杨坚听了，叹息说：“这个孩子早就不能继承皇位了。皇后常劝我废除他，我因为贫困时生的他，又是长子，希望他慢慢地改正，忍耐到今天。杨勇过去从南兖州来，对卫王说娘不给我选配一个好女人，很遗憾。还指着皇后的侍女们说这将来都是我的。这话多么荒唐他的前妻刚死，就用很小的帐子安置剩余的年老妇人，新娘子刚死，我很怀疑是他派马嗣明用毒药杀的。我曾责问他，他便忿恨地说有机会杀了元孝矩。这是要杀害我而迁怒他人罢了起初，长孙长宁王出生后，我同皇后一同抱养他，杨勇自己心存芥蒂，连续派人来要回去。况且云定兴的女儿，是他在外与人姘居而生，想想这一由来，凭什么一定是他的亲生儿子过去晋国太子娶了屠岸沽的女子，孩子们也就喜欢宰杀。如今倘若是非正派的人，就会乱我国家。还有刘金马，奸佞的小人，叫云定兴是亲家，定兴是愚蠢之人，接受了他的要求。我前些时候罢除刘金马，也就是这个缘故。杨勇曾经邀约曹妙达与云定兴的女儿一起宴会，妙达在外面对人说我今天得以劝太子妃饮酒。只因他的儿子都是偏房所生，害怕别人不服，因此纵容他们，想得到天下人的拥护罢了。我虽然德操不及尧、舜，到底不能把天下百姓交给品行不好的孩子。我时常害怕他加害于我，如防范大敌，今天决意废除他，来安定天下。”
他这一番这么长的话，说明他已经调查了很久，也隐忍了很久。