高颎真正彻底失去了杨坚的信任，是他辅佐汉王杨谅的时候。
杨坚派人攻打突厥，高颎进谏，杨坚不从。后来，出师无功而返。
独孤皇后对杨坚说：“高颎当初就不赞成去攻打，是陛下坚持要他出兵，所以，我当然知道这一次出征无功了”
她这话的意思很明显，那就是高颎根本就不肯出尽力。
杨坚又以汉王杨谅年少，当下专委军事于高颎。
高颎以任寄隆重，阻止了杨谅去做很多事。
杨谅心里很恨他，于是，对他的母亲独孤皇后哭着说：“儿子有幸，没有被高颎所杀”
杨坚听了，觉得高颎实在太过分了，心里对他是“弥不平。”
不久，杨坚去秦王杨俊的府第，召高颎侍宴。
高颎去到之后，终于见到了杨坚，当下悲不自胜，不由哭了起来。
独孤皇后也为之哭泣。
杨坚对高颎说：“我没有辜负了你，而是你自己辜负了自己”说着，对侍臣说：“我于高颎，胜过儿子，虽或不见，常似目前。自从疏远高颎后，瞑然忘了，好像从来就没有高颎这个人一样。所以，人臣不可以要挟君主，自以为天下第一”
不久，颎国令上书皇帝，说高颎的儿子对高颎说“司马懿最初也是托疾不朝，后来拥有天下。如今父亲你的遭遇和他一样，谁知道就不是福气”
杨坚看了大怒，把高颎抓了起来，囚于内史省审问。
通过审问之后，审查出高颎结交沙门真觉，他曾对高颎说：“明年国有大丧。”另外，尼令晖也对高颎说：“开皇十七、十八年，皇帝有大厄，十九年不可过”
杨坚听了，顿时怒不可遏，对群臣说：“帝王岂可力求孔子以大圣之才，犹不得天下。高颎与子言，自比晋帝，此何心乎”
有司请斩高颎。
杨坚念在他的功劳和旧情，说：“去年杀虞庆则，如今又斩王世积，如果还杀高颎，天下人将说我是什么皇帝”于是下旨，罢免了高颎所有的管职，废为百姓。
这样一来，高颎等于被杨广害死，但和害死没有什么区别，因为，他在杨坚那里再也说不上话了。
杨广接下来要做的，就是让母后独孤皇后对太子杨勇不满。
独孤皇后和高颎不一样，高颎可以利用杨素和独孤皇后去搞他，自己不用出面，但是，独孤皇后必须要自己出面。
他要独孤皇后对杨勇不满，除了自己亲自出面去害杨勇外，还有，必须杨勇自己害自己。
一个人，自己会害自己吗
答案是肯定的
我们人，实际上都是自己先害自己，别人才有机会害你
杨勇要是自己做人做好来，杨广想夺他太子的位置，根本没可能
杨勇的做法，慢慢失去了父亲和母亲的宠爱。
杨坚开始的时候，对杨勇还是非常的信任和宠爱的，他让太子杨勇参决军国政事，有对的，也有错的，杨坚都接受。
杨勇见到父亲这样爱护自己，再加上他本来就是个率意任情的人，当下也不矫饰自己，想干什么就干什么了。
杨坚是个很节俭的人，见杨勇文饰蜀铠，他就不高兴了，告诫杨勇说：“自古帝王未有好奢侈而能久长者。你为储后，当以俭约为先，才能奉承宗庙。我昔日的衣服，各留一物，让你时时观看，引以警戒。恐怕你以今日皇太子之心，忘了昔时之事，所以，赐你我旧日所带的刀一枚，并菹酱一合，你昔日作上士时常常吃的。你如果存记前事，应当明白我的心”
这时的杨坚，对杨勇虽然不是很满意，但起码还是爱他的，因为，他还教导着杨勇。
一个人，肯教导另一个人了，说明对他还没有死心。让人死心的人，别说教导，连话也不会跟他说的
然而，杨勇并不明白父亲的一番苦心，依然我行我素，终于让杨坚从教导变成了猜忌了。
一次冬至，百官都去见杨勇，杨勇也张乐接受百官祝贺。
杨坚知道后，问朝臣说：“最近听说冬至日，内外百官，相帅朝东宫拜见太子，这是什么礼啊”
太常少卿辛亶回答说：“去东宫太子那，是祝贺，不是朝拜”
杨坚又说：“祝贺的话，三数十人就行了，随情各去，何必有司征召，一起普集太子法服设乐对待，可有这事”因而下诏说：“礼有等差，君臣不杂皇太子虽居上嗣，义兼臣子，而诸方岳牧正冬朝贺，任士作贡，别上东宫；事则，宜悉停断”
这是对太子杨勇的否认了
杨勇经过这一事，也开始“恩宠始衰，渐生猜阻。”
独孤皇后对杨勇的不满，在于杨勇越来越让她失望。
杨勇的正妃，也就是太子妃元氏，是独孤皇后指婚的，和独孤皇后有关系的人。
杨勇很多内宠，其中昭训云氏尤其得到他的宠幸。
太子妃元氏无宠，又遇到心脏病，没两日就薨了。
独孤皇后听了这消息，觉得有问题，当下责备杨勇。
元氏死了之后，杨勇更是沉迷美色，云昭训生了三个儿子，高良娣生了俩个儿子，王良媛生了俩个儿子，成姬生了一个儿子，另外，后宫还生有俩个儿子。
孤独皇后由于儿子杨勇的沉迷美色，一下子多了这么多个儿子出来，理应感到高兴才是啊，可是，没有，“后弥不平”，也就是说独孤皇后心里更加不爽
我们知道，杨坚只有独孤皇后一个老婆，后宫都是虚设，没有第二个老婆。
独孤皇后一生所追求的，也就是杨坚一辈子只娶自己一个妻子，不能爱其她女人。也就是说，她主张爱情就应该专一。
如今，她的儿子杨勇妻妾成群，她怎能高兴
独孤皇后派人伺察杨勇，把他的罪过都记录下来。
由此，我们就知道了，杨勇的失败，和他自己有很大的责任。以他这样的行为，实际上，也不是一个合格的太子。
他无论智商还是情商，远远没办法和杨广相提并论，败在杨广的手里，实在是他自己太不聪明了