在宇文述、張衡、楊約的運作下，楊素與楊廣暗地裡達成了倒太子聯盟。
楊廣找個藉口，派宇文述親赴長安城一趟，通過楊約給楊素送去大量金銀財寶。
楊素是個果敢、守信之人。他一旦作出決定，為達目標便非常勤懇地做事。
隻要機會合適，他就在皇帝、皇後麵前“反饋”大臣們的議論：太子楊勇如何不堪大任，晉王楊廣如何孝悌恭儉四項全能……等等。
晉王府參軍段達是姑藏（武威）人，與太子東宮右衛率姬威是老鄉、熟人。
楊廣批給段達大把經費，買通了姬威。太子所有行蹤，晉王清清楚楚。
當年韓擒虎攻破建康皇宮時，按楊廣指令將陳氏皇族女眷單獨保護起來，等待楊廣接收。
楊廣按慣例挑選一批長相絕色的女子，帶回長安交給母後處置。
其中有位才色俱佳的女子，乃陳宣帝之女、陳後主之妹，被楊堅封為宣華夫人。
楊廣通過宮中嬤嬤，把宣華夫人發展成為宮闈眼線。
……
獨孤皇後有意發起，晉王楊廣熱切迎合，重臣楊素用心推動，許多大臣配合……
加上太子楊勇後知後覺、挽救措施很不得力……
楊勇的太子之位已是岌岌可危。
首宰高熲本來是楊勇的最大助力。
可是，高熲與楊勇結成了兒女親家，楊勇隨後又娶了高熲之女為側妃。這樣一來，高熲向皇帝死諫力保太子，反而顯得是出於私心，不夠說服力。
皇帝楊堅開始部署廢儲重立之事。
楊堅當初冊封嫡長子楊勇為太子後，為了將來國祚穩定，此後的人事安排中，文臣武將的第二梯隊人選，都是以太子為中心來挑選的。
現在，楊堅要廢掉楊勇的太子之位、重新挑選國之儲君，朝廷官員也得大洗牌。
這事的涉及麵太廣了，可不是一件簡單的事。
楊堅隻能一步一步慢慢來。
……
重立儲君，次子楊廣是不二人選。
——皇帝楊堅首先與皇後獨孤伽蘿在這點上達成一致。
尚書右仆射楊素，就是為了換掉太子楊勇，才提拔他上來牽製高熲。
——剪除現太子楊勇羽翼的工作，必須交給楊素去落實執行。
對太子黨中掌握兵權的將領，得優先解職、甚至鏟除。
——這是保證換太子事宜損失最小的必須手段。
皇帝下定決心、有了方案後，隨後幾年，隋國朝野陸續發生一些大事：
597年，上柱國、右衛大將軍虞慶則因謀反罪被處死。家人被株連。
同年，東宮千牛備身、太子貼身侍衛劉居士案爆發。太子府被牽連的屬官達二十幾人，全部被殺。
598年，負責東宮安全的禁衛軍首領、太子親衛蘇孝慈等人被清洗。
599年，上柱國、涼州總管王世積案爆發。家屬被株連。
受王世積案牽連，首宰高熲被免除上柱國、尚書左仆射之職。不久後被削去齊國公爵位，黜為平民。
楊素以上柱國、尚書右仆射身份成為首宰。翌年，楊素升尚書左仆射。
公元600年10月，太子楊素及兒子們被廢為庶人。
楊勇被移出東宮，軟禁於內史省，享受五品官員俸祿待遇。
11月，晉王楊廣被冊封為新太子。
張衡擔任太子左庶子，文職一把手；楊約擔任太子右庶子，文職二把手；
宇文述擔任太子左衛率，禁衛軍首領。段達擔任左衛副率。