下合诸人之意，怎么能够承担朝廷的重任，居于亿兆人之上呢？我过去穿的衣服，各保留了一件，经常再拿来看看，自诫不可奢侈。又曾准备分赐给你们兄弟。恐怕你居于皇太之位，忘记了过去的事情，因此就令赹将我往日所带的刀一枚，咸菜酱一盒赐给你，你过去作上士的时候，经常吃的就是这样的。你若能记起以前的事情，就应该明白我的用心。”

后来过冬至节，文武百官朝觐杨勇，杨勇置乐接受祝贺。文帝知了这件事，问朝中大臣说：“近日听说冬至节时，内外百官都陆续去朝贺东太，这是什么礼节呢？”太常少卿辛。。回答说“：对东来说是祝贺，不能说是朝贺。”文帝说“：祝贺改换季节，有三几十人，酌情分别去祝贺就可以了，为何让有司征召，满朝文武都聚集起来，太穿着法定的服装置乐招待群臣呢？东太这样，大违礼法！”于是就下诏书说“：皇太虽然位居皇嗣，但名义上还是臣，而各地长官正冬朝贺，带着本地的贡，另贡奉给东。此事不合礼法，应全停止。”

自此以后，恩开始减少，疑虑阻隔渐渐滋生。其时，文帝命令选择豪之士皇护卫，赹奏：“如果把壮之士都选来，恐怕东的护卫太弱。”文帝厉：“我有时要走动走动，护卫一定要雄健刚毅。太德布东，手下的人何须壮英武？如果像你对我说的那样，值班的时候，护卫一直分别在东下巡护，与禁卫军的职责没有什么区别，岂不是多此一举？前朝的事情我很熟悉，你不必用前朝的旧俗来劝我！”原来，文帝对赹的儿娶杨勇的女儿有怀疑，故意说这番话来防备他们。

杨勇有许多幸，昭训云氏原是侍妾，礼义却与正妻一样。妃元氏不得，曾经害有心痛病，二日就死了。献皇后另有想法，对杨勇大加责备。自妃元氏死后，云昭训独断东内政，献皇后更加不兴，多次追究杨勇的罪过。晋王杨广知后，愈加装模作样，诸多姬妾只是充数而已，只幸萧妃一人。皇后因此看不起杨勇，愈加称赞晋王的德行。后来，晋王京朝见，车侍从，都很节俭朴素，与朝臣往，礼仪极为谦卑，因此声名大振，超过了其他诸王。临回扬州，晋王向皇后辞行，哽咽涕，伏地而不能起。皇后凄然泪下，相对哭泣。晋王说“：臣生愚鲁，平生常守兄弟之意，不知因为什么罪，得罪了东，常怀盛怒，对臣加以屠戮陷害。常恐谗陷于妇人，鸩毒遇于杯杓。”皇后愤怒地“：目见地伐越来越让人不能忍受，我替他娶得元家女，希望基业兴隆，竟然没听说有夫妻之事，而独阿云，竟有这样的猪狗！元妃先前本来没有病痛，忽然就死了。定是太投毒，致使元妃早逝。事情已经这样了，我也不加追究。为何又在你这里生这样的念？我活着时他尚且这样，我死后你还不任人宰割吗？我常常想东至今尚无正妻，等你父亲死后，让你们兄弟向阿云拜揖问安，这该是多么大的痛苦啊！”晋王又拜，哭泣不止。皇后亦不胜悲痛。

自这次分别之后，晋王知皇后已移意他人，就开始谋划争夺太之位。于是就传唤张衡商定计策，派遣褒公宇文述杨约，令他传旨给越公杨素，把皇后那一番话都告诉杨素。杨素惊异“：只是不知皇后会怎么样？如果像说的那样，我又能够些什么！”过了几天，杨素侍宴，稍稍称赞晋王孝悌恭俭有礼，借此揣度皇后的意思。皇后哭着说：“你说的很对。晋王十分孝顺，每次听说皇上和我派遣使者到扬州，必定到州境边迎候。他新纳的嫔妃也十分可怜，我的使婢到那里，常常和那些嫔妃同寝共。怎么会像目见地伐和阿云那样相对而坐，终日酣宴，亲近小人，怀疑阻隔亲骨呢？我所以更加怜阿。。，就是恐怕他被人暗害。”杨素既然知了皇后的意思，大说特说太没有能力。皇后就赠给杨素金钱，开始有了废立太的意思。

杨勇对晋王的计谋有所知晓，忧愁恐惧，没有什么对策。听说新丰人王辅贤会占星相，召来询问。辅贤说：“白虹横贯东之门，太白星袭于月，这是皇太废退之象。”用铜铁五兵打造符咒以镇邪。又在后园中修庶人村，房屋低下简陋，太时常在里面休息，布衣草垫，希望能借此阻挡恶运。文帝知杨勇心中不安，在仁寿召见杨素，让他去观察杨勇的动静。杨素到了东，悄声无息地躲在外面，没有去。杨勇穿整齐等待他，他就故意不去，用以激怒杨勇。杨勇怨恨杨素失礼，怒形于。杨素回，说杨勇甚为怨恨，恐怕发生变故。文帝非常怀疑。皇后又派人偷偷地去东察望，大小事情都要奏报，借以构陷诬害，谋成其罪。文帝被他们迷惑，就开始疏远忌恨杨勇。于是就在玄武门至至德门之间安排岗哨，窥伺东的动静，有事立即奏知。又将东侍官以上的护卫，都划归卫府辖，壮勇武的卫士也都被调开了。

晋王又命令段达私下买通东所幸之人姬威，让他将有关太的消息，秘密报告给杨素。于是朝廷内外到都在说杨勇的坏话，各过失每天都传到文帝那里。段达威胁姬威说：“东的罪过，皇上已经都知了。已得到密诏，定要废立太。你若能把东的罪过告诉我们，就会大富大贵。”姬威就答应了。