派遣诸妃驰往东都检视人及府库珍玩，全都私下有所求索，并为娘家兄弟求官。秦王已经封奏府库财簿，至于官职爵位，非有战功者不与，由此妃嫔之人怨恨不已。随后为陕东行台，有诏属内事务可以全权办理。秦王将之田给予淮安王李神通，而张婕妤为其父请求其地，祖下手诏赐田。诏书到时，神通前已得田，不肯。婕妤诬奏说：“诏书赐予妾父田产，而秦王夺去给予他人。”祖发怒，召见秦王责让说：“我的诏令不如你的王府教令吗？”有一天，对裴寂说：“孩儿久掌兵权，被儒生教坏，不再像我从前的儿了。”秦王府属官杜如晦骑经过尹德妃之父门前，妃父恨其傲慢，率其家僮将如晦拖下来殴打，断其一指。其父害怕事，便让德妃在祖前诉说秦王左右欺凌其父。祖不明真情，大发脾气，训斥秦王说：“儿之左右竟敢欺凌我妃嫔之家，何况平民百姓呢！”秦王百般辩解，祖置之不理，因此日渐疏远。有一次，祖召集诸王宴飨，秦王思念其母早逝而不见拥有天下，故而独自悲泣，祖见此很不兴，诸妃趁机加以中伤，为建成游说：“如今海内无事，陛下年事已，应当娱乐自己，秦王愤悲泣，正因忌恨我等。假如陛下万岁之后，秦王得志，妾等必无遗类。东太，为人慈，必能保全供养我等。”说罢全都悲不自胜。祖恻然伤，便打消了更换太的主意。

后遇突厥兵犯关中，祖打算迁都避寇，因秦王苦谏而止。建成往见祖说：“秦王想抵御外寇，阻止迁都之意，是为了久掌兵权，而谋夺帝位。”祖渐渐不喜秦王。

起初，祖令秦王居于西承乾殿，元吉居于武德殿，与上台、东昼夜都可往来，行皆带弓箭刀仗，相遇则行家人之礼。因此皇太令及秦、齐二王教与祖诏敕并行，内外惶惧，不知所从。建成等人私自招募四方骁勇及长安恶少年二千人蓄为甲，分屯于左右长林门，号为“长林兵”又令左虞候率可达志招募幽州突厥兵士三百人中，准备攻西。有人向祖告发，祖召建成予以训斥，随即将可达志放至。。州。

华人杨文素来凶险，建成与他亲昵，使他任职为庆州总，派遣使者令他招募兵士送往京师，准备起事。当时祖巡仁智，秦王世民与齐王元吉随从。建成对元吉说：“秦王将遍拜诸妃，他的金银宝很多，尽可拿来赠送。我怎能坐待祸患临呢？安危之计决定于今日。”元吉说：“对。”建成便命令郎将尔朱焕、校尉桥公山持甲送与文，他起兵。尔朱焕等人到害怕，行至豳乡时上告谋反之状，宁州人杜凤也告发此事。祖派遣司农卿宇文颖驰驿征召文，元吉暗与宇文颖结，托他告知文，文立即率兵造反。祖因建成为首谋，不忍加以劾治，便下诏逮捕王王圭、魏征及左卫率韦、舍人徐师谟、左卫车骑冯世立等东官员，想杀掉他们以减轻太的罪过。便下手诏征召建成，建成恐惧，不敢前往。师谟劝他就此起兵，詹事主簿赵弘智谏劝建成减损车驾服用之，轻车前往认罪。于是前至行在所，将到其地时，建成屏退官属，径自见祖，叩请死，伏于地而不能站起。祖大怒，其夜囚禁于幕中，派兵加以防守。恰遇文攻陷宁州，祖大惊，因仁智接近贼境，夜率卫士南奔，沿山行走十余里地，天亮后才返回中。祖召秦王问计，秦王回答说：“文这小，州县官员即可将他擒获，即使一时不能拿获，只须派遣一将就能解决问题。”祖说：“此事与建成有牵连，恐响应者众多。你亲自前去平叛，返回后，我立你为太，废建成为蜀王，蜀地狭隘，不足为变，如不能侍奉你，取之亦易。”秦王便率众前趋宁州，文已被其下所杀，而以其首级归降，抓获宇文颖押送京师。秦王发后，元吉与祖妃嫔为建成求情，封德彝也暗自劝解祖，由此怒意渐解，重新下诏令建成返京居守，仅仅责备他于兄弟之间不能相容，而贬谪王王圭、韦与天策兵曹参军杜淹于远方。然而猜忌怨恨日益加。

建成等人后来召请秦王夜宴，下毒于酒而奉秦王，秦王忽得暴病，吐血数升，淮安王神通扶持秦王返还西。祖前来问疾，因敕令建成说：“秦王不能饮酒，不要在夜里聚饮了。”又对秦王说：“我起兵于晋，平定天下，都靠你力，议立东时，你一再推让，以故成全你的意。再说太已立多年，不好废黜他。看来你们兄弟终究难以和好，同在京师，怨恨日益加。你还是返回洛行台为好，自陕州以东归你主，可建天旌旗，依照西汉梁孝王旧例。”秦王哭着说：“我不愿这样，我不能离开膝下。”祖说：“陆贾是西汉大臣，尚能居住于诸之家，何况我是天下之主，东西两，近在咫尺，思念你时就能前往，何须悲伤呢？”秦王将行，建成等人商议说：“秦王得到土地甲兵，必为后患；留在京师，仅一匹夫而已。”因而密令数人劝说祖说：“秦王左右尽是山东人士，闻知返回洛，全都欣喜非常，观其意图，不再返回的打算了。”其事果然中止。