李世民、李元吉皆随李渊到仁智宫避暑，太子李建成长安监国。没过多久，便有人告发李建成私送盔甲给庆州都督杨文干，蓄意谋反。李渊勃然大怒，一面以商议突厥防御为由传召李建成到仁智宫，一面派人到庆州调查杨文干。
李元吉本在寝殿和韩慕青下棋，忽然万贵妃派人过来，提醒他道：“陛下不知为何，发了好大的火。齐王殿下在陛下面前要小心才是。”但万贵妃向来平和娴静，加上李渊素来对待嫡子宽厚，因而万贵妃很少遣人专程提醒李元吉——看来此事非同寻常。
来人走后，李元吉十分纳闷，昨日父亲还好好的，为何突然大怒？他思索片刻，派人悄悄去打探消息。
打探消息的太监回来，禀告李元吉道：“殿下，怕是真的出大事了。陛下身边的人都不敢多说，奴婢也是大费周折才略知一二——此事与东宫有关。”
李元吉一惊，让太监上前回话。
那太监上前几步，继续道：“有人密报陛下，太子和庆州都督杨文干有所图谋。现在，陛下已派人前往长安传召太子，估计太子殿下很快就要赶到仁智宫了。”
李元吉剑眉一竖：“传召的人什么时候走的？”
太监回道：“走了快半个时辰了，说是要请太子来仁智宫议事。”
李元吉知道事情紧急，忙书信一封派人送去长安。李元吉担心派心腹送去，更会引起他人的注意，但若不派心腹，如此重要的信件，若有闪失更是麻烦。他思来想去，还是派齐王参军陆奇以回长安探望母亲为名，快马赶回长安。
李元吉的信总算先于李渊传召之人到达。李建成看完信不久，传召的人便到了。李建成忙召东宫群臣前来议事。众人皆有些慌张，一些人主张前去请罪，一些人则主张起兵。
李建成不愿也不忍与父亲决裂，虽然他确实派人私送盔甲，但此罪不足重罚，父亲视之如同谋反，其中必有隐情。此时起兵，不只是不忠不孝，倘若不成，岂不更难证清白？他们父子情深，他若辩解，父亲多半会信他。于是，李建成只身前往仁智宫请罪。
李建成到了仁智宫，李元吉已在宫外迎候他。李元吉本欲陪李建成一起面见父亲，不料，
宫人却不肯放行，一定要他在殿外等候。
李建成劝他道：“四弟，不要违逆父亲的旨意，我自己进去就好。”
李元吉虽然担心，但听大哥如此说，只得答应。
殿中肃静，李渊满面怒色，不像先时。他直截了当问道：“你拉拢外臣，意图谋反，你，你可知罪？”李渊手扶在心口上，前朝文帝死于亲子之手，他对子女一向宽厚，不想还是出了这大逆不道之事。
李建成跪在地上，坦然道：“儿臣确实有罪，不该私下送杨文干盔甲。但是儿臣对父亲，决无二心。”他郑重地向李渊叩首，继续道，“父亲立儿臣为太子，儿臣丝毫不敢有所差池。儿臣向来敬重父亲，又怎能对父亲不忠不孝？父亲只听奸佞之人片面之词，便断定儿臣图谋不轨，儿臣实在不服。”
李渊语气依然冷峻：“你先留在仁智宫中，朕自然会派人去查，若你无谋逆之心，朕自然会放你回去。”他挥挥手，命人将李建成押下。
李渊在李建成三兄弟面前，从不用“朕”，他听到父亲不同寻常，冷若冰霜的话语，顿感一股寒气袭来，冷彻心扉。
李渊关押了李建成，并派人押送东宫诸臣到仁智宫附近，派人严加看守。
李建成被关押在仁智宫一处偏僻的角落，仁智宫本就是匆匆落成，只有几处宫殿尚说得过去，其余殿宇实在是简陋不堪，而关押李建成的这处房屋，更是潮湿简陋，蚊虫成群。
李元吉到李建成住处附近查看一番，实在是于不忍心，便去求见父亲。
李渊知道李元吉前来必是为李建成求情，还未等他开口，便怒道：“你还有脸过来？你派人为你大哥送信，当我不知道吗？在我眼前，还这么不知收敛。我念你年幼不处罚你，你好好回去面壁思过，休要再为你大哥求情。”
李元吉见事情败露，忙跪下低声道：“父亲当心气坏身体。儿臣也是一时情急，担心大哥被父亲责罚。”
李元吉透漏消息，倘若李建成一时情急，不前往仁智宫，而是在拥兵自立，李渊怕是凶多吉少。他怒不可遏道：“你可知道，倘若你大哥聚众起兵，我将如何自处？”
李元吉愕然道：“大哥仁孝，怎会做出对父亲不利之事？一定是被他人诬陷。儿臣只是不忿有奸人诬告大哥，想提醒下大哥，大哥也可早日思量何人会陷害与他。父亲想想看，大哥身为储君，若说他谋反，有什么道理可言？儿臣知道以大哥的品性，他一定会到仁智宫请罪。”他顿一顿，又道，“自儿臣出生，母亲便身体不好，父亲疼惜儿臣，对儿臣关爱有加，儿臣怎能不知？大臣虽然敬重大哥，但大哥在儿臣心中，也决越不过父亲。若大哥真有异心，儿臣誓死也要保护父亲。”
李渊最容易被嫡子说服，他见李元吉一脸恳切，心中稍缓，便警告他道：“你最好安分些，再有异动，小心我将你也关押起来。起来，回你的寝宫去吧。”
李元吉慢慢站起身来，道：“父亲保重，儿臣告退了。”他走了几步，回头看看父亲——李渊背对着他站着，看起来很是颓废。李元吉心道，“大哥是父亲一手栽培的太子，最不愿看到大哥谋反的人就是父亲，只怕现在父亲比谁都要难过。此事必有回旋余地。”