因为晋阳被夺，后路被断，他不得不率军仓皇从土门关撤退，不仅遭到了土门关守军的追击，还在半路遭到了刘武周的大将宋金刚的伏击，折损了不少兵马，最终回到长安的将士仅剩不到一半，连大将刘弘基也被敌将宋金刚给生擒了。
就在他还在因为兵败之事气恼不已之时，长安城中却突然流传起他的风言风语，说他这个唐王世子早就知道唐军守不住晋阳城，所以故意派人去城中的几家邸店借走了四千两黄金，这样等到刘武周攻破晋阳城这些黄金就不用再还了……
这些流言蜚语可谓是让他和整个唐王府丢尽了颜面，却又没办法去辩解。
毕竟他确实派人跟晋阳城的几家邸店借走了四千两黄金，如今又因为晋阳城落到了刘武周手中，这四千两黄金他就是想还都还不了了。
如此种种打击，自然让李建成很难再笑得出来。
可相对于李建成，李元吉还要更惨一些。
因为之前被秦昇打断了手脚，虽说在不少名医的精心治疗和调理下勉强能走，可却落下了终身残疾，走路一瘸一拐很是惹眼。
李渊为了让他安心静养，便任命他为并州总管，让他回晋阳安心养伤，并派了不少得力的大臣和将领去辅佐他。
可没想到当刘武周攻打晋阳城之时，李元吉因为畏惧刘武周的兵锋，竟然抛下城中将士带着妻儿出逃，导致城中将士军心动荡，士气低迷，最终没能守住晋阳城。
因为晋阳城的失守，导致刘政会、张达、姜宝谊、李仲文、李孝基、独孤怀恩、于筠和唐俭这些重要大臣和将领最终都成了刘武周的俘虏，整个长安的官场都为之震动。
为了给这些被俘大臣将领背后的家族一个交代，李渊不得不免去李元吉齐国公的爵位，当众杖责三十，致使他在床上躺了一个多月才下得了床。
因为这件事，李元吉看人的目光变得更加阴鸷，李秀宁只是不经意间跟他对视一眼，竟有一种不寒而栗的感觉。
但她没有多想，只是轻轻走到父亲床边，轻声问道：
“父王，你好一些了。”
看到了女儿李秀宁，李渊勉强一笑，随即点了点头道：
“大夫说没什么大碍，都是老毛病了。”