李渊不知道，这其实是二儿子李世民为逼自己起兵而施的一个计谋，但这件事却使他在反与不反的抉择中，向反的一方倾斜。紧接着，又发生了一件事，终于使李渊不再犹豫不决。
原来，在李渊管辖的境内，马邑郡鹰扬校尉刘武周与郡守王仁恭的侍妾私通，又将王仁恭杀了。随后联合突厥兵，攻占汾阳宫，把宫女等送给始毕可汗，换回上百匹好马。随后攻占定襄（今山西省定襄），宣布自己是皇帝，还定了年号。刘武周犯的是满门抄斩的死罪，而李渊作为太原留守也难逃死罪，与其坐以待毙，不如起兵造反。
李渊决定起兵造反，但还有后顾之忧，他担心尚在河东的家眷和在长安的女儿。不料二儿子李世民一听，高兴地说：“父亲您就放心地干吧，家里人我都派人接到晋阳来了，您不必担心。”
李渊这才意识到，自己在晋阳宫“私淫宫女”一事说不定就是李世民一手策划的。但事已至此，也不便再说什么，反而在心中暗暗赞叹他的机警过人。
李渊虽然反隋之心已决，但为了扩充兵力，壮大力量，他还是没有公开提出反隋口号，反而以征讨刘武周为借口招募军队，很快就招募到一万多人。这引起了隋炀帝杨广安插在李渊身边的线眼副留守王威和高君雅的怀疑。开始二人也没察觉出什么，但李渊起用长孙顺德和刘弘基二人统率招募的军队，二人便起了疑心。因为长孙顺德和刘弘基二人在杨广东征高丽时不愿去，当了逃兵，跑到晋阳李渊处躲藏起来。王、高二人一见李渊做这样的人事安排，便怀疑其中有诈。两人一合计，准备先把长孙顺德、刘弘基和李渊抓起来再说，便安排人去抓三人。人还未抓，李渊就派人来通知召开军事会议。二人此时不敢不去，只得前往。