有一次，轩辕经天知道李渊是新的人皇，特意当面嘱咐李渊您的骨骼惊奇，必为人间之主，愿您自爱，谨记谨记。说完就回到了立言山庄。
李渊在隋炀帝即位之初先后做了荥阳(今河南荥阳)、楼烦(今山西静乐县)两个郡的太守，后来又被任命为殿内少监、卫尉少卿。
大业九年(613年)春，隋炀帝征伐高句丽时，李渊在怀远镇督运粮草。同年农历六月，杨玄感利用民愤举兵反隋，李渊奉隋炀帝之命镇守弘化郡(今甘肃庆阳县)，兼知关右诸军事。
在此期间，李渊广交天下豪杰，遭到隋炀帝的猜疑。恰好有诏书命李渊去隋炀帝巡行所到之地，李渊因病没有去。当时李渊的外甥女王氏在后宫，隋炀帝问王氏:你的舅舅怎么迟迟不来?王氏回答说李渊病了，隋炀帝又问:病的要死了吗?李渊知道以后日益恐惧，因此无节制地饮酒、收受贿络自污以自保。
大业十一年(615年)，李渊调任山西河东慰抚大使，到达龙门时，遇上了母端儿农民起义，李渊领兵击败了起义军，收编万余人，实力大增。又击绛州贼柴保昌，降其众数万人。
第二年(616年)，他升为右骁卫将军。突厥侵犯边塞，隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少。李渊便选出擅长骑射的两千骑兵，吃住骑射仿效突厥兵，给突厥看他们闲暇时的射猎驰骋。李渊有另外挑选善于射箭的士兵作为埋伏。等和突厥兵遭遇时李渊便下令埋伏攻击，结果打败突厥。
唐朝建立之初，疆土只限于关中和河东一带，尚未完全统治全国，因此，李渊经常派遣儿子李世民、李建成、李元吉出征，逐步消灭各地割据势力。
武德元年(618年)农历六月，李世民攻打据有今甘肃兰州等地的薛举、薛仁果父子，农历九月薛举战死，农历十一月俘杀薛仁果，平定了西北广大地区。
武德二年(619年)，唐朝用反间计，使李轨集团内部矛盾激化，从而俘杀了李轨，平定了河西走廊。同年刘武周、宋金刚勾结突厥，攻入河东，占领太原。李元吉、裴寂等败逃。后李世民出讨河东，收复太原并消灭刘武周势力。刘武周、宋金刚逃往突厥，不久被杀。当时黄河流域形成夏政权窦建德、郑政权王世充与唐朝三足鼎立之势。620年，李世民奉命率军东征王世充，窦建德和王世充联盟对抗李世民的军队。
武德四年(621年)，在武牢关一战中李世民俘获窦建德。促使王世充投降。武德六年(623年)，太子李建成俘斩窦建德余部刘黑闼，平定了河北地区。武德七年(624年)，高开道为其部下张金树所杀，张金树降唐。唐军又消灭了江南的辅公祏势力，终于一统天下。
621年唐将李靖于唐平萧铣之战获胜，梁帝萧铣于江陵降唐。翌年，岭南冯盎降服，又虔州林士弘死，中国本部归唐朝所有。
李渊在位时期，依据隋文帝旧制，重新建立中央及地方行政制度，又修定律令格式，颁布均田制及租庸调制，重建府兵制，为唐代的职官、刑律、兵制、土地及课役等制度奠定了基础。