隋大业九年（613年）春，调任卫尉少卿，掌管宫廷禁卫事，开始由文官转任武职。炀帝征伐高句丽时，李渊在怀远镇（今辽宁辽中附近）督运粮草。同年农历六月，杨玄感利用民愤举兵反隋，李渊奉炀帝之命镇守弘化郡（今甘肃庆阳），兼知关右诸军事。在此期间，李渊广交天下豪杰，遭到炀帝的猜疑。恰好有诏书命李渊去炀帝巡行所到之地，李渊因病没有去。当时李渊的外甥女王氏在后宫，炀帝问王氏：“你的舅舅怎么迟迟不来？”王氏回答说李渊病了，炀帝又问：“病的要死了吗？”李渊知道以后，日益恐惧，因此无节制地饮酒、收受贿赂自污以求自保。
