李渊七岁时，其父亲李昞去世，李渊袭封为唐国公。等到他成年后，为人洒脱，性格开朗，待人宽容，无论贵贱之人都得其欢心。 杨坚成为周静帝的大丞相之后，归还李渊本姓。开皇元年（581年），杨坚建立隋朝，即隋文帝。李渊入隋后，担任千牛备身（皇帝的禁卫武官）。由于独孤皇后、隋文帝的亲近器重，他在此期间历任谯（今安徽亳州）、岐（今陕西凤翔）、陇（今陕西陇县）三州刺史。 隋炀帝杨广即位之初，李渊先后做了荥阳（今河南荥阳）、楼烦（今山西静乐）两个郡的太守，后来又被征入朝任殿内少监。 在这段时期内李渊的具体事迹，史书中并没有太多记载。
