李渊成为太上皇以后，仍居于太极宫，但已不再预闻国事。 贞观三年（629年）四月，李渊从太极宫迁出，搬到了大安宫（一作太安宫）。 在大安宫生活期间，李渊除了参加李世民举行的一些宴会外，几乎不曾离开过大安宫。李世民经常到九成宫（位于今陕西麟游）避暑，李渊也不愿意出行。贞观八年（634年）三月，李渊在太极宫两仪殿宴请西突厥使者。十月，李世民决定在宫城的东北方向营建永安宫，作为太上皇的“清暑之所”（第二年正月改名大明宫，数月后李渊病死，大明宫停止建设，直到高宗之世才渐成规模）。同年十二月，李渊与李世民共同出席在长安城西举行的检阅军队活动，亲自慰劳将士而还 。随后在未央宫设宴，召集文武群臣庆祝。 自贞观八年（634年）入秋以来，李渊感染风疾 ，到贞观九年五月六日（635年6月25日）已然病危。他在遗言中说：“已殡葬后，皇帝应在别处临朝掌管军国大事。丧服的轻重，完全按照汉朝的制度，日夜守丧。园陵的修建，务必节俭。”同日，李渊在大安宫的垂拱前殿驾崩，享年七十岁。庙号高祖，谥号太武皇帝 （一作大武皇帝）。同年十月，安葬于献陵（今陕西三原），太穆皇后窦氏祔葬。 唐高宗上元元年（674年）八月，改谥李渊为神尧皇帝。唐玄宗天宝十三载（754年）二月，定谥为神尧大圣大光孝皇帝。
