李勣原姓徐，名世勣，字懋功，隋开皇十四年（594年），出生于曹州离狐（今山东菏泽东明县）一个富裕家庭，他的父亲乐善好施，常周济他人。隋朝末年，徐世勣随家迁居至滑州卫南客居卫南（今河南滑县东）。 大业七年（611年），山东、河南等地水旱瘟疫不断，百姓只能以树皮或泥土为食，隋炀帝却依旧征兵欲伐高句丽，朝廷内外对此多有不满，各地频发农民起义。同年，曹州济阴（今山东菏泽市曹县西北）一个善使长枪的法曹翟让因小过犯下死罪，逃亡瓦岗（今河南滑县南），设瓦岗寨反隋。十七岁的徐世勣与单雄信等也先后去投，跟随瓦岗军一起起义。徐世勣善谋略，曾向翟让建言，称瓦岗附近都是乡邻，不宜侵扰，而宋（今河南商丘）、郑（今河南郑州）两州远离家乡，且靠近御河，可以劫掠永济渠上的过往船只以养护军队。翟让采纳了他的建议后，瓦岗军在一年多时间内就发展至万余人，成为中原起义军主要队伍。
