649年，李世民死前想杀了李勣，对太子意味深长说:“我想在死前杀了李勣，因为这人难以捉透，你对他又没有什么恩惠，我怕你继位后不为你所用。”李治一听，伤心对着病重的李世民问:“父皇，就算英国公不为我所用，也没必要杀了他。” 李世民说:“那好吧，就贬他为外官，你即位后应当授给他仆射之职，他就蒙受了你的恩惠，必定为你尽死力。”因此下诏贬李勣为叠州都督，李勣预感不对，没有向家人辞别就启程赴任。 李勣本名徐世勣，李勣的父亲徐盖是一个富商，父子二人喜欢乐善好施，不管被救助的是谁他们都会帮助。 然而隋朝末年，天下义军纷纷而起，为此李勣和结拜好兄弟单雄信，前去投奔瓦岗寨的翟让，二人成为了翟让的贴身左右大将。后来，翟让觉得自己的才华和能力不如投奔他的李密，便把瓦岗寨的首领的位置让给了李密。 617年，李勣使用奇计，在洛水几次击败了王世充，李密封他为东海郡公。当时山东和河南因发大水而饥荒，隋朝又赈济不周，李勣就说:“天下大乱，本是为饥，如果我们攻破黎阳粮仓，大事可成矣。” 于是，李密便命李勣率五千精兵偷袭黎阳仓的守军，当天就被李勣攻破，随后开仓让百姓随便拿，不到十天，就招到兵士二十万。 同年，李密设宴杀翟让，为了成功杀死翟让，李密先支开了李勣和单雄信，然后以献弓为由将翟让砍死，单雄信却叩头求饶，李勣被侍卫砍伤，李密安抚说:“翟让对上无礼，只杀他一家人。”因而，将翟让所辖的交给李勣和单雄信统领。 第二年，李密被王世充击败，率众投降李渊，李勣跟随李宻归附唐朝，单雄信则投降王世充，李渊封李勣为黎阳总管和曹国公，并赐予他们父子二人李姓。不久后，李渊又命李勣统领河南和山东的军队抵抗王世充。 619年12月，窦建德攻破黎阳，生擒李神通和李渊的妹妹同安公主及魏征等人，李勣的父亲也在其中，而李勣见父亲被俘，只好向窦建德投降，窦建德以李盖为人质，让李勣继续守黎阳。 但是李勣并不想为窦建德效力，想要归顺李渊，可又担心父亲，便与长史郭孝恪决定为窦建德立功。李勣取得窦建德的信任后，劝他亲征河南，趁此将其杀死，结果窦建德因妻子刚产子而未能起程，李勣谋杀窦建德部下败露，带着几名骑兵和郭孝恪逃出再次归降李渊。 621年，王世充被李世民打败，开城投降，单雄信等被李世民下令斩首，而李勣向李世民求情，希望免单雄信一死，李世民没有答应，李勣便割下大腿一块肉，哭着给单雄信吃下说:“生死永诀，此肉与你一同入土了，你的儿子我会收养。”
