武德二年（619年），张士贵击败劫掠陕州的贼首苏经及其部属后，被提为马军总管。随后，张士贵乘胜进击陆浑（今河南汝阳西）、经略熊州（今河南宜阳西），并以少胜多击败王世充所统领的五万大军，因而被封为新野县开国公。不久后，张士贵随秦王李世民反击刘武周，刘武周骁将宋金刚与唐军相持了两个多月，至武德三年（620年）大破宋金刚并消灭刘武周势力，张士贵在此期间击败虞州守将何小董、俘获尉迟敬德等，战功卓越。 武德三年（620年）七月，李世民领军进攻盘踞东都的王世充势力，张士贵负责督办军储。至次年击败窦建德援军、迫降王世充期间，张士贵还参加了阻击窦建德、王行本援军等军事行动，其战功位列众军之首，李渊设宴款待张士贵，任命其为虢州刺史，并说“欲卿衣锦昼游耳”。
