李渊任命柴绍为右领军大都督府长史，率领大军浩浩荡荡从晋阳出征，柴绍又兼任马军总管

李渊任命柴绍为右领军大都督府长史，率领大军浩浩荡荡从晋阳出征，柴绍又兼任马军总管。大军行至霍邑（霍州），隋将宋老生据险死守，顽强抵抗。柴绍先行至城下，打探宋老生虚实，详查城内守军情况，回营后和众将领商议，既然宋老生逞匹夫之勇，也无谋略……那就等大军一到，趁他出城应战之时，先行捉拿即可。八月初三，柴绍诱敌出城，宋老生一战而败，李渊由此夺得霍邑，柴绍力战有功。 柴绍身先士卒，冲锋陷阵，率大军一路攻取临汾，绛郡（新绛县），升为右光禄大夫。 柴绍部队抵达潼关城下时，隋朝大将桑显和来袭击，孙华率精锐部队前来支援，柴绍率军自其后方掩袭，和唐军将领史大奈协同作战，成合击之势，击溃桑显和。之后，柴绍率领数百骑兵，前往华阴山与妻子（平阳公主）率领部队会合。当时柴绍赶赴太原，夫妇二人自长安分别，之后妻子李氏去到鄠县集结一众人马，举兵响应起义，然后派密使送信告知李渊，等到大军渡过黄河时，李渊特命柴绍去华阴山迎接妻子李氏。最后协同诸将领一起攻取隋都长安。 唐朝建立后，柴绍被封为左诩卫大将军，妻子李氏封为平阳公主，夫妇二人各自带领军队，开设幕府，驻扎在京城周围。