隋大业七年（公元611年），隋炀帝欲征兵攻打高丽，窦建德应召入伍，因其勇敢被委任为二百人长。同乡中有个叫孙安祖的因不愿入伍而惹怒县令，被处以鞭刑，孙安祖大怒，杀死县令后前往投奔窦建德，窦建德暗中帮助孙安祖逃走，两人因此相识。 后来山东闹饥荒，窦建德认为男子汉大丈夫应当建功立业，便劝说孙安祖和自己一同躲在高鸡泊(今河北故城西南)，通过抢劫积攒钱财招兵买马，等待时局动荡再出来干出一番惊天动地的大事业。孙安祖同意入伙后，窦建德聚集了几百个逃避征兵和没有家产的人，占据高鸡泊(今河北故城西南)做草寇，孙安祖自称将军，号“摸羊公”。另外有蓨县人高士达也在清河郡一带召集了一千多人起义，鄃县人张金称召集上百人起义，活动在黄河的险要水域。 当时漳南县境内有多股盗匪活动，沿路烧杀抢夺，唯独没有骚扰窦建德的家乡。郡县官府以窦建德与盗匪勾结为由拘捕并杀害其全家，窦建德随即率领两百名手下投靠高士达起义队伍。高士达自称东海公，任命窦建德为司兵。孙安祖被张金称杀害后，窦建德接管其数千名部下，所率人马壮大到一万多人，仍然活动在高鸡泊一带。窦建德能拿出身上的所有财物接济别人，跟手下士卒同甘共苦，因此士兵们都愿为他拼命。
