张公谨早年曾效力于王世充，任洧州长史。618年（武德元年），张公谨与洧州刺史崔枢

张公谨早年曾效力于王世充，任洧州长史。618年（武德元年），张公谨与洧州刺史崔枢投降唐朝，被任命为邹州别驾，累迁至右武侯长史。 621年（武德四年），徐圆朗反叛，攻陷楚丘（今河南滑县），欲围攻虞城。河南道安抚大使任瑰命崔枢、张公谨率领各州豪强作质子的子弟一百多人去守卫虞城。副使柳浚道：“崔枢和张公谨原来都是王世充的部下，各州人质的父兄也都反叛了，这一去恐怕会叛变。”任瑰没有理会。在张公谨二人的坚守下，叛军难以攻破虞城，撤军而去。