后来，张公谨在徐世勣、尉迟恭的引荐下，被秦王李世民召入秦王府。当时，李世民与太子李建成、齐王李元吉不和，向张公谨求取自保之策。张公谨的回答很合李世民的心意，从此逐渐受到器重。 626年（武德九年），李世民欲诛杀李建成、李元吉，但又犹豫不决，便命人占卜以测吉凶。此时，张公谨从外而入，将占卜的龟壳扔在地上，并道：“占卜是为决定疑难之事，现在事情并无疑难，还占卜什么？如果占卜的结果不吉，难道能够停止行动吗？”李世民深表赞同。 六月四日，张公谨与长孙无忌等九人埋伏在玄武门外，发动了玄武门之变。李建成、李元吉死后，其党羽冯立、薛万彻、谢叔方等人率军赶到玄武门，欲为太子和齐王报仇。张公谨勇力过人，独自关闭大门，将冯立等人挡在门外，冯立等人最终溃散。七月，张公谨升为左武侯将军，封定远郡公。
