新中国成立初期，全国武装力量最高军事领导机构为1949年9月成立的中央人民政府人民革命军事委员会（简称中革军委，也称中央军委）。鉴于当时中共中央军事委员会主要成员都进入中革军委，中共中央军委主席、副主席分别担任中革军委主席、副主席，中革军委已代行中共中央军委职责，中共中央军委即行停止工作。
1954年9月，根据第一届全国人大第一次会议通过并颁布的《中华人民共和国宪法》，对国防领导体制进行了调整，取消了中央人民政府人民革命军事委员会；在国家体制中设立国防委员会，同时在国务院中设立国防部；撤销中国人民解放军总司令的设置。
1954年9月20日，第一届全国人民代表大会第一次会议通过《中华人民共和国宪法》。
国防委员会由主席、副主席和委员若干人组成。宪法第四十二条规定：中华人民共和国主席统率全国武装力量，担任国防委员会主席。国防委员会其他成员根据主席提名，由全国人民代表大会决定。
1954年10月8日，毛泽东主席在国防委员会第一次会议上的讲话中指出，“国防委员会今后的任务是:团结起来，训练我们的军队和人民，逐步建设一支近代化的革命军队。”“今天，国防委员会有各方面的人，具有各个时代经验的人，大家为爱国主义所鼓舞，为着一个共同的目标，这一点是很可宝贵的。在座许多人是老前辈，你（指程潜）当师长时，我还在当兵。我们有一条是好的，就是我们所做的事，使全体人民都知道。过去蒋介石有什么意见，人家要猜摸一番，过了一个时期就变了。现在对我们用不着猜摸，我们的方向就是人民的方向，这是载于宪法的。现在常常听到有人说要摸底，有什么底?宪法就是底。共产党的底就是发挥一切有用的因素，破坏阻碍的因素。有用的因素是建设性的力量，包括各种知识分子，旧军队出身的将军和士兵。共产党的将军们，很多也是从旧军队来的，像贺龙副主席就是当过湘西镇守使的。没有天生下来就是共产党人的。一个人初生下来并没有什么任务，母亲生儿子也并不是要他当军人，当将军，这是社会历史条件造成的。”
1954年10月18日参加国防委员会第一次全体会议的全体委员，第一排为主席、副主席
由于国防委员会是咨询和统一战线性质的组织，而不是全国武装力量的最高领导机构，1954年9月28日，为了加强党对军队的绝对领导，中共中央政治局作出《关于成立党的军事委员会的决议》，在中央政治局和书记处之下，成立中共中央军事委员会，领导中国人民解放军和其他武装力量。中央政治局、书记处和军事委员会有关军事工作的决定，可用军事委员会（简称军委）的名义由内部系统下达，其须公开发布的命令和指示，则用国务院或国防部的名义下达。中共中央军事委员会由毛泽东、朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、邓小平、罗荣桓、徐向前、聂荣臻、叶剑英等12人组成，毛泽东任主席，不设副主席（1959年后增设副主席），彭德怀主持军委日常工作。
国防委员会成立后，有些元帅参加重大活动就以国防委员会副主席的身份，如1955年11月,我军在辽东半岛举行三军联合抗登陆演习，国防委员会副主席叶剑英任总导演；首次实行军衔制时，1955年11月至12月，到各地出席授衔授勋典礼的元帅们是以国防委员会副主席的头衔参加的，而不是以军委或总部的名义，等等。
国防委员会副主席聂荣臻元帅在莫斯科为留苏中国军官授衔。
从1954年第一届全国人民代表大会到1965年第三届全国人民代表大会，国防委员会共成立三届。
1954年9月28日，在北京召开第一届全国人民代表大会第一次会议决定，设立中华人民共和国国防委员会。第一届国防委员会的组成：
主席：毛泽东
副主席：朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、邓小平、罗荣桓、徐向前、聂荣臻、叶剑英、程潜、张治中、傅作义、龙云，1958年免去龙云副主席职务。
委员：102人（略）
刘伯承的国防委员会副主席任命书
1959年4月28日，中华人民共和国第二届全国人民代表大会第一次会议决定，组成新的中华人民共和国国防委员会。第二届国防委员会的组成：
主席：刘少奇
副主席：彭德怀、林彪、刘伯承、贺龙、陈毅、邓小平、罗荣桓、徐向前、聂荣臻、叶剑英、程潜、 张治中、傅作义、卫立煌，1962年增补蔡廷锴为副主席。
委员：101人（略）
1959年8月1日,国防委员会副主席（左起）聂荣臻、贺龙、陈毅观看航空表演。
1965年1月4日，第三届全国人民代表大会第一次会议决定，组成新的中华人民共和国国防委员会。第三届国防委员会的组成：
主席：刘少奇
副主席：林彪、刘伯承、贺龙、陈毅、邓小平、徐向前、聂荣臻、叶剑英、罗瑞卿、程潜、张治中、傅作义、蔡廷锴
委员：106人
国防委员会规格很高，国家主席毛泽东、刘少奇先后任国防委员会主席；
历届国防委员会副主席都有十几人，除十位元帅和邓小平（也是中央军委委员）外，还有原国民党上将、著名起义将领程潜、张治中、傅作义、龙云、卫立煌（第二届）、蔡廷锴（第三届）等，罗瑞卿大将也担任过第三届国防委员会副主席，时任中央军委秘书长、解放军总参谋长，是十大将中唯一担任过国防委员会副主席的；
历届国防委员会都有一百零几人，委员中，除了十位大将、五十一位上将外，还有三十几位中将、几位少将和一位大校（刘善本，1960年晋升少将），也有未授衔的我军高级将领李先念、滕代远、程子华、周保中、冯白驹等，以及著名起义将领和爱国将领，如唐生智、鹿钟麟、陈绍宽、刘文辉、邓锡侯、于学忠、马鸿宾、高树勋、邓宝珊、卢汉、黄琪翔、郑洞国、侯镜如、刘斐等。
1962年，周恩来与国防委员会副主席张治中(左一)、傅作义(左三)以及屈武(左四)。
一些爱国将领、民主人士去世后，讣告和悼词中就冠以国防委员会副主席或委员的职务。
“文化大革命”开始后，国家主席刘少奇和邓小平等被打倒，老帅们和许多民主人士也受到冲击，国防委员会停止活动。1975年1月，第四届全国人民代表大会第一次会议修改通过的《中华人民共和国宪法》，不再有关于设立国防委员会的规定，国防委员会随即撤销。
