中国的公务员录用考试制度建立于20世纪90年代初。其建立既渊源于古代的科举考试制度和民国时期的文官考试制度，又吸收了一些西方发达国家公务员制度的合理内核，同时也继承和发扬了新中国多年来形成的干部选拔制度的优良传统。公务员考试制度的建立，既是社会主义政治体制改革和市场经济体制改革的需要，也是社会文明进步的重要标志。国家公务员录用考试制度的考录范围不断扩大，层次不断提高，方法不断完善，它已成为中国改革干部人事制度的一种行之有效的人才选拔任用制度。
建国之初，选拔干部主要是沿用革命战争时期通过基层举荐的办法，不管其出身与学识，只要能经受革命的考验，都可以得到提拔。这种干部选拔制度既强调平等竞争的精神，又体现了国家政治高度集中统一的特点。1952年全国普通高校招生统一考试制度建立后，随着高等教育和统一高考逐渐步入正轨，国家开始按计划统一分配大中专毕业生以及转业军人为各级各类干部。考上了大学即端上了“铁饭碗”，成为终身制的国家干部。这一体制一直到20世纪90年代初，国家对高等教育实行变“双包”(国家包上学、包分配）为“双自”（自费上学、自主择业）的改革后才被打破。
这种举荐和统配干部的办法，是与当时高度集权的政治体制以及以行政管理和指令性指标为主的国民计划经济管理体制相适应的。其最大的好处是简便、易于宏观调控。但由于单纯强调服从组织分配，个人无法选择能够充分发挥自己专长的就业单位，学非所用、用非所学的人才浪费现象相当严重。加之实行人才单位所有制的人事制度，人才流动的机会极少，无法做到人尽其才，才尽其用。此外，这种将普通高校招生考试与国家后备干部的选拔考试合为一体的办法，使选拔干部的标准过于简单、方法过于呆板、视野过于狭窄，没有充分考虑行政管理工作的特殊性，造成选拔出来的部分干部不合格，而真正优秀的人才又很难脱颖而出的局面。
“teshu”时期，作为培养干部重要基地的大中专院校完全停止招生，干部选拔工作也陷于停顿状态。从1968年起，中央、地方各级人事部门陆续被撤销或被冻结，各项人事管理制度被废除，代之而起的是帮派林立、各自为政、任人唯亲、任人唯派的混乱局面。1972年，大部分高校开始恢复招生，但文化考试并没有恢复，而是采取“自愿报名、群众推荐、领导批准、学校复审”的招生办法，招收了一批工农兵学员。不仅所招生源大部分文化水平不合格，而且在校期间缺乏系统的专业学习。虽然这些工农兵学员毕业后，也同样作为国家干部被分配到各种组织和单位，充实了干部队伍，但其大多数文化素质却太低。此外，这一时期还出现了一种特殊的“以工代干”的干部录用制度，即各部门、各单位为了维持生产或工作的正常进行，挑选一批产业工人暂时到干部岗位上去工作。“以工代干”现象一直延续到1979年。这批“以工代干”人员，后来绝大多数都转为了正式的国家干部。
1978年，中共中央召开了党的十一届三中全会，确立了改革开放的重要方针，提出了改革政治、经济各项体制包括干部人事制度的任务。1979年，中共中央组织部发出《关于实行干部考核制度的意见》，表明国家开始重视到考核对于干部的选拔与任用的重要意义，1980年8月，中共中央政治局通过了邓小平同志关于《党和国家领导制度的改革》的重要讲话，明确指出：“要健全干部的选举、招考、任免、考核、弹劾、轮换制度，对各级各类领导干部(包括选举产生、委任、聘用的)职务的任期，以及离休、退休，要按照不同情况，作出适当的、明确的规定。”“随着建设事业的发展，还要制定各个行业提升干部和使用人才的新要求、新方法。将来很多职务、职称，只要考试合格，就应当录用或者授予。”邓小平的这一重要讲话，指明了干部人事制度改革的方向，并为公开考试录用人才的做法提供了理论依据，揭开了我国公务员考试制度的序幕。同年9月，银行系统率先采用考试录用办法招收干部。
1982年，国家劳动人事部制定了《吸收录用干部问题的若干规定》，正式推出了对选拔干部具有重大意义的改革措施，即对计划统配之外的社会成员开始实行公开招考，采取自愿报名、全面考试考核、择优录用的办法。1987年9月，个别省又率先在银行、税务、工商、政法系统实行公务员考试，使考录制度的实践有了进一步发展。同年10月召开的党的十三大，决定建立国家公务员制度。1988年3月，在全国人大七届一次会议通过的《政府工作报告》中再次强调：“今后各级政府录用公务员，要按照国家公务员条例的规定，通过考试择优选拔。”从而初步确立了考录制度的法律地位。与此同时，中央组织部、劳动人事部还联合下发了《关于政法、税务、工商行政部门和银行保险系统招收干部实行统一考试的通知》，进一步明确了考试在干部录用中的法定地位。
全国人大七届一次会议后，新组建了国家人事部，开始进行全面的人事制度改革，并着手制定《国家公务员条例》及其配套法规《国家公务员考试录用暂行规定》（后改名为《国家公务员录用暂行规定》)。1989年1月，国家人事部、中共中央组织部联合下发了《关于国家行政机关补充工作人员实行考试办法的通知》，规定从该年起，国家行政机关补充工作人员，都要贯彻公开、平等、竞争原则，通过考试考核，择优录用。自此，考试录用被正式列入行政机关补充干部的必不可少的程序之中，并在全国范围内普遍推广。据统计，1991年国务院的直属部委中，采用考试、考核办法择优录用的工作人员已占需要补充人员总数的77%。全国有24个省开展了考录工作。考试录用选拔了大批优秀人才充实干部队伍，这不仅拓宽了选调干部的渠道，而且开始破除了过去的“关系网”和“人情风”，在全国范围内引起了积极反响。国家统计局曾对1989年、1990年通过考录进人机关的部分干部进行跟踪调查，满意率高达96%。良好的基本素质极大地提高了政府的办事效率和行政管理水平，密切了党群和干群关系。
考录制度实践的成功推出，为实行国家公务员制度奠定了良好的基础。1992年3月，当时的国家人事部部长赵东宛指出，“目前推行公务员制度的条件已基本成熟，应当抓紧当前有利时机，加快推行公务员制度的步伐”。同时，提出了推行的初步设想。1992年3月21日，李总理在七届全国人大五次会议上所作的《政府二作报告》中进一步强调指出，“要制定机构改革和公务员制度的方案，并逐步实施”。1992年3-4月，国家人事部分别召开全国人事厅（局）长会议和全国地方考试录用工作会议，总结干部人事制度改革和考录制度建设的经验，部署从补员考录制度向公务员录用制度过渡的衔接工作。1993年3月八届全国人大一次会议决定结合机构改革，在定职能、定机构、定编制之后，立即在国务院各部门实行公务员制度。同年8月14日，国务院发布了李总理签署的《国家公务员暂行条例》，并在此基础上颁布了配套的《国家公务员录用暂行规定》，标志着我国公务员考试制度已进入全面实施阶段。
《暂行条例》的第四、五章与《暂行规定》，对国家公务员考录的管理机构、考试程序、考核内容及其结果使用、考核纪律等都作了详明的规定。根据这些规定，中央行政机关国家公务员招考由国务院人事部门负责组织，地方各级行政机关国家公务员考试由地方人民政府人事部门负责组织。其主要职责有：制定国家公务员考试年度计划；拟定报考简章；审查登记报考人员；设计考题方案，确定考题和考试的方式方法，组织录用考试；组织评卷；排列考试合格者名次，公布合格者名单；监督检查工作人员在考试中有无徇私舞弊等违法行为。考试内容着重考查应试者能否胜任将要担任的职务，既考应考者的专业知识，又考运用所学知识分析和解决问题的实际能力。被录用的国家公务员还要接受严格的考核，以定留用、晋升、奖励或辞退。
由于考试录用这种新的干部选任途径，除去了以往干部任用制度中的“察举征辟”色彩浓厚、身份与“关系”背景强烈等弊端，深受社会各界人士拥护。随着社会民众政治参与意识的增强和我国政治体制改革的深入，公务员考录制度也得到健康发展，不仅考试的科学性不断增强，而且考录范围不断扩大，已由最初的非领导干部岗位扩大到领导干部岗位的考录，由政府一般公务员的考录扩大到党政干部的考录。2000年国家人事部下文，要求对各级党组织的领导干部也实行考试录用制度。公务员录用考试已成为组建公务员队伍、实施公务员管理的关键一环。由此可见，公务员考录制度已成为中国政治体制改革的重要组成部分。
2004年12月25日《中华人民共和国公务员法（草案）》提交第十届全国人大常委会第十三次会议审议。2005年4月27日第十届全国人大常委会第十五次会议表决通过《中华人民共和国公务员法》，胡锦涛主席签署第35号主席令使其正式生效，此法自2006年1月1日正式施行。
2007年1月4日，中组部、人事部印发了《公务员考核规定（试行）》；2007年4月4日国务院发布《行政机关公务员处分条例》；2008年1月4日，中组部、人事部又出台了《公务员奖励规定（试行）》等等。这是加强公务员管理机制建设的重要举措，以后还将陆续出台多个管理规定与细则，使之与公务员法相配套，以便于将公务员法的各项制度细化，做到既有法可依，又有章可循。
从此中国现代公务员制度正式建立，中国公务员队伍管理缺乏人大立法的状况宣告结束。《国家公务员法》与以往的《国家公务员暂行条例》与《国家公务员暂行条例实施方案》相比较，其法律地位更高，相应的法律规定更明确，内在的法律体系更完整。它既借鉴了发达国家文官与公务员法的经验与教训，也体现了中国公务员管理的特点，尤其是与以往的干部人事制度相衔接，有些规定具有中国特色。它有不少新的亮点，比如，对领导类公务员因工作失职规定引咎辞职与责令辞职两种惩戒方式；对上级领导明显违法的命令，公务员可以拒绝执行；公务员的分类包括领导与非领导两类职务，以及3类专业分类；公务员应遵守16项纪律，不得兼职营利；公务员考核以工作实绩为重点；3类人员与外籍人士不得担任公务员等。
