据英国媒体路透社（Reuters）8月30日报道，美国商务部国家标准与技术研究院（ National Institute of Standards and Technology，NIST）旗下的美国人工智能安全研究所（U.S. Artificial Intelligence Safety Institute，USAISI）29日宣布，已与人工智能初创公司OpenAI和Anthropic签署协议，正式开启人工智能安全研究、测试与评估方面的合作。

NIST在其官网发布的新闻中表示，美国政府、OpenAI和Anthropic之间的协议“将使如何评估能力和安全风险以及减轻这些风险的方法的合作研究成为可能”。根据协议，两家公司都同意让美国人工智能安全研究所在他们向公众发布新模型之前先进行测试。

NIST官网上关于协议签署的新闻报道/NIST官网截图美国人工智能安全研究所所长伊丽莎白·凯莉（Elizabeth Kelly）表示“安全对于推动突破性技术创新至关重要”“这些协议只是一个开始，却是一个重要的里程碑，标志着我们致力于帮助（它们）负责任地管理AI的未来。”OpenAI与Anthropic

OpenAI和Anthropic是两家目前估值最高的人工智能初创公司。据美国消费者新闻与商业频道（CNBC）报道，就在该消息发布的前一天，OpenAI正在进行一轮融资谈判，预计该公司的估值将超过1000亿美元；而由OpenAI前研究高管和员工创建的Anthropic最近的估值也有184亿美元。值得一提的是，尽管两家为初创公司，但背后有大公司的手笔：亚马逊（Amazon）是Anthropic的主要投资者，而OpenAI则得到了微软（Microsoft）的大力支持。对于此次合作，OpenAI的首席执行官萨姆·奥尔特曼（Sam Altman）在社交媒体平台X上表示:“我们很高兴与美国人工智能安全研究所达成协议，对我们未来的模型进行预发布测试。”

萨姆·奥尔特曼在X上的发帖/社交媒体平台X截图Anthropic的联合创始人杰克·克拉克（Jack Clark）也表示，该公司“与美国人工智能安全研究所的合作，利用他们广泛的专业知识，在广泛部署之前严格测试我们的模型”，并“加强我们识别和减轻风险的能力，推动负责任的人工智能发展”。这是AI业界首次达成此类协议，正值业内人员对人工智能的技术安全和道德伦理表示担忧之际。OpenAI的现任和前任员工在今年6月4日发表了一封公开信，描述了人工智能的快速发展以及缺乏监督和告密者保护的潜在问题。他们写道:“人工智能公司有强大的财务动机来避免有效的监督，我们认为现有的公司治理结构不足以改变这一点。”他们进一步补充道，人工智能公司“目前只有较弱的义务与政府分享部分信息，而与公民社会没有任何义务”，而且不能仅仅“依赖他们自愿分享信息”。在这封公开信发表几天后，美国联邦贸易委员会（Federal Trade Commission ，FTC）和美国司法部（Department of Justice）对OpenAI、微软（Microsoft）和英伟达（ NVIDIA ）展开了反垄断调查。美国对于AI安全的监管

美国国家标准与技术研究院（NIST）隶属于美国商务部，成立于1901年。2023年11月1日，美国商务部根据美国政府关于“安全、可靠和可信地开发和使用人工智能”的行政命令，在NIST内成立了美国人工智能安全研究所（USAISI），以推进人工智能安全科学并解决先进人工智能系统带来的风险，其任务是制定测试、评估及指导。此外，美国AI安全研究所还将与英国的AI安全研究所合作，他们将向OpenAI和Anthropic提供“关于他们模型的潜在安全改进”的反馈。今年3月，美国白宫表示，要求使用人工智能的美国联邦机构于2024年12月1日之前，“在以可能影响美国人权利或安全的方式使用人工智能时，将被要求实施具体的保障措施”，包括详细的公开披露，以便公众了解政府如何以及何时使用人工智能。美国管理和预算办公室（The Office of Management and Budget）向联邦机构发布了一项指令，以监测、评估和测试人工智能对“公众的影响，减轻算法歧视的风险，并向公众提供政府如何使用人工智能的透明度。”机构还必须进行风险评估，并设置操作和治理指标。白宫要求政府机构发布 AI用例清单，报告有关 AI使用情况的指标，并在不构成风险的情况下发布政府拥有的AI代码、模型和数据。

Anthropic界面/外媒报道截图此前，在2023年10月25日，美国总统乔·拜登 （Joe Biden）就曾发布一项行政命令，命令援引了美国《国防生产法》（Defense Production Act），要求对美国国家安全、经济、公共卫生或安全构成风险的 AI系统开发人员在公开发布之前与美国政府分享安全测试结果，旨在降低人工智能 （AI） 对消费者、工人、少数群体和国家安全构成的风险。就在该合作协议发布之际，加州也正准备通过美国国内的首批AI安全法案之一，加州的立法者表示，最快将于本周就一项法案进行投票，该法案将广泛监管人工智能在加州的开发和部署方式。该法案最具争议的方面之一是要求AI公司内置“终止开关”，以阻止模型引入“对公共安全和安保的新威胁”，尤其是在模型“在有限的人工监督、干预或监督下”行事时。