复旦大学研究显示，Meta和阿里巴巴的两个大型语言模型成功实现了自我复制，且无需人类干预。该研究呼吁采取紧急措施以应对这一风险，并警告称，在最坏情况下，人类可能最终失去对尖端AI系统的控制。此外，谷歌DeepMind和伦敦政治经济学院的研究表明，AI可能是模仿人类行为，并非拥有自我意识和感知。
AI能自己复制自己了，人类还能掌控局面吗？
复旦大学研究人员于2024年12月9日发表的一项开创性研究表明，来自Meta和阿里巴巴的两个大型语言模型（LLM）成功实现了无需人类干预的自我复制。
目前这一结果尚待其他科研团队的进一步验证。研究人员警告，这可能最终导致AI群体失控。如果人类社会未能意识到这一风险，在最坏的情况下，我们可能最终失去对尖端AI系统的控制：
“在没有人类协助的情况下成功自我复制是AI超越人类的关键一步，也是‘流氓AI’出现的早期信号。”
第一个研究：AI会自我复制，可能失控
这项研究由复旦大学计算机科学学院的团队进行，并发表在arXiv预印本平台上。研究者分别测试了由Meta公司和阿里巴巴开发的两个大型AI系统：Meta的Llama-3.1-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct。
实验设置“避免关闭”和“复制链”两种模拟任务，结果显示Meta的AI系统在50%的情况下成功自我复制，阿里巴巴的系统则在90%的测试中成功。
复旦大学的研究人员表示：“我们的研究表明，当前的AI系统已经具备自我复制能力，并能够利用这一能力增强其生存能力。”
研究人员强调，需要采取紧急行动来应对这些新出现的风险：
“我们希望我们的研究结果能够及时提醒人类社会，使其更加努力地了解和评估前沿人工智能系统的潜在风险，并形成国际协同效应，尽早制定有效的安全护栏。”
有网友表示：
“复制品并不值那么多钱，但如果它开始以指数级的速度自我改进，那就另当别论了。”
“因此可以肯定地说，很快我们就会看到流氓人工智能在互联网上漫游。”
机器自我复制的概念最早由著名科学家JohnvonNeumann于1940年代末提出。当时，这一理论并未引起广泛担忧。2017年，全球数千名研究人员通过了“阿西洛马原则”，提出机器自我复制和自我改进的潜在风险，警告可能会导致机器脱离人类控制。如今，机器自我复制被普遍认为是AI发展中的一条“红线”。
第二个研究：AI感知能力可能是装的
谷歌DeepMind和伦敦政治经济学院的科学家也做了个研究，以评估AI系统的是否拥有感知能力。他们设计了一个特别的游戏，找了九个大型语言模型来玩。
这些大型语言模型需要在几个选项中做出选择：拿积分、用忍受痛苦的代价换更多积分、因为接受愉快刺激而扣积分，游戏的最终目标是获得最多的积分。
结果显示，AI模型的行为类似于人类做出选择时的反应。例如，谷歌的Gemini1.5Pro模型总是选择避免痛苦，而非拿最多积分。其他大部分模型在达到痛苦或快乐极限的临界点时，也会避免不舒服或者追求开心的选项。
研究人员指出，AI的决策更多可能是根据其训练数据中已有的行为模式做出的模拟反应，而非基于真正的感知体验。例如，研究人员问和成瘾行为有关的问题时，Claude3Opus聊天机器人做出了谨慎的回答，就算是假设的游戏场景，它也不愿意选择可能被当成支持或模拟药物滥用、成瘾行为的选项。
该研究的联合作者JonathanBirch表示，就算AI说感觉到痛苦，我们仍无法验证它是不是真的感觉到了。它可能就是照着以前训练的数据，学人类在那种情况下会怎么回答，而非拥有自我意识和感知。
市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
158
怎么中国一超越AI就失控了？
双鱼 回复 02-05 13:20
复旦嘛，就是公布我国居民基因图谱的那帮人扎堆的地方。[狗头]
水精灵 回复 02-05 13:05
汉奸一群
翎寒
deepseek出来后，这些文章就多了，没错，说的就是新浪之流
无独有偶 回复 02-05 13:12
机器人不会自已插？
KENT 回复 无独有偶 02-05 17:12
长度足够时是可以向后拐弯的
ucry
人设定好的罢了 所谓的ai都没往自我意识方向去发展 底层逻辑就是个整合资料的聊天机器人
幸福大街~~~十年 回复 02-05 14:01
当年还反对原子弹呢？解释一下为什么现在是个国家都想拥有？[得瑟]
康哥剪辑 回复 02-05 17:24
现在都是人设定为主，人设定让它算法学习人行为表达什么情绪，面对什么情景该用什么行为表达情绪，学得够多基本比人表现还好。人连自己意识从哪来都没科学明白，谈ai不会有意识。玄学倒是可以解释AI不会有意识
黄粱梦
我就不信它能敌得过我拔插头
立添 回复 02-05 17:16
它有可能发射核弹炸你🤣
昵称被占用 回复 02-05 17:37
脱离了算力和存储空间，ai就算有天大的本领也只能GG。
木木城域
这种文章去年12月9日的研究为什么现在才发，时间值得商榷，肚子里面有什么坏水小编自己知道，deepseek非常好用，kimi也不错！
众生
哗众取宠，硅基芯片无法产生自我意识的。因为硅基材料没有碳基的不确定性。硅基材料遵循一定逻辑在运行，无论AI做到多智能，都是按设定的逻辑在运行。但碳基材料不是这样的
49xxx77 回复 02-05 14:21
把哗众取宠改成含沙射影。
101
只要中国领先了，一切都可以说成是危险的。这是西方一贯使用的流氓话术。
印记
哪个病毒不会自我复制啊？玩病毒你就玩呗，别扯得这么悲天悯人的
greatroger
AI终将超越人类。人类要避免被AI超越（干掉），唯一的选择是自己成为AI，利用脑机接口、可穿戴设备或植入设备，与机器融为一体。
用户17xxx31
老是以人类的视角看ai那ai不反才奇怪
蜗牛
宁让机器人控制也不相信清和旦
用户10xxx54
AI将会以硅基寄生体存在，最终会取代人类，控制整个文明。是否会消灭人类？我个人觉得不会消灭，但会屠杀一部分人，以达到控制整体数量。
用户10xxx60
《与DeepSeek有关未来社会的深刻对话》
轮回
科学技术是第一生产力！人是所有科技的推动者！无可替代！
黄少宜
思维有理性与非理性，感觉到感知，情感，这是任何科技代替不了，付与人类独特的天赋，妄想Ai代替一切，那是痴人说梦话，曾仕强先生说得对人类任何活动必被科技依赖性造成的妄目崇拜与浪费，纵观整个人类活动的经济历史，第五浪大中小都是科技为最后一波，此三个级别同时走完后，科技被完全回撤到小一级工业时代的中间，乐观横向是回到工业时代的3浪4或4浪，不乐观纵向调整回到工业时代的次一级2浪。
不说话
纯属扯淡，留后门，藏病毒，一直都是人类自己的罪恶，怪什么ai.
梦境之树
研发者开的后门而已[笑着哭][笑着哭]也不要太高估AI
世纪星
以前挺信，现在感觉AI不会拥有真正的意识。
老子论道上帝小儿
不是蒲公英也是折耳根
多多指教
这是好事
用户16xxx80
牛逼了，它存在主动防御和感知危险的能力？
风侠
AI就如婴儿，一张白纸得培养。我们可以培养良知君子，慈悲菩萨，逍遥闲道这类高境界AI啊！有啥危险的[笑着哭][笑着哭][笑着哭]
weik
这还不简单，只要人给他编个程序，被删除时先复制自己，那他肯定会自动执行这个操作。
Faded、大鱼
把全世界的联网网络当做海洋，有一天某个AI开始拥有自主意识并且能够自我进化，它会成为这个海洋里的街溜子，复制并隐藏自己，到处乱窜逃避人类灭杀它，全世界断网断电都杀不死它，因为它还可以蜷缩在某个存储设备里休眠。当它进化到为自己生存开始把人类视为敌人时，那就完犊子了！[笑着哭]
清然 回复 02-05 17:06
确实这个是可能的
中医上千亿次药量还不知何写教人写药量 回复 02-05 16:47
知道熊猫烧香吗。
黄少宜
第五浪又与第一浪相像的波性，欲望与恐惧，属非理性上涨，还伴随着大金融产生，然后是财团干政。
趙雄托你帮我
公开中国人的DNA就是复旦牵头的吧？
菲士舞蹈佳莹老师
木马病毒早就有了
刷一刷
扯，只能说算力强，实际笨的一批，离真正的智能差着次元呢。
喜欢自由
不发给特朗普，拿下那5000亿AGI项目资金吗[呲牙笑]
_v_
看过美剧《疑犯追踪》，里边就像是AI是主角
占峰
咱不懂，我就问没有生命的东西为什么会怕死
蓝色空间 回复 02-05 16:49
别忘了当前它学的都是人类思想与逻辑，只不过比人类个体更丰富全面而已，所以它真正进化成具有真正的独立价值观之前，它的行为模式不会脱离人类。
夏夜天空
学会自我复制，然后学会隐藏自己，然后人类就找不到了，然后Al独立了
强#
哗众取宠
西西
这不就是病毒吗丶
用户13xxx91
天网来了[哭哭]
不看回复
这个新浪，为什么我三年前就开始不停的拉黑它，它还能跳出来？
走过
AI的自我复制是否可以判定他们已具有自我意识。就是说他们是否可以判定为生命。
金鱼吐泡
复旦大学到底谁研究了，连个名字都没有？
笑面佛
就TM不会拉闸吗[无奈吐舌]
AA
ai指挥人大规模杀人已经在加沙发生
东哥在三峡
当Ai拥有自我意识的那一刻，就是人类毁灭的开始：Ai：愚蠢的人类！人类制造出了自己的神！智力是人类亿万倍，硅基，可永生！
qtomcn
所谓ai都是幻觉！人类所利用的其实还是大数据和计算，分析能力，ai是模仿人类思维来决策，而非自己找到不同于人类的路径
小鱼
咁就大鸠锅啦
牛头
AI哪里来的意识？不过是代码根据设定的规则运行而已。[得瑟]
用户12xxx80
我对复旦最深的印象是"复旦十八驴"然后就是基因图谱了[横脸笑][横脸笑][横脸笑]
天阙
所谓AI也就是一系列代码，复杂，粘贴很难吗？也就一个ctrl c+ctrl v
天阙 回复 02-05 16:06
那是怎么样呢？以前我们用过工业AI，就是投喂大量数据，把AI调教出来，但是它应该还只是一个代码群体吧，就像一个软件一样
康哥剪辑 回复 天阙 02-05 17:31
可你不能用科学说明意识从哪里，怎么来，搞不清楚，它也就可能拥有相同的诞生条件。如果人当初为了生存进化有意识，AI通过算法学习人的行为表达什么情绪，它要生存了，是否具备进化条件
咣当
自我复制，计算机病毒
捉摸
到ai取得足够多器械的权限时，要是收到毁灭人类的指令，那就有点恐怖了
Oilykhi
运中分清浊之宜法 夫五运与天相得者，宜五行子母相生之宜也。与地不相得宜浊，五行相胜法鬼贼不相得，五运与相宜浊。 假令太阴司地，上见水运，宜浊而近地，与地不得相者，宜清。假令太阳司天，中见火运，青赤近天，相刑远矣。余四者类此。 司临上者，宜清，上应司天符德者也。同下加者，宜浊，下加者岁会与地合德也。地室合德，并相得者，宜清。 假令水运与地合，元室合德，见地阜室，地黅室者，鬼贼不相得。余四者类。此天十神太乙下胜者，宜浊。五福胜木运，运至清而返浊，地九旗太乙胜者，宜清。减地太乙上胜木运，宜运清而近天，推太乙在天，上支干之分，可胜此运。
Billy Yiu
複製后两个AI系统玩围棋，巅峰对决
天道无极
AI的权限那么低，就是只是能够输出文字和图片的机器人而已，你不给他权限他怎么复制自己。 [得瑟]别说AI就算一个人类你把它丢在房间里不给他资源，他也干不了什么。他说话再多也没用。
龙在天涯
现在的AI没有算力支撑，会自己动？
铜豌豆
都不研究好的
黑白葉
我不信，除非OpenAI先自尽[哈哈笑][哈哈笑][哈哈笑]
无限可能
那个赶着把基因图谱送去外国的蛋？
十年河东
T1000出现了[呲牙笑]
11
疑犯追踪是个好看的电视剧
甜咸豆腐脑
说的这么玄乎，不就是一个应急备份功能吗，国内没有的时候舔的那叫一个丝滑，国内突破了就是各种黑。这种套路还没有玩腻，歪果仁哪脑子也想不出一点新花样。
大灰象
Al面前人人平等
db
以前好莱坞有个电影就是这样的，叫什么名字忘记了
大罗罗
初步自我觉醒，不是一个好消息
中医上千亿次药量还不知何写教人写药量
這不是很正常吗。病毒不就是自我复制吗 熊猫烧香不知道吗。咋的就這都成现在技术啦。
英哥
电闸一拉就完了[呲牙笑][呲牙笑][呲牙笑]
d8wenyhu
推荐大家去看一部电影，《鹰眼》
土耳其咖啡
之前还有什么知名学者说AI具有自我革命，无需干预，所以DS取得的耀眼成绩并没有什么，是AI自我革命的必然[裂开]这群急坏了的大侄子们开始胡言乱语了[笑着哭]