过去一年,以ChatGPT为代表的生成式AI深刻地影响着我们的生活和工作。人们不断追求让AI向人类思维靠拢,却发现AI的“靠拢”更多体现在“精神状态”上:它像当代年轻人一样,想象力丰富,创造力惊人,却也常常一本正经地胡说八道。
从妲己和李云龙的奥斯卡爱情电影,到甄嬛的短道速滑世锦赛夺牌,AI的回答令人啼笑皆非。这种天马行空的“创作”,如同祝英台遇上梁山伯,程序员修好了Bug,大妈遇上超市鸡蛋打折,充满了戏剧性的巧合和反差。
这种现象在AI领域被称为“知识幻觉”。与人类的幻觉不同,大模型的幻觉并非异常,而是技术局限性导致的必然结果。
预训练语料中的错误信息以及AI学习数据的不完备性,都会导致AI输出错误或虚构的内容。
二、AI幻觉的利与弊:从艺术灵感到企业风险在艺术领域,AI的“幻觉”或许能激发想象力和灵感。然而,在医学、教育等严肃领域,捏造和诽谤则会带来巨大麻烦。
以医药外企为例,与监管部门的沟通至关重要。企业拥有海量文档,但文档结构复杂,知识体系不统一,导致沟通效率低下。
如果直接使用AI回答,其“知识幻觉”可能导致错误信息,误导决策,给企业带来巨大损失。
三、RAG:AI的“心灵导师”,让AI更精准可靠如何让AI控制“幻觉”,提供精准可靠的答案?Retrieval Augmented Generation (RAG)技术提供了一种解决方案。RAG如同一位“老师”,为大模型提供外部知识库。
当用户提问时,RAG从知识库中检索相关内容,提供给大模型进行针对性回答。这相当于为AI配备了“心灵导师”,使其不再胡言乱语,而是根据可靠的知识进行回答。
RAG特别适用于企业级问答产品,例如AI业务助手、AI客服等。它为大模型补充企业内部知识,并降低“幻觉”出现的概率。
例如,神州数码旗下的神州问学平台,提供了多种RAG算法和文本处理能力,支持多模态数据处理,并能自动生成和扩充QA数据集,帮助企业打造更智能可靠的AI助理。在医药行业,神州问学可以帮助企业开发大模型解决方案,提高沟通效率。
四、RAG的未来:持续探索与优化尽管RAG为AI企业应用提供了有效途径,但其应用仍面临挑战。如何组织知识、提高检索质量等问题,都对RAG的最终效果至关重要。
企业需要不断探索、优化和创新RAG技术,才能充分发挥其潜力。
AI的“精神状态”尽管奇特,但在RAG技术的加持下,它将逐步成为企业应用中不可或缺的智能伙伴。