构建生成式AI产品的思考

✅10% -> 0.01% 错误率，这中间都经历了什么？ 📍1、先看整体设计 📍2、团队创造力 调优‘路由’和‘检索’感觉相对自然，因为它们具有分类的性质：构建了开发集，并通过提示工程和内部模型对其进行了优化。而生成部分则是另一回事。它遵循 80/20 规则；达到 80% 的效果很快，但最后的 20% 花费了大部分的工作。当产品期望 99% 以上的回答都应该是高质量时，即使使用最先进的模型，也需要大量的工作和创造力来提升每一个百分点的质量 📍3、整体的工作思路： 1️⃣系统工作流程 选择合适的 AI Agent 收集信息 制作响应 2⃣️开发过程中顺利的部分 整体设计：采用 RAG 模式 开发速度：通过独立 Agent 并行开发 组织结构：小型"横向"工程团队和多个"纵向"工程团队 3⃣️遇到的挑战 评估：制定指南、扩展注释和自动评估 调用内部 API：开发"技能"包装器来使 API 更适合LLM 保持一致的质量：提高准确率到95%以上非常困难，克服幻觉检测和质量提升的困难 容量和延迟：平衡质量、延迟、吞吐量和成本 4⃣️正在进行的工作 开发端到端自动评估管道 统一技能注册表 微调 LLM 优化部署基础设施和减少 token 浪费