6月28日，稀土掘金技术社区主办的第四届稀土开发者大会（XDC 2024）盛大开幕。五位技术嘉宾围绕“代码不止掘金不停”主题，分享了开源生态、新技术发现及应对技术变革的策略，期望与开发者们共同探寻前行方向。

来自英特尔公司副总裁、英特尔中国软件与先进技术事业部总经理李映带来了主题《开放生态，赋能创新：英特尔如何通过开源开放推动GenAI 产业生态繁荣》。会上，他强调英特尔公司通过技术趋势引领和开源社区建设，推动社区繁荣，同时在硬件支持和创新项目培育方面发挥着重要作用。英特尔的技术合作释放了硬件算力，OS优化快速部署，显著提升了性能，尤其是在veLinux操作系统上的应用性能。通过社区治理和创新项目如Jeddak数据安全沙箱、火山引擎云服务资源管理等，展示了硬件级安全方案和资源管理的重要性。英特尔还推动了AI创新应用在多媒体内容生成、教育等领域的发展。

展望2024年，英特尔计划通过开放生态系统解锁企业人工智能，推动异构计算AI加速框架，与Linux Foundation等合作伙伴共同构建开放、标准的多架构加速计算生态系统。英特尔中国将继续加强全球开源社区合作，加速技术应用创新，推动产业落地，释放底层算力，实现AI的无处不在。

上图：英特尔公司副总裁、英特尔中国软件与先进技术事业部总经理李映

Google Cloud亚太区解决方案副总裁 Moe Abdula带来了《Beyond the Hype: Trends, Best Practices, and GenAI Adoption with Google Cloud》主题演讲。他深入剖析了生成式AI对现实世界的深远影响，其中特别关注了模型性能的同质化趋势，并对多模态AI市场的增长进行了预测。此外，Abdula还介绍了Google Cloud的AI生态系统，包括其分层的AI平台以及针对AI开发的通用生命周期管理。他详细说明了如何通过精确的评估和细致的微调来优化模型性能，以确保其在各种应用场景中的高效性和准确性。Abdula还探讨了边缘计算在加速数字化转型中的关键作用，并提出了混合服务解决方案以及Vertex AI平台的能力，强调了这些工具和技术在提升AI应用效率方面的潜力。最后，他强调了评估在生成式AI开发过程中至关重要。

上图：Google Cloud亚太区解决方案副总裁 Moe Abdula

字节跳动Developer AI负责人 朱元硕带来《AI Coding 工具的过去、现在和未来》的主题演讲。他首先回顾了Code Copilot等AI编程辅助工具近二十年的发展历程，并明确指出，在当前的技术生态中，代码补全已成为一项极具普惠性的技术，其成功地将技术深度与产品实用性完美结合。他进一步阐述了尽管自然语言编程和Design2Code等前沿技术展示了巨大的潜力，但目前它们仍处于发展阶段，尚未达到成熟应用的水平。他也坚信，随着技术的不断进步，未来AI编程工具将展现出更加卓越的性能和广泛的应用前景。在展望未来时，朱元硕预测，AI编程工具将引入预测下一个动作的功能，使程序员能够更准确地预见代码执行的流程，从而提高编程效率。此外，他还提到了AI Bugfix技术，这种技术有望帮助程序员更加高效、准确地定位和修复代码中的错误，减少调试时间，提高代码质量。

朱元硕认为，AI Coding工具的发展不会取代程序员，而是将催生出能够利用AI辅助工具完成高难度任务的超级程序员。在演讲的最后，他介绍了字节跳动旗下的豆包MarsCode这一持续进化的AI编程工具。这款工具已经推出了Beta版本的预测下一个动作和AI Bugfix功能，为程序员提供了更加强大的支持。他相信，这些功能的引入将为程序员带来更加高效、便捷的编程体验，同时也为AI编程工具的未来发展描绘了一幅充满希望的图景。

上图：字节跳动Developer AI负责人 朱元硕

硅基流动的联合创始人、一流科技创始人袁进辉在主题演讲《大模型部署成本降低10000倍之路》中，深入剖析了降低大模型部署成本的策略与路径。他首先敏锐地指出，在AI应用的迅猛发展中，推理算力需求将显著超越训练算力需求，因此降低推理成本对于AI应用的广泛普及至关重要。通过对Nvidia DGX H100等硬件的成本构成进行详细分析，袁进辉揭示了芯片利润空间的现状，并进而提出了一系列成本降低策略。这些策略不仅涵盖了提升软件性能、优化内存访问、采用专用芯片等硬件层面的优化，还包括了软件层面的批处理、模型量化、缓存策略、注意力机制优化以及并行拓扑选择等技术手段。在模型层面，袁进辉讨论了如Mixture of Experts和模型路由技术等先进方法，这些技术能够有效提升模型的效率和性能，进而降低推理成本。同时，他还从云计算层次出发，探讨了如何利用潮汐效应和供应链管理来优化资源使用，降低总体成本。最后，袁进辉通过自建与租赁GPU服务器的总拥有成本（TCO）分析，生动地展示了如何在实际操作中实现大模型部署成本的显著降低。

上图：硅基流动的联合创始人、一流科技创始人 袁进辉

Head of Developer Relations Sophia Yang带来的演讲主题是《Building with Mistral》。她详细回顾了Mistral模型的发展历程和重要里程碑。自去年九月发布首个开源模型以来，Mistral在短短一年内迅速扩展其产品线，连续推出了包括两个企业级模型在内的共六个模型。特别值得一提的是，Mistral 7B、Mistral 8x7B、Mistral 8x22B等模型，它们以最少的活跃参数实现了最优的性能，其中两款采用了混合专家模型（MoE）技术，展示了Mistral在模型效率和效能方面的显著成就。Sophia Yang强调了Mistral为开发者提供的定制化服务，这包括开发各种差异化模型以满足不同定制需求，提供专业领域的模型和微调服务。最新发布的编程大语言模型codestral，具备编写文档注释和代码翻译等强大功能，进一步扩展了Mistral的应用范围。微调服务使开发者能够根据特定任务调整模型，以获得最佳性能。除了模型服务，Mistral还致力于提供开源代码，以支持开发者更广泛地使用和集成其技术。Sophia Yang表示，Mistral将持续推出更多开源模型，致力于服务更广泛的开发者群体，并不断提升用户体验。

上图：Head of Developer Relations Sophia Yang

大会最后，来自耀途资本投资副总裁温廷灿、Google Cloud 首席架构师 于有志、字节跳动Developer AI负责人 朱元硕、零一万物联合创始人 戴宗宏、得到联合创始人 快刀青衣这5位业界大咖进行了主题为「大模型时代的创新与创业机遇」的圆桌讨论。在关于AI应用的讨论中，他们深入探讨了生成式AI技术在不同领域的实际应用。他们指出，尽管生成式AI已经在一些场景中成功落地，但预计未来一年内，随着技术的不断进步，将有更多新场景迎来AI的融入。同时，他们也指出，某些环节的落地速度可能因初期期望过高而被高估，而另一些环节的潜力则可能被低估。特别值得注意的是，尽管有些场景现有的AI模型已经足够先进，但由于基础设施的高门槛或算力成本高昂，导致投资回报率（ROI）不尽如人意，从而暂时无法全面推广。然而，随着算力成本逐渐降低至一个临界点，这些模型有望实现更广泛的落地应用。此外，他们还展望了未来一年，随着AI模型能力的进一步提升，一些目前看似超出模型能力的场景也将变得触手可及。

在AI应用的讨论之后，圆桌嘉宾转向了对AI infra 的深入探讨。考虑到显卡售卖限制对AI基础设施发展的影响，分析了中国公司如何在这样的背景下通过软件部分优化来加强AI infra。此外，还展望了未来1年、3年和5年内，训练和推理资源需求的演变趋势，并讨论了在这些时间节点中，哪些环节的算力优化最迫切，以及哪些环节拥有更大的优化空间。通过综合考量AI应用与基础设施的匹配度、模型能力的进步与场景拓展，以及Infra环节的需求变化，可以更全面地理解AI领域的发展趋势，并制定相应的战略以应对未来的挑战和机遇。