【第477期】代码大语言模型：训练、评估与应用

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

今天的主题是：

From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence

Summary

大型语言模型（LLMs）通过实现自然语言描述到功能性代码的直接转换，已经从根本上改变了自动化软件开发，并通过 GitHub Copilot（微软）、Cursor（Anysphere）、Trae（字节跳动）以及 Claude Code（Anthropic）等工具驱动了商业落地。该领域从基于规则的系统演进到基于 Transformer 的架构，性能在基准测试（如 HumanEval）上从个位数成功率提升至超过 95%。

在本研究中，我们对代码 LLM 进行系统性的综述与实践指南（涵盖一系列分析性与探测性实验），全面考察从数据筛选、预训练到后训练阶段的完整模型生命周期，包括高级提示范式、代码预训练、监督微调、强化学习以及自主编程代理。我们分析了通用 LLM（GPT-4、Claude、LLaMA）与代码专用 LLM（StarCoder、Code LLaMA、DeepSeek-Coder、QwenCoder）的代码能力，并对其技术、设计选择与权衡进行了批判性审视。

此外，我们明确了学术研究（如基准测试与任务）与真实世界部署（如软件相关代码任务）之间的差距，包括代码正确性、安全性、大规模代码库的上下文理解，以及与开发工作流的整合，并将具潜力的研究方向映射到实际需求。

最后，我们开展了一系列实验，对代码预训练、监督微调与强化学习进行了全面分析，涵盖缩放律、框架选择、超参数敏感性、模型架构以及数据集对比等方面。

原文链接：https://arxiv.org/abs/2511.18538