摘要：

随着人工智能技术的飞速发展，大型语言模型（LLMs）已成为软件工程、数据科学等领域的重要工具。软件开发者们时常担心自己会被大模型所取代。然而，事实果真如此？大模型在代码生成与推理能力上目前能达到何种水平，仍值得探索。本演讲将通过构建的多角度、多语言、多任务的评测集，探讨代码大模型距离实际开发落地还有多远。我们将探讨大模型在函数级、类级、项目级等规模上的代码生成能力；不同编程语言下的代码推理能力；领域特定的代码生成能力等。通过不同评测集，我们不仅能够评估和理解当前大型语言模型的能力边界，还可以为未来模型的优化和应用提供方向，推动AI在更广泛领域的实际应用。

个人简介:

曹嘉伦博士是香港科技大学计算机科学与工程系的研究助理教授，主要研究领域包括人工智能测试、AI4SE、形式化验证等。她在 ICSE、ESEC/FSE、CAV、ASE、USENIX Security 等领域顶级会议和 TOSEM 等顶级期刊上发表过 20 余篇论文，获得ASE 2024 ACM 杰出论文奖。她担任软件工程顶刊 TSE 和 TOSEM 等顶级期刊的审稿人，也是软件工程顶会 ICSE、FSE、ASE 的程序委员会成员。她是2024亚洲院长论坛“工程界新星女性”研讨会唯一入围香港科技大学的代表，也是2025年ACM SIGSOFT 优秀博士论文奖的获奖者，每年全球仅一位获奖者。