Exploring the Potential and Limitations of Large Language Models for Novice Program Fault Localiz...

发布时间:2026/10/29 0:31:12

Exploring the Potential and Limitations of Large Language Models for Novice Program Fault Localiz... 文章主要内容与创新点总结一、主要内容该研究聚焦新手程序员代码故障定位问题,针对传统故障定位方法(如SBFL、MBFL)缺乏代码上下文理解能力的局限,系统评估了13个大语言模型(6个闭源模型、7个开源模型)在该任务中的表现。研究采用Codeflaws、Condefects两个公开数据集,并构建了无数据泄露风险的BugT新数据集,通过Top-N指标、消融实验、用户问卷等方法,从模型性能、提示工程影响、问题难度适配性、解释质量等维度展开分析。核心发现包括:闭源模型(如OpenAI o3)和专为代码任务优化的开源模型(如DeepSeekR1)整体性能优于传统方法,能提供上下文感知的故障定位结果及解释;具备强推理能力的模型(如OpenAI o3、DeepSeekR1)对提示工程依赖度低,而推理能力较弱的模型(如GPT-4)需精心设计提示;模型准确率随问题难度上升而下降,但顶级模型在BugT数据集上即使面对高难度任务仍保持稳健性能;大语言模型的故障解释对新手程序员具有显著教育价值,尤其受1年编程经验的学习者认可;大语言模型存在过度推理、部署成本高的问题,且不同方法在故障类型识别上具有互补性。二、创新点全面的模型评估:扩展了8个新增模型(4个前沿闭源模型、4个主流开源模型),覆盖不同架构类型,系统对比闭源与开源模型在新手代码故障定位中的表现;新数据集构建:创
延伸阅读

更多相关文章

2026/10/24 23:55:55

REGAL架构:用注册表破解企业AI代理的确定性落地难题

1. 从“黑盒”到“白盒”:企业AI代理的确定性落地之困最近和几个负责企业AI落地的朋友聊天,大家不约而同地提到了同一个痛点:AI代理(Agent)在测试环境里跑得风生水起,一到生产环境对接真实业务数据流&#…

2026/10/24 22:03:47

基于LLM智能体的配置漂移检测:从意图理解到自动化修复

1. 项目缘起:当配置管理遇上“静默漂移”在运维和DevOps的世界里,配置管理一直是个既基础又令人头疼的活。我们花大力气用Ansible、Terraform、Puppet这些工具把基础设施和应用的理想状态(Desired State)定义得清清楚楚&#xff0…

2026/10/25 0:26:17

MSPM0G3507 Keil环境搭建:版本锁死与Flash算法定制

1. 为什么MSPM0G3507的开发环境搭建不是“装几个软件”那么简单你搜“MSPM0G3507 KEIL环境搭建”,页面刷出来几十个教程,点开一看——全是“下载Keil、安装驱动、新建工程、编译烧录”四步走。我去年带三个实习生做MSPM0G3507电机控制项目时,…

2026/10/29 0:28:44

SolidWorks直线切弧与构造线高效设计技巧

1. SolidWorks直线切弧功能深度解析直线切弧是SolidWorks草图绘制中一个容易被忽视但极其实用的功能组合。这个功能实际上包含两个操作步骤:先绘制一条直线,再通过特定操作将其一端或两端转换为相切圆弧。1.1 直线切弧的基本操作流程在草图模式下&#x…

2026/10/29 0:28:44

西南交大算法分析与设计实验作业避坑指南:从DP到回溯的代码落地

简介:这份资源是西南交通大学人工智能专业「算法分析与设计」课程的作业与实验全集,面向正在修读或准备复习该课程的学生,以及需要参考算法实现与实验报告的学习者。内容覆盖排序、搜索、图论、动态规划等核心算法领域,并包含实验…

2026/10/29 0:28:44

RoboCup救援仿真2022校赛环境解析与本地部署指南

简介:本资源是面向高校计算机、人工智能及机器人方向学生的RoboCup救援仿真系统校赛实战项目,适用于毕业设计、课程设计、工程实训与学科竞赛等多类实践场景。项目基于2022年RoboCup Rescue Simulation官方框架开发,完整复现了智能体协同搜救…

2026/10/29 0:28:44

DTMB基带仿真:Python实现国标GB 20600-2006物理层闭环

简介:本资源是一套面向通信工程专业学生、数字电视研发工程师及无线传输算法学习者的DTMB地面数字电视系统仿真代码包,聚焦OFDM调制、信道估计、循环前缀处理与QAM调制等核心环节,助力理解中国自主标准DTMB的物理层实现原理与性能优化方法。压…

2026/10/29 0:23:43

Halcon图像清晰度评估:五种自动对焦评价函数实战指南

简介:本资源是一份面向工业视觉工程师与Halcon初学者的图像清晰度自动评估技术实践文档,聚焦于解决工业相机自动对焦中“如何量化判断最清晰图像”这一核心问题。文档系统梳理了方差法、拉普拉斯能量函数法、能量梯度函数法及Brenner函数法四种主流评价算…

2026/10/28 14:42:12

全国计算机二级C语言真题PDF高效刷题指南

简介:这份PDF是全国计算机二级C语言考试的试题与答案解析,专为备考二级C语言的考生准备。内容涵盖C语言特点与设计理念、程序基本组成单位、main函数执行流程、函数嵌套调用规则、标识符命名规范、整型实型字符型数据类型、八进制十六进制数合法形式、运…

2026/10/28 15:28:56

requests+BeautifulSoup:爬虫抓取h1标题的入门实战指南

简介:一份以实战为导向的Python爬虫入门资源,面向具备基本编程基础、希望快速掌握网络数据抓取的初学者,可解决从零编写简单爬虫的常见困惑。实例以requests库发送HTTP请求、BeautifulSoup解析HTML文档,完整演示从网页中提取 标题…

2026/10/28 3:32:29

递推最小二乘参数辨识MATLAB编程:二阶系统与渐消记忆实现

简介:这是一篇面向控制系统、信号处理与机器学习等领域学习者的最小二乘参数辨识程序说明文档。资源共包含一个docx格式文档,压缩包大小七十八KB,内容围绕递推最小二乘算法和渐消记忆最小二乘算法展开:先构造一个极点位于单位圆内…

2026/10/29 0:03:42

学生选课系统DFD图绘制指南:边界划分与分层校验实战

简介:文档以顶层与第一层DFD图为核心,完整刻画学生选课系统的逻辑模型,面向软件工程课程设计、系统分析学习及毕设前期建模人群。顶层图界定系统边界,外部实体包括管理员、教师和学生三类角色;第一层图进一步细化用户登…

2026/10/29 0:03:42

JIRA敏捷落地:Scrum角色权限、Sprint与燃尽图避坑指南

简介:围绕“基于JIRA的敏捷开发项目管理”这一主题,面向产品负责人、Scrum Master及研发测试成员,梳理Scrum角色分工、迭代流程与JIRA工具配置的对应关系,适合初、中级团队导入敏捷管理时参考。压缩包共1个docx文件,大…

2026/10/29 0:03:42

SEMI S8人机工程验收实战:从条款拆解到现场实测的完整指南

简介:面向半导体设备设计、制造与运维工程师及安全合规人员,这份资料聚焦SEMI标准体系下的设备安全规范,重点收录SEMI S8-0308《半导体制造设备人体工程学工程安全指南》。内容围绕设备设计原则、错误与事故预防、人体工程学适配三大主线展开…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑