사전학습 코드 언어 모델 기반의 외부 지식 프롬프트를 활용한 결함 감지 연구 (A Study of Defect Detection using External Knowledge Prompt with Pre-trained Language Models on Code)

서지정보

· 발행기관 : 한국지능시스템학회
· 수록지 정보 : 한국지능시스템학회 논문지 / 34권 / 2호 / 168 ~ 173페이지
· 저자명 : 안지민, 이재훈, 최윤석, 이지형

초록

소스 코드의 결함을 감지하는 작업은 소프트웨어의 유지보수 및 안정성 향상 측면에서 매우중요한 작업이다. 최근 대용량의 자연어와 코드 데이터셋으로 사전학습한 언어 모델의 등장으로 추가 학습을 통해 결함 감지 작업을 수행할 수 있게 되었다. 하지만, 사전학습 모델은비교적 명확한 문법적 오류에 대해서 높은 감지율을 보이는 것에 비해, 다양한 원인으로 발생할 수 있는 런타임 오류에 대해서는 낮은 감지율을 보인다. 따라서, 본 논문에서는 런타임오류에 대한 감지 성능을 높이고자 결함 감지에 도움을 줄 수 있는 외부 지식 데이터 풀을구축하고, 코드의 계층 구조를 활용한 검색 기법을 통해 데이터 풀에서 적절한 외부 지식을검색해 이를 모델의 프롬프트로 활용하는 방법을 제안한다. 실험을 통해, 기존 방법 대비 정확도와 F1-score에서 높은 성능 향상을 보여 제안 방법이 효과적임을 보였다.

영어초록

Identifying potential errors in source code is a crucial task for enhancing softwaremaintenance and reliability. The recent emergence of pre-trained language modelstrained on huge datasets of natural language and programming language hasenabled defect detection through fine-tuning. However, these models have a highdetection rates for relatively obvious syntax errors, but they struggle to detectruntime errors which can stem from various causes. In this paper, we propose amethod to enhance runtime error detection performance by leveraging externalknowledge. Our approach builds an external knowledge base consisting of codesand their commit messages, and retrieve a sentence relevant to the input sourcecode from the knowledge base as a prompt for the model. Through experiments, wedemonstrate the effectiveness of our proposed method by showing a highperformance improvement in accuracy and F1-score compared to existingapproaches.

참고자료

· 없음