GPT-4를 활용한 쿼리와 패시지간의 연관성 판단 프롬프트 자동 생성 (Automated Prompt Generation for Query-Passage Relevance using GPT-4)

서지정보

· 발행기관 : 한국차세대컴퓨팅학회
· 수록지 정보 : 한국차세대컴퓨팅학회 논문지 / 21권 / 1호 / 49 ~ 61페이지
· 저자명 : 최재걸

초록

쿼리와 패시지 간의 연관성을 평가하는 것은 정보 검색에서 중요한 과제이다. 이 분야에서 GPT-4와 같은 거대 언어 모델(LLM)의 성능은 사용되는 프롬프트의 품질에 크게 의존한다. 프롬프트 설계 방식은 주로 수동으로 이루어지며, 그 효과는 일정하지 않다. 본 논문에서는 쿼리와 패시지간의 연관성 판단을 위한 프롬프트를 자동으로 생성하는 자동 프롬 프트 생성 프레임워크(APGF)를 제안한다. APGF는 훈련 데이터셋을 활용하고, 점수 기반의 목적 함수를 사용하여 훈련 과정에서 프롬프트를 자동으로 개선한다. APGF의 효과는 인간 평가자의 평과결과와 APGF가 평가한 결과가 얼마나 유 사한가를 그 기준으로 하여 평가된다. APGF가 생성한 프롬프트는 수동으로 작성된 프롬프트보다 인간 평가자 판단과 더 높은 일치도를 보이는 연관성 평가를 제공함을 확인할 수 있었다. 이 접근법은 프롬프트 최적화를 위한 자동화 솔루션을 제공하며, 정보 검색 시스템의 효과성과 효율성을 향상시키는 진전을 나타낸다.

영어초록

Evaluating the relevance between a query and a passage is a critical task in Information Retrieval. The efficacy of Large Language Models (LLMs) like GPT-4 in this domain is largely dependent on the quality of the prompts employed. Current methods of prompt crafting are often manual and vary in effectiveness. In this paper, we introduce the Automated Prompt Generation Framework (APGF), designed to automatically generate optimized prompts for GPT-4, with a specific focus on query-passage relevance tasks. APGF leverages a training dataset and employs a score-based objective function to automate the process of prompt selection during training. We evaluate APGF’s effectiveness through a direct comparison with a human- judged relevance set. The results indicate that APGF-generated prompts yield relevance assessments that more closely align with human judgments than do prompts crafted by a human judge. Our approach offers an automated solution for prompt optimization and presents an advancement in the effectiveness and efficiency of Information Retrieval systems.

참고자료

· 없음