높은 정보량을 갖는 길이 효율적인 프롬프트 튜닝 (Highly Informative and Length Efficient Prompt Tuning)

서지정보

· 발행기관 : 한국지능시스템학회
· 수록지 정보 : 한국지능시스템학회 논문지 / 24권 / 3호 / 189 ~ 195페이지
· 저자명 : 이지형, 양정안, 이지형

초록

최근 파라미터를 효율적으로 학습하기 위한 프롬프트 튜닝 방법이 주목받고 있다. 프롬프트튜닝 방법을 통해 긴 프롬프트를 학습할 경우 좋은 성능을 보이지만 이는 많은 자원을 요구한다는 단점이 있다. 따라서 본 논문은 짧지만 밀도 높은 정보를 갖는 프롬프트를 생성하는방법을 제안한다. 제안 방법인 ShortPrompt는 Pooling 방식을 도입하여 길이를 조정하고, 인스턴스와 태스크 정보를 동시에 고려하여 프롬프트를 구성한다. 제안 방법을 활용하여 모델을 학습한 결과, SuperGLUE 벤치마크에서 기존 프롬프트 튜닝보다 우수한 길이 대비 성능을 보였다. 또한, 분석을 통해 ShortPrompt가 유용한 정보를 다수 포함하고 있음을 확인했다.

영어초록

Recently, prompt tuning has gained attention for efficient fine-tuning of languagemodels. While training long prompt through prompt tuning methods tend to yieldsignificant performance, it demands substantial resources. We propose ShortPrompt,a prompt tuning method designed to generate highly informative prompts whilekeeping their length short. Shortprompt achieve this by shortening the lengththrough pooling operation while simultaneously learning instance and downstreamtask information. Our experiments and analysis demonstrate that ShortPromptoutperforms the original prompt tuning on the SuperGLUE benchmark. We alsoverify that Shortprompt contains meaningful information.

참고자료

· 없음