모바일 전시관 음성대화 가이드 시스템을 위한 한국어 질문 유사매칭기반 (s)LLM 캐시 엔진의 개발 (Development of a (s)LLM Cache Engine Based on Korean Question Similarity Matching for Mobile Exhibition Voice Conversation Guide Systems)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 40권 / 2호 / 77 ~ 87페이지
· 저자명 : 우승문, 정석현, 이정준

초록

최근 들어, LLM 기술의 눈부신 발전에 따라 많은 융합응용이 시범적으로 나타나고 있다. 그러나 이들은 아직 실시간 음성 대화를 지원하기에는 응답시간이 충분히 빠르지 않고, LLM 서비스를 이용하는 경우에는 사용료가 높고 sLLM을 구축하여 사용하기에도 서버 구축 및 운영 비용이 많이 들어 실전 서비스에 배치되지 못하고 있다. 본 논문은 미술관, 박물관과 같은 전시관의 전시물에 제한된 범위의 주제에 대해 질의문들에 대한 대규모 언어 모델(LLM) 혹은 sLLM의 응답 성능을 개선하기 위해 한국어 기반 형태소 분석을 통한 조사, 어미를 제외하고, 질의문을 분류하여 질의문 유사매칭 대상을 축소하여 캐시 응답시간을 개선한 캐시구조를 제안한다. 또한, 제안하는 캐시 엔진은 미술관이나 박물관 방문객들의 빈발하는 전형적인 질문들을 이용하여 질문들의 템플릿을 만들고, 이를 이용하여 캐시 엔진에 질의문과 답변을 미리 저장하여 웜 스타트(warm start)를 가능하게 한다. 실험 결과, 제안하는 시스템은 기존 GPTCache에 비해 캐시 히트의 경우 7배, 캐시 미스의 경우 3배 응답속도를 개선하였다. 본 연구는 향후 (s)LLM 기반으로 비용이 저렴하며 빠른 응답시간이 필요한 “전시관 양방향 음성 대화 모바일 가이드”와 같은 응용에 기여할 수 있을 것으로 기대된다.

영어초록

Recently, with the remarkable advancements in LLM technology, many fusion applications have been experimentally emerging. However, these applications do not yet support real-time voice conversations due to insufficiently fast response times, and using LLM services incurs high usage fees. Furthermore, deploying and operating sLLM systems is expensive, making it challenging to implement them in practical services. This paper proposes a cache structure that improves response time of large language models (LLMs) or sLLMs for queries on limited topics about exhibits in galleries or museums by excluding particles and endings through Korean-based morphological analysis, classifying queries, and reducing the scope of query similarity matching to enhance cache response times. Additionally, the proposed cache engine creates templates of frequent queries from museum or gallery visitors and prefetches these questions and answers into the cache, enabling a warm start. Experimental results show that the proposed system improves response speed by 7 times in case of cache hits and 3 times in case of cache misses compared to the existing GPTCache. This study is expected to contribute to applications such as "interactive voice mobile guides for exhibitions," which require low-cost and fast response times based on (s)LLM.

참고자료

· 없음