생물다양성 정보 제공을 위한 인공지능 챗봇 시스템 구축 (Development of an AI-Based Chatbot System for Providing Biodiversity Information)

서지정보

· 발행기관 : 한국산학기술학회
· 수록지 정보 : 한국산학기술학회논문지 / 25권 / 8호 / 623 ~ 627페이지
· 저자명 : 장동석, 홍윤식

초록

생물다양성은 생태계의 건강과 지속 가능성에 중요한 요소로, 생물종의 다양성과 분포에 대한 정보는 생태계 보호 및 관리에 필수적이며, 한반도는 다양한 기후와 지형적 특성 덕분에 생물다양성이 풍부한 지역 중 하나이다. 이에 따라 한반도의 생물다양성을 체계적으로 관리하고 보호하기 위한 데이터 통합 및 분석 시스템의 필요성이 대두되고 있으며, 본 연구는 환경부 국립생물자원관에서 운영 중인 한반도 생물다양성 웹사이트에서 제공하는 데이터를 전처리하고, 인공지능(AI)[1] 기반의 챗봇 시스템을 구축하여 사용자에게 효율적인 정보 검색을 제공하는 것을 연구 목표로 한다. 수집된 데이터는 TF-IDF(Vectorizer)를 사용하여 벡터화한 후, 코사인 유사도(Cosine Similarity)를 활용하여 사용자 질문과 가장 유사한 결과를 도출하며, 챗봇은 OpenAI의 GPT-3.5-turbo 모델을 활용하여 높은 수준의 대화 능력을 갖추고 있으며, 추가적으로 로컬에서 Sentence-Transformer[1] 모델(all-MiniLM-L6-v2)[2]을 사용하여 임베딩을 생성함으로써 과금 및 입력 제한을 예방하였다. 또한, Streamlit과 Streamlit-chat을 활용하여 사용자 친화적인 인터페이스를 구현하였다. 본 논문에서는 챗봇[3] 시스템의 개발 과정, 데이터 전처리 방법, TF-IDF 벡터화 및 코사인 유사도를 이용한 유사도 계산 방법 등을 상세히 설명하며, 실제 구현된 챗봇 시스템의 성능을 평가한다.

영어초록

Biodiversity is a crucial factor for the health and sustainability of ecosystems. Information on species diversity and distribution is essential for conservation and management of ecosystems, and the Korean Peninsula with its diverse climate and geographic features is a region rich in biodiversity. Consequently, there is a growing need for an integrated data management and analysis system to systematically manage and protect the biodiversity of the Korean Peninsula. This study preprocesses data from the Korea Biodiversity Information System (KBIS) operated by the National Institute of Biological Resources to develop an AI-based chatbot to facilitate efficient information retrieval. The collected data are vectorized using term frequency-inverse document frequency (TF-IDF), and cosine similarity is utilized to derive the most relevant results to user queries. The chatbot employs OpenAI's GPT-3.5 Turbo to provide high-level conversational capabilities. Additionally, local use of the all-MiniLM-L6-v2 sentence-transformers model generates embeddings to prevent cost and input limitations. Furthermore, a user-friendly interface is implemented using Streamlit and Streamlit-chat. This paper details the development process of the chatbot system, data preprocessing methods, TF-IDF vectorization, and the use of cosine similarity for similarity calculations, and evaluates the performance of the implemented chatbot system.

참고자료

· 없음