챗봇에 사용된 빅데이터 분석 기술과 인공지능 기술

소개

챗봇 전반적인 부분에 대해 여러 논문을 토대로 작성된 자료입니다.

목차

1. 챗봇, 챗봇 빌더, Chatflow
2. 챗봇 빌더 – 알고리즘
3. 통계 기반, 유사도 기반
4. 챗봇에 사용된 빅데이터 분석 기술과 인공지능 기술
5. 챗봇이 대화를 처리하기 위해 사용하는 방법
6. 챗봇을 구현하는 방식
7. 자연어 처리, 대화 처리, 지식 처리
8. 인공지능 기반 챗봇 구축
9. Apache Hive, Proposal System Configuration, Query Language Slot Structure, Web Application Data Structure
10. 음성인식 및 자연어처리 개발방법
11. STT엔진의 정확도 평가를 위한 과정
12. 문자열 유사도, 문서 간 유사도, 의미기반 유사도 측정을 위한 방법
13. 텍스트 변환에 대한 문제점
14. 대화 시스템의 종류
15. 검색 모델(Retrieval-Based Model), DB에서 답변을 고르는 모델
16. DialogBERT (자연어 이해, NLU 모듈)
17. Session DB / Content DB => Response Candidates
18. 최종 답변 선택 (Response Selection)
19. 생성 모델(Generative Model)
20. 인공지능기반 챗봇 구축 방안
21. 확장된 기술수용모형(ETAM 또는 TAM2)
22. 챗봇 개발 방법
23. 이용자 인터페이스(UI) 디자인 및 사용성 테스트
24. 챗봇의 퍼스널리티 선정
25. 챗봇 시나리오 설계 및 구현
26. 인공지능 기술의 기록관리 적용 방안
27. 챗봇의 트레이닝 세트 생성 장치 및 방법
28. 챗봇의 성장을 주도하고 있는 요인
29. 챗봇 설계 및 구현
30. 전통적 자연어 처리 기술
31. 확률 기반 애매성 해소
32. 통계적(POMDP) 기반 대화 상태 추적

본문내용

● 인공지능 기반 챗봇 구축
초기 개방형 형태로 서비스된 모델에서 내부 직원을 위한 폐쇄형 구조를 통해 서비스 만족도를 향상시키고 있다. 전산실의 ITSM(IT Service Management, IT 서비스 관리)의 경우 24시간 고객 서비스 대응을 위해 Client 장애처리 및 지원 서비스, Network 장애처리 및 지원, 소프트웨어 설치요청 및 지원 서비스, 보안 서비스 지원 및 지원 등에 대해 구축을 하고 있다. 이를 위해 사용자의 의도 구문을 파악하여 질문에 답변을 제공할 수 있는 모델을 요구하고 있다.

① 자체 기술을 보유한 경우
인공지능 기반 챗봇을 자체적으로 구축하기 위해서는 기본적으로 자연어 처리 기술을 확보하고 있어야 한다. 또한, 대량의 데이터를 분석하기 위해 기존의 빅데이터 분석 기법을 적용하면 효과적으로 처리가 가능하다. 수집된 데이터에 대한 정보를 기반으로 분류하여 이를 사전에 분석을 하면 각 단어들 간의 연관 분석 등이 가능하다.
자연어 처리 분석을 위해서는 형태소 분석기, 구문 분석기, 개체명 인식기는 보유를 해야 한다. 또한 딥러닝을 이용할 경우 BERT, n-gram, LSTM 등의 알고리즘을 자유롭게 사용이 가능해야 한다. 자체적인 기술을 보유한 경우에는 폐쇄적인 전산 환경에서 구축 시 매우 용이하다.
② 오픈소스를 활용하여 구축하는 경우
오픈소스 기반으로 구축하는 경우에는 서버(Back-end)는 수정이 불가하다. 사용자가 화
면으로 보여지는 클라이언트(Front-end) 부문만 개발이 가능하다. 또한 오픈소스로 개발 후 상용으로 전환되는 경우가 있어 제품을 납품했을 경우에 문제가 발생할 수 있다. 제품의 안정성 및 업그레이드에 대한 명확한 일정이 없어 버그 발생 시 커뮤니티에서 지원을 하지 않을 경우 버그 해결에 많은 시간이 소요된다.
③ 클라우드 서비스를 활용하여 구축하는 방법
클라우드 환경에서 제공해주는 기능을 활용하여 챗봇을 구축하는 경우 기본적으로
1-2일 사이에 구축과 서비스 제공이 가능하다. AWS, MS Azure, Google 등에서 제공하며 별도의 서비스 금액이 발생한다. 클라우드 환경은 공개적인 서비스 도메인에서는 사용이 가능하다.

참고자료

· 없음