A Probabilistic Visual Question Answering Model Based VQA

서지정보

ㆍ발행기관 : 한국컴퓨터게임학회 ㆍ수록지정보 : 한국컴퓨터게임학회 논문지 / 35권 / 3호
ㆍ저자명 : Manva Trivedi, Sabah Mohammed

목차

ABSTRACT
1. Introduction
2. Literature Review
3. Research Methodology
3.1 Visual Question Answering Model Prototype
3.2 The Proposed Model
3.3 Image pre-processing for feature engineering
3.4 Understanding type of Questions
3.5 Process Diagram – Proposed Model
3.6 How does the probabilistic model work?
4. Analysis and Evaluation
4.1 Hyperparameter Tuning
4.2 Model Layers
4.3 Results
5. Conclusion
References
국문초록
결론 및 향후 연구

한국어 초록

시각적 데이터는 도처에 존재하며 자연어는 인간이 이해할 수 있는 의사소통 수단이다. VQA(Visual Question Answering)는 이미지를 이미지에 대한 입력과 질문으로 취하고 복잡한 추론을 사용하여 자연어 답변을 생성 하는 시스템이다. 따라서, VQA는 답을 예측하기 위해 이미지에 대한 자세한 이해와 복잡한 이유가 필요하 다. 멀티모달 구조와 가능한 실제 구현을 고려할 때, VQA는 인공지능에게 매우 중요한 과제이다. VQA를 위한 심층 신경망에 사용되는 아키텍처와 하이퍼 파라미터는 결과에 큰 영향을 미친다. 이 프로젝트는 이미 지 특징을 추출하기 위해 사전 훈련된 모델(VGGNet)과 단어를 내장하기 위해 Word2Vec를 도입하고 질문에 서 단어 특징을 얻기 위해 LSTM을 도입하고 결과를 결합한 후 가장 높은 확률을 가진 답을 예측한다.

영어 초록

Visual data is present everywhere and natural language is a way of communication understandable to humans. Visual Question Answering (VQA) is a system which takes image as an input and a question about the image and generates a natural language answer using complex reasoning. Thus, a VQA needs detailed understanding of the image and complex reason to predict the answer. Given its multimodal structure and possible real-world implementations, VQA is a challenge of critical importance for artificial intelligence. The architectures and hyperparameters used in deep neural networks for VQA have a big impact on their results. This project introduces a pretrained model (VGGNet) to extract image features and Word2Vec to embed the words and LSTM to get word features from the question and after combining the results will predict the answer having highest probability.

참고 자료

없음