1. 지원 동기저는 2021년 1학기 때 마지막 학기로 광고대행사에서 4개월 동안 인턴으로 근무하였습니다.현재는 메타라고 사명을 변경한 페이스북 매체에서 가장 많이 광고를 운영했습니다. 광고 캠페인을 관리하며 ‘머신러닝 진행 중’이란 문구를 가장 많이 보았습니다. 이는 광고 운영을 위한 머신러닝 단계인데 만들어둔 광고 세트에 대해 학습하고 적절한 데이터를 모아 광고가 노출될 최적값을 테스트하는 과정입니다.데이터를 수집하여 학습하고 최적화하는 일련의 과정을 실제로 보니 매우 흥미로웠습니다. 저는 학부 때 들었던 ‘기계학습’ 수업에서 배운 것이 어떻게 연결되는지 궁금하였고, 학습 알고리즘과 최적화 과정에 관심이 갔습니다. 아주 기초적인 개념이지만 낯설었던 경사하강법 알고리즘을 더 자세히 이해하고 싶었습니다. 학부 때 얕게 배웠던 인공지능 분야에 대해 더 공부하고자 다짐하는 계기가 되었습니다.통계와 데이터 분석을 위한 Pandas, Numpy를 써본 경험 이외엔 프로그래밍, 인공지능 관련 수학, 자료구조와 알고리즘 등 모든 것이 다 처음이었습니다. 비전공자로서 혼자 방향성과 목표를 세우고 공부하는 과정은 순탄치 않았습니다. 저는 포기하고 싶지 않아 먼저 공부를 시작한 사람들에게 조언을 구했고, 공부 방향을 다시 세웠습니다.첫 번째로는 어떤 코드도 복사하여 사용하지 않았습니다. 코드를 조금씩 바꿔가며 결과물을 직접 눈으로 비교했습니다. 이 경험이 코드를 이해하는 데 많은 도움이 되었습니다.두 번째는 기술 블로그를 만들었습니다. 이해했든 못했든 공부한 것을 모두 정리하여 남겼습니다. 물론 처음에는 막막하고 지쳤습니다. 하지만 점점 글을 쓸수록 내용을 소화하여 제 것이 되는 경험을 쌓을 수 있었습니다.매일 꾸준히 공부하고 기록하던 습관이 현재까지 이어지고 있고 300개 넘는 포스팅을 통해 저만의 데이터베이스를 만들고 있습니다.본원의 학과에 지원하고 싶은 가장 큰 이유는 관심 있는 영상 공학 분야와 많은 세부 전공이 운영되고 있기 때문이었습니다. 저는 온라인 공개강좌를 제공해주는 K-MOOC 서비스를 통해 관심 있었던 컴퓨터 비전을 연구하는 연구실을 알 수 있었습니다. 인공지능 기술을 통해 다양한 분야의 융합 기술을 개발하는 것도 굉장히 매력적이었습니다. 본래 인문학 전공이었기 때문에 중앙대학교에서 운영하는 영상 공학 기술과 예술 분야의 융합 연구에 더 자신 있게 참여할 수 있을 거란 생각이 들었습니다.교육 과정에서 다양한 딥러닝 주제로 기본 모델을 실습했습니다. 저는 그중 Image classification, Semantic segmentation, DCGAN, Super Resolution 등의 실습 과제에 흥미를 느껴 CV 분야로 심화 학습을 선택했습니다. 심화 과정에선 Backbone network에 대해 공부하고, Augmentation, Cam, Grad-Cam, Object detection, Segmentation, OCR, Pose estimation 등의 주제로 토이 프로젝트를 진행했습니다.그중 학습 결과물을 Bounding box로 구현하여 눈으로 직접 볼 수 있는 Detection에 가장 큰 흥미를 느꼈습니다. AI hub에 있는 인공위성 영상 데이터 세트를 활용하여 object detection 프로젝트를 진행했습니다.진행 과정에서 부족한 점을 정말 많이 느꼈습니다. 첫 프로젝트이다 보니 우수한 성능을 내는 것에 대한 집착을 버리기로 했습니다. 대신 팀원들과 함께 CNN부터 기초 개념부터 복습을 시작했습니다. 그 이후 detection의 주요 논문을 리뷰하며 이론을 탄탄히 다지려 노력했습니다.그 이후엔 주어진 오픈소스와 라이브러리, 프레임워크 등의 활용하여 알고리즘에 대한 이해를 탄탄히 하는 데 집중하였습니다. 따라서 다양한 백본 네트워크와 사전 훈련 모델 등을 가진 데이터 세트에 맞게 커스텀 후 결과물을 비교하고 성능 지표의 값을 해석하여 모델을 설계하고 구현하며 경험을 할 수 있었습니다.물론 어려운 점이 더 많았지만, 문제가 발생할 때마다 공유하고 함께 해결 방법을 찾으며 토론하고 연구했던 과정에서 큰 즐거움을 느꼈습니다. 팀원과 함께 세부적인 목표를 세우고 계속 개선하며 진행했던 덕분에 포기하지 않고 끝까지 마무리할 수 있었습니다.프로젝트를 통해 연구의 구체적인 목표와 계획을 세우는 것, 부족한 부분에 대한 끝없는 공부, 문제점을 해결하기 위한 방법을 고민하는 것 등을 경험했다고 생각합니다. 저는 이 경험을 바탕으로 학업 과정에서 어떠한 어려움이 닥치더라도 포기하지 않고 끝까지 연구에 임하고 싶습니다.2. 학업 및 연구계획6개월 동안 AI 교육 과정에서 공부하며 이미지와 영상에서 인식, 인지를 목표로 하는 컴퓨터 비전 분야에 흥미를 느꼈습니다. 인간은 매우 시각적이고 직관적인 방식으로 이미지를 인식하는 반면, 컴퓨터가 이미지를 인식하는 방식은 달랐습니다. 컴퓨터가 비전을 처리하는 방식은 사람의 시각과 관련한 시스템 구조를 모방하여 물체나 상황을 식별했습니다.Object detection을 주제로 프로젝트를 진행할 때, Andrew Ng의 강의를 많이 참고했습니다. 이 강의를 반복해서 들으며 개념을 정리하였던 것이 관련 논문을 읽는 데 많은 도움이 되었습니다. 그 후 컴퓨터 비전 세부 분야에 대한 논문 세미나를 자주 찾아보며 견문을 넓히려 노력했습니다. 세미나는 예전부터 연구되어 오던 주제와 최근의 전반적인 연구 동향을 살피고 비교했습니다. 그 덕분에 교육 과정에 한정되어 있었던 시야를 더 넓히는데 확실하게 도움이 되었습니다.그 후엔 컴퓨터 비전의 기술과 활용 분야에 대해 이전보다 더 이해할 수 있었습니다. 세부 분야에 대한 논문을 읽으며 연구원을 꿈꾸는 계기가 되었습니다. 연구원이 되겠다고 다짐한 이후 필요한 사전 지식이 무엇인지를 파악하여 올해부터는 기반을 다지는 데 집중했습니다.수학 관련으로는 선형대수학, 미분적분학, 확률론 등 인공지능에 필요한 과목을 공부하고 있습니다. 현재는 핸즈온머신러닝이란 교재를 바탕으로 머신러닝을 공부 중입니다. 짧은 시간 동안 딥러닝만 한정적으로 공부했던 것에 한계를 느꼈기 때문입니다.머신러닝의 기초를 다진 후에는 Cornell Tech의 Computer vision 수업 자료를 통해 이어 공부할 예정입니다. 이미지 형성, feature 감지 및 인식 등의 주제를 통해 컴퓨터 비전을 더 깊게 이해하고 싶습니다.머신러닝, 딥러닝, CV 쪽의 기초 이론 지식을 탄탄히 하는 것 다음으로는 자료구조나 알고리즘 등의 CS 쪽으로도 공부를 열심히 해서 프로그래밍 실력을 함양할 것입니다. 그다음으로는 논문을 읽고, 알고리즘을 구현하는 실력을 키워 빠르게 발전하는 기술을 습득해 나가도록 하겠습니다.제가 관심 있는 분야는 VOS(video object segmentation)입니다. ‘Video Object Segmentation using Space-Time Memory Networks’란 논문을 읽고 VOS에 관심이 갔습니다. VOS는 영상의 첫 프레임에서 추적할 물체가 주어질 때 연속되는 프레임에서 해당 물체를 Segmentation하는 작업입니다.영상 내의 객체는 프레임의 변화에 따라 수시로 변합니다. 그래서 객체 구분이 어렵고 잡음에 의해 크게 왜곡되기도 합니다. 방대한 양의 데이터가 필요하다는 한계도 존재합니다.VOS의 기존 연구들은 주로 과거 프레임으로부터 정보를 활용해서 현재 프레임에서 segmentation을 수행합니다. 여기서 어떤 프레임을 사용할 것인지와 과거 프레임을 어떻게 사용할 것인지로 접근하며 최근까지 방법론들이 제안되고 있습니다.아직 저는 해당 연구 분야에 대한 한계점을 보완할 방법을 명확히 제시할 수는 없습니다. 대신 VOS를 연구하기 위한 세부 분야를 정리해보았습니다. 첫 번째는 영상에서 class가 정해지지 않은 물체를 추적하는 작업인 Visual tracking입니다. 두 번째는 서로 다른 Instance를 구분해야 하는 Instance segmentation입니다. 세 번째로는 labeled data(initial mask)와 unlabeled data(consecutive frames)를 모두 사용하는 Semi-supervised learning입니다.또한, 프레임을 활용 하는 학습 방법인 online 또는 offline learning 등의 학습 방법, VOS에서 사용하는 메모리 구조인 VQA(Visual Question Answering)를 공부하여 연구 내용에 이해도를 더 높일 것입니다.
