본문내용
1. 데이터 과학의 입문
1.1. 데이터 분석에서 기계학습과 알고리즘 접근방법
1.1.1. 기계학습과 알고리즘 접근방법의 도입 이유
데이터의 복잡성 때문에 기계학습과 같은 알고리즘 접근방법이 도입되었다. 인간은 예측에 벗어나거나 통제불가능한 행동을 보이게 되는데, 이에 따라 생산된 데이터는 매우 복잡한 양상을 띠며, 무수한 변수가 존재하게 된다. 기존의 '모수적 모형 접근방법'으로는 좋은 분석 결과를 기대하기 어려워 인공지능이나 패턴인식 등에서 연구되어 온 기계학습 이론을 데이터 분석에 적용하게 된 것이다. 이처럼 데이터의 복잡성이 높아짐에 따라 기존의 모수적 모형으로는 한계가 있었기 때문에 기계학습과 같은 알고리즘 접근방법이 도입되었다고 할 수 있다.
1.1.2. 기계학습과 알고리즘 접근방법의 특징
'알고리즘적 접근방식'은 '비모수적 모델'이라고도 일컬으며 알고리즘으로 데이터를 학습시켜 결과를 분석하는 방식이다. '알고리즘적 접근 방식'은 '모수적 모형 접근방식'에 비해 복잡한 데이터에도 적용이 가능하다는 점이 가장 큰 특징이다. 뿐만 아니라, 모수적 모형에서 주로 사용되는 평균과 표준편차 같은 파라미터를 사용하지 않으며, 최소한의 추론만 사용하므로 부적절하게 사용될 경우가 적다. '의사결정나무'가 대표적인 '알고리즘적 접근방식'이며 '배깅', '랜덤포레스트' 또한 해당 방식에 포함된다. 그러나, 알고리즘의 속성이나 방법에 대한 이론적 근거를 모르고 남용하는 경우, 과적합 등의 우를 범할 수 있으며 기계만 인지할 수 있는 결과로 인해 해석이 어려운 방법이 많은 편이다.
1.2. 빅데이터 처리를 위한 하둡의 개념
빅데이터 분석이 쉬워진 것은 하둡(Hadoop)이 개발되면서부터이다. 하둡은 대용량의 데이터를 적은 비용으로 더 빠르게 분석할 수 있는 소프트웨어이며, 빅데이터 처리와 분석을 위한 플랫폼 중 표준으로 자리 잡았다. 국내외를 막론하고 빅데이터를 다루는 개발자는 하둡의 생태계를 통해 빅데이터를 보다 원활하고 효율적으로 분석할 수 있다. 이미 페이스북의 자동 이미지 검색, 금융거래 내역 분석을 통한 사기방지, 검색 패턴을 통한 광고 타겟팅 및 마케팅 등 여러 분야에 활용되고 있다.
하둡의 대용량 데이터 처리방식은 요약하면 여러 대의 컴퓨터를 하나로 묶어 분석하는 기술을 말한다. 크게 수천 대로 분산된 장비에 파일을 저장할 수 있는 '분산파일 시스템'과 저장된 파일을 분산된 서버의 CPU, 메모리로 빠르게 분석하는 '맵리듀스 플랫폼'으로 구성되어있다.
먼저, '분산파일 시스템'은 하둡 네트워크에 연결된 기기의 데이터를 저장하는 방식인데, 크게 4가지 특징을 가진다. 첫째, 데이터를 저장하면, 다수의 노드에 복제 데이터도 함께 저장되어서 데이터 유실을 방지한다. 또, 파일을 저장하거나, 저장된 파일을 조회하는 경우 스트리밍 방식으로 접근이 가능하다. 뿐만 아니라, 한번 저장한 데이터는 수정할 수 없고, 읽기만 가능하기 때문에 '데이터 무결성'을 유지할 수 있다. 데이터 수정은 불가능 하지만 파일이동, 삭제, 복사가 가능한 인터페이스를 제공한다.
1.3. 추천 시스템과 협업 필터링
1.3.1. 협업 필터링의 개념과 종류
협업 필터링이란 여러 사람의 콘텐츠 평가 데이터, 기호정보를 바탕으로 많은 콘텐츠를 필터링하여 사용자 성향에 가까운 콘텐츠를 추천하는 시스템을 일컫는다. 협업 필터링에는 여러 방식이 있을 수 있으나, 크게 두 가지, '사용자 기반 필터링 방법'과 '아이템 기반 필터링 방법'이 존재한다.
'사용자 기반 필터링'은 유사한 사용자를 찾은 후, 해당 사용자가 관람하지 않았거나 구입하지 않은 아이템을 추천하는 방식이다. 예를 들면 나와 취향이 비슷한 사람이 좋아하는 영화를 바탕으로 내게 영화를 추천해주는 방식이다. 거리 측정을 위해서는 Pearson Correlation Coefficient와 Cosine similarity를 주로 사용해 계산하게 된다.
반면, '아이템 기반 필터링'은 아이템 간의 유사성을 계산하고, 유사한 아이템들 중 관람하지 않았거나 구입하지 않은 아이템을 추천하는 방식이다. 이 방식은 알고리즘을 통해 영화 '신세계'를 본 사람은 영화 '무간도'를 좋아할 것이라는 결론을 도출하여 사용자에게 추천해주는 것이다.
'사용자 기반의 필터링'이 사용자와 아이템의 관계를 표기했다면 '아이템 기반 필터링'은 아이템간의 매트릭스 방식이다. 아이템 간의 거리 측정은 '사용자 기반 필터링'과 유사 혹은 동일하게 진행되고, 사용자 X가 평가하지 않은 아이템을 평가하여 X에게 추천해주게 된다.
1.4. 빅데이터 시대의 사회 변화와 데이터 과학자의 역할
1.4.1. 빅데이터의 긍정적 영향과 부정적 영향
빅데이터 시대의 도래로 우리 사회는 많은 변화를 겪고 있다. 이러한 환경 변화로부터 비롯될 수 있는 긍정적인 영향과 부정적인 영향은 다음과 같다.
빅데이터의 긍정적 영향은 사람들의 삶을 한층 더 편리하게 만들고 있다. 과거에는 기업들...
