소문난집 스토어

소문난집

개인인증

팔로워0 팔로우

소개

등록된 소개글이 없습니다.

전문분야 등록된 전문분야가 없습니다.

판매자 정보

학교정보

입력된 정보가 없습니다.

직장정보

입력된 정보가 없습니다.

자격증

입력된 정보가 없습니다.

판매지수

판매중 자료수

10개
전체 판매량

48개
최근 3개월 판매량

0개
자료후기 점수

평균C
자료문의 응답률

-

전체자료 10개

확률 및 통계학 개론 솔루션 10장 (교우사, 김영주 역)

<썸네일을 참고해 주세요>

학교| 2020.06.30| 15페이지| 50,000원| 조회(1,309)

솔루션, 교우사, 김영주, 확률 및 통계학 개론, William Mendenha..

미리보기

닫기
확률 및 통계학 개론 솔루션 7~9장 (교우사, 김영주 역)

<썸네일을 참고해 주세요>

학교| 2020.06.30| 14페이지| 50,000원| 조회(1,292)

솔루션, 교우사, 김영주, 확률 및 통계학 개론, William Mendenha..

미리보기

닫기
확률 및 통계학 개론 솔루션 4~6장 (교우사, 김영주 역)

<썸네일을 참고해 주세요>

학교| 2020.06.30| 26페이지| 50,000원| 조회(2,569)

솔루션, 교우사, 김영주, 확률 및 통계학 개론, William Mendenha..

미리보기

닫기
확률 및 통계학 개론 솔루션 2장 (교우사, 김영주 역)

<썸네일을 참고해 주세요>

학교| 2020.06.30| 6페이지| 6,000원| 조회(673)

솔루션, 교우사, 김영주, 확률 및 통계학 개론, William Mendenha..

미리보기

닫기
[딥러닝]Yoshua Bengio From System 1 Deep Learning to System 2 Deep Learning

딥러닝Yoshua Bengio: From System 1 Deep Learning to System 2 Deep Learning (NeurIPS 2019)딥러닝은 지난 수십년간 대단한 발전을 이루어 왔다. 현재는 인간 수준의 AI에 접근하기 위해 인간의 지능과 사례를 입력해 학습하고 결과를 도출하지만 아직도 발전해 나가야 할 길이 멀다. 과거에는 데이터의 분포가 바뀌면 AI의 결과값이 틀렸지만, 앞으로 미래에는 데이터의 분포가 바뀌어도 올바른 결과를 만들어 낼 수 있는 방식이 필요하다. 이러한 발전을 이루어 내기 위해서 딥러닝 system1 과 system2를 이해해야 한다.System1은 말로는 설명할 수 없지만 직관적으로 판단하며 선택을 하는 방식이다. 직관적인 판단을 하기 때문에 정보의 질에 있어서 둔감한 면이 있다.System2는 다양한 계산식을 포함하고 변화가 있으면 찾아내어 원인과 결과를 알아내는 방식이다. 노력을 기울여야 하지만 정보의 질을 높이고 변화에 대해 유동적으로 대응하기 위해 system2를 도입해야 할 필요가 있다.인간 수준의 AI에 접근하기 위해서 우리가 추구해야 할 것은 일반화를 하여 새로운 작업을 할 때 작은 데이터로 결과를 도출할 수 있어야 하고, 작은 변화에도 민감하게 원인과 결과를 파악해 문제에 대처해야한다. 즉, 원인과 결과를 이해하는 모델을 구축해야 한다. 이를 위해 우리가 머신러닝에서 생각해야 할 것은 다음과 같다.1. 데이터의 분포가 바뀌더라도 적절하게 처리를 할 수 있어야한다.2. 딥러닝의 발전 방향은 Attention 과 Conciousness 를 추가하며 system2를 도입해야 한다.3. Conciousness를 활용하기위한 Sparse Factor Graph4. 가설의 변화의 논리, Meta-learning -> 변수 사이의 인과관계를 추론할 수 있다.5. 딥러닝의 구조 : 모듈을 재결합시키는 구성 system2의 필요1. 기계학습은 과거부터 오늘날까지 데이터의 독립을 가설을 기반으로 하고 있다. 하지만 실제 일어나는 일들은 독립적이지 않은 부분이 많다. 이로 인해 우리는 시스템의 일반화에 대해 가로막혀 있다. 일반화를 하기위해서는 학습자가 다른 주변 요인이나 환경의 변화를 생각해서 데이터의 분포를 알아내야 한다. 따라서 다양한 구성을 통해 새로운 것을 재결합해 일반화를 시켜야 한다.2. Attention 방법은 계산 방법이다. Data를 통해 결과를 분류하거나 예측하기위해 필요한 모든 node와 node를 연결해 계산하는 방법이 아니라, 각 특징에 해당하는 일부분의 node와 node를 연결시켜 계산의 과정을 줄이고 집중시키는 역할을 한다. 또한 Attention 방식을 통해 정보가 어디서 왔는지도 알 수 있다. Attention 방식은 또한 신경과학인지로 이어진다. 인간은 행동을 취할 때 단계적으로 생각한다. 즉 뇌에서 계산한 정보들을 선택하고 필요한 부분들에 전달을 한다. 이방법이 Attention 방법이라고 할 수 있다. 딥러닝은 이러한 기능을 공식화시켜야 한다. 또한 인간은 의식을 통해 하나의 정보가 부족해도 다른 주변 정보로 부족한 부분을 채울 수 있다. 예를 들어 언어로 소통하면서 몸의 동작(제스쳐)를 동시에 의식해 상대방의 의사를 파악한다. 즉, 딥러닝에서는 system1과 system2를 합쳐야 가능한 일이다.3. Attention 은 Conscious state로부터 나와 생각하는 과정이다. 이 과정은 한가지가 아닌 몇가지의 의식적 요소로부터 진행된다. 이러한 다양한 요소를 연결해주고 표현해 줄 수 있는 그래프가 Sparse factor graph이다. Sparse factor graph는 머신러닝의 추론 과정에서 변수들의 결합분포를 표현할 수 있다. 즉, node와 node사이의 연관성을 설명 가능하게 해준다. 예를 들어 ‘공을 공중에서 놓는다면 공은 바닥으로 떨어질 것이다’라는 문장은 높은 확률을 가진 사실이지만, 문장이 적은 단어로 구성되어 있다. 적은 수의 단어를 사용함으로 결합분포의 요소를 강하게 연결시켜줄 수 있는 것이 Sparse factor graph이다.4. 요즘 뜨고 있는 Meta-learning은 수십년 전부터 시작되었다. 메타러닝의 방식은 여러 시간 규모의 학습이다. 메타러닝의 장점은 느린 시간 규모에 대해 메타 매개변수를 훈련시켜 일반화할 수 있다는 것이다.분포의 변화는 처리 방식이나 몇몇 원인의 조정이나 변화로서 일어난다. 예를 들어 선글라스를 착용하고 있는 데이터를 변경하면 사람마다의 망막은 전혀 다르지만 작은 변화로 설명할 수 있다. 따라서 일반화는 유동적으로 변화에 대응해야 한다.5. Dynamically recombined modules은 계산과 자동화에 대한 메커니즘에 관한 것이었다. 우리는 이 아이디어를 적용하여 네트워크가 서로 통신이 가능하게끔 만든 모듈이다. 즉석에서 바로 변경되고 계산되는 특징이 있다.즉, 각각의 Parameter를 독립적이라고 생각하면 안된다. 관련성 있는 Parameter를 연결하고 변화가 있더라도 원인과 결과를 알아내어 대응하는 모듈을 만들어 내야 한다. 이를 하기위해 (key: value)의 방식을 사용하여 상황에 맞추어 대응되게 해야 한다. 결국, 머신러닝이 발전해 나가야할 방향은 기존의 system1에 단계적으로 의식을 하고 원인과 결과를 찾아 대응할 수 있는 system2의 방식을 더해 진화해 가야 한다.Symbolic AI흔히 생각하는 고전적이고, 상징적인 AI와 앞으로 나아가야할 방향이 다르다. 고전적인 AI는 단순한 규칙기반 시스템에 머물러있다. 지금까지는 효율적이고 대규모 데이터의 학습이 필요했고, 시스템 1의 의미론적 토대가 필요했다. 또한, 불확실성을 다루거나 분포의 표현, 효율적인 검색방법이 주된 AI의 방법이었다. 하지만 이제는 이를 넘어서 일반화 시스템을 구축해야 하고 습득하고 있는 정보를 분해하거나 바뀔 수 있는 작은 부분에 대한 지식의 요소화를 시켜 변수를 조작할 수 있어야 한다. 또한 불확실한 데이터까지 다뤄야 할 것이다.Comparisons of system 1 DL & system 2 DLSystem 1은 과거부터 오늘날까지 딥러닝이 발전해온 system이다. 신경망을 예로 들자면 발전해왔던, 다층 퍼셉트론, 오류 역전파 알고리즘, 합성곱신경망(CNN), Convolution layer, 순환신경망(RNN), Long short term memory (LSRM) 등 많은 System이 포함된다.System2는 앞으로 딥러닝이 발전해 나가야할 방향이다. 데이터에 대한 원인과 결과를 파악하고 그에 맞는 분포를 찾아 모델을 바꾸어 나가는 방법이다. 나는 system2 와 system1이 각각의 다른 구조가 아니라 서로 겹쳐져 있고, 나아가 Systme1의 구조나 적용 방법이 발전을 거듭해 System2의 역할을 수행한다고 생각한다.Attention & Causal inferenceConvolution layer 방법은 Parameter sharing 방식으로 특정 필터가 동일한 매개변수 값을 가지도록 한다. 즉, 일부분의 node와 node를 연결하는 방식이다. 이를 위에서 언급한 Attention에 대응해 볼 수 있다.LSTM 방법은 반복적인 hidden 노드를 갱신해 과거의 상태를 전달하거나 전달하지 않는 방식으로 선택적으로 정보 전달을 통해 효율성을 높인 방식이다. 이는 위에서 언급된 의식을 통해 단계적으로 계산하는 방식이다. 즉, Causal inference 라고 볼 수 있다. 이처럼 현재의 Deep-Learning은 System1 과 System2를 나누어 생각하지 않고 1과정에서 2로 발전하면서 개념이 합쳐지는 과정에 있다.

자연과학| 2020.06.30| 3페이지| 9,000원| 조회(205)

요약, 미래 전망, 기계학습, 나의 생각, 딥러닝, Yoshua Bengio Fr..

미리보기

닫기