인공신경망의 연결압축에 대한 연구 (A Study on Compression of Connections in Deep Artificial Neural Networks)

서지정보

· 발행기관 : 한국산업정보학회
· 수록지 정보 : 한국산업정보학회논문지 / 22권 / 5호 / 17 ~ 24페이지
· 저자명 : 안희준

초록

최근 딥러닝, 즉 거대 또는 깊은 인공신경망을 사용한 기술이 놀라운 성능을 보이고 있고,점차로 그 네트워크의 규모가 커지고 있다. 하지만, 신경망 크기의 증가는 계산양의 증가로 이어져서회로의 복잡성, 가격, 발열, 실시간성 제약 등의 문제를 야기한다. 또한, 신경망 연결에는 많은 중복성이 존재한다, 본 연구에서는 이 중복성을 효과적으로 제거하여 이용하여 원 신경망의 성능과 원하는범위안의 차이를 보이면서, 네트워크 연결의 수를 줄이는 방법을 제안하고 실험하였다. 특히, 재학습에의하여 성능을 향상시키고, 각 계층별 차이를 고려하기 위하여 계층별 오류율을 할당하여 원하는 성능을 보장할 수 있는 간단한 방법을 제안하였다. 대표적인 영상인식 신경망구조인 FCN (전연결) 구조와 CNN (컨벌루션 신경망) 구조에서 대하여 실험한 결과 약 1/10 정도의 연결만으로도 원 신경망과유사한 성능을 보일 수 있음을 확인하였다.

영어초록

Recently Deep-learning, Technologies using Large or Deep Artificial Neural Networks,have Shown Remarkable Performance, and the Increasing Size of the Network Contributes to itsPerformance Improvement. However, the Increase in the Size of the Neural Network Leads to anIncrease in the Calculation Amount, which Causes Problems Such as Circuit Complexity, Price,Heat Generation, and Real-time Restriction. In This Paper, We Propose and Test a Method toReduce the Number of Network Connections by Effectively Pruning the Redundancy in theConnection and Showing the Difference between the Performance and the Desired Range of theOriginal Neural Network. In Particular, we Proposed a Simple Method to Improve the Performanceby Re-learning and to Guarantee the Desired Performance by Allocating the Error Rate per Layerin Order to Consider the Difference of each Layer. Experiments have been Performed on a TypicalNeural Network Structure such as FCN (full connection network) and CNN (convolution neuralnetwork) Structure and Confirmed that the Performance Similar to that of the Original NeuralNetwork can be Obtained by Only about 1/10 Connection.

참고자료

· 없음