심층 신경망의 효과적인 정형 검증을 위한 계층별 요약 기법 (Layered Abstraction Technique for Effective Formal Verification of Deep Neural Networks)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 49권 / 11호 / 958 ~ 971페이지
· 저자명 : 연주은, 채승현, 배경민

초록

딥 러닝은 다양한 분야에서 좋은 성과를 내고 있지만 그 결과 값이 어떻게 도출되었는지 알 수 없어서 적대적 예제와 같은 오류에 취약하다. 따라서 심층 신경망(deep neural network)의 안전성과 강건성을 보장하기 위한 많은 연구가 이루어지고 있다. 심층 신경망은 규모가 크고 활성화 함수(activation function)들이 비선형이기 때문에 일반적으로 검증 시 활성화 함수를 선형으로 근사하는 방법이 제안되어 널리 사용되고 있다. 본 논문에서는 ReLU, Tanh 등의 활성화 함수에 대해 새로운 근사 방법인 계층별 요약(layered abstraction) 및 이에 기반한 검증 알고리즘을 제안한다. 알고리즘의 구현을 위해 기존의 SMT (Satisfiability Modulo Theories) 기반 방식을 확장하였으며 기존 도구보다 성능이 향상되었음을 확인했다.

영어초록

Deep learning has performed well in many areas. However, deep learning is vulnerable to errors such as adversarial examples. Therefore, much research exists on ensuring the safety and robustness of deep neural networks. Since deep neural networks are large in scale and the activation functions are non-linear, linear approximation methods for such activation functions are proposed and widely used for verification. In this paper, we propose a new technique, called layered abstraction, for non-linear activation functions, such as ReLU and Tanh, and the verification algorithm based on that.
We have implemented our method by extending the existing SMT-based methods. The experimental evaluation showed that our tool performs better than an existing tool.

참고자료

· 없음