CNN을 이용한 차량용 카메라 이미지센서의 고장진단 (Failure Diagnostics of Camera Image Sensor For Vehicle Using CNN)

서지정보

· 발행기관 : 한국산학기술학회
· 수록지 정보 : 한국산학기술학회논문지 / 23권 / 12호 / 877 ~ 884페이지
· 저자명 : 이준혁, 권민경, 김영범, 허장욱

초록

최근 자율주행 기술 개발과 함께 차량 내 카메라 모듈 수가 확대되며 활용 기술이 다양해지고 있다. 차량용 카메라는 여러 가지 노출 환경으로 인해 다양한 종류의 고장이 발생하여 높은 신뢰성이 요구되며, 그중 주변 환경을 영상으로 출력하는 이미지센서의 역할이 중요하다. 전자장비에 PHM을 적용하는 경우 상태를 관찰할 수 있는 센서를 부착하는 과정이 어려워 전기적인 신호 출력 값들을 추출하기가 쉽지 않다. 따라서, 본 연구에서는 차량용 카메라에 대해 FMEA를 적용하여 기능별 잠재적 결함을 분석하고, 센서 부착으로 인해 회로기판에 영향을 주지 않기 위해 이미지를 통해 이미지센서의 상태를 진단하는 딥러닝 모델을 제작하였다. 동영상을 프레임마다 분류해야 하므로 단위 시간당 많은 연산을 처리할 수 있는 CNN의 주요 모델 중 VGGNet을 기반으로 학습을 진행하였고, 전체 데이터를 50%, 25%, 25%로 나누어 각각 Training, Validating, Testing데이터로 사용하였다. 이미지 손상 정도에 따라 고장진단분류 학습결과 Precision, Recall, F1-Score 및 Accuracy는 평균 92.6%의 성능을 확인하였으며, Grad-CAM을 사용하여 모델이 정확하게 학습되었는지 검증하였다. 본 실험에서 사용된 시편의 수가 적어 가속수명시험 적용이 제한되었으며, 충분한 시편의 수와 가속성 검증을 고려한 가속수명시험을 통해 데이터를 수집하면 정확한 수명예측도 가능할 것으로 기대된다.

영어초록

With the recent development of autonomous driving technology, the number of camera modules in the vehicle is expanding, and the technology to utilize is diversifying. Vehicle cameras require high reliability because of various failures caused by various exposure environments. Among them, the role of an image sensor that outputs the surrounding environment as an image is important. When PHM is applied to electronic devices, extracting the electrical signal output value is problematic because it is difficult to attach a sensor that can observe the state. Therefore, this study applied FMEA to a vehicle camera to analyze potential defects by function. A deep learning model was developed to diagnose the state of the image sensor through images so that the sensor attachment does not affect the circuit board. Because videos have to be classified for each frame, training was conducted based on VGGNet among the main models of CNN that can process many operations per unit of time. The total data was divided into 50%, 25%, and 25% and used as training, validating, and testing data, respectively. As a result of learning the fault diagnosis classification according to the degree of image damage, the performance of precision, recall, F1-Score, and accuracy was 92.6% on average, and the model was verified using Grad-CAM. As the number of samples used in this experiment was small, there was a limit to the application of the accelerated life test. Accurate life prediction may be possible if data are collected through the accelerated life test considering the sufficient number of samples and acceleration verification.

참고자료

· 없음