뉴런 커버리지 변화에 따른 학습 데이터의 모델 영향력 평가 (Evaluation of Model Influence of Training Data according to Neuron Coverage Change)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 59권 / 5호 / 83 ~ 90페이지
· 저자명 : 김주형, 유동연, 이정원

초록

일반적인 소프트웨어 테스팅 기법은 크게 블랙박스 테스트, 화이트박스 테스트로 나뉘며 딥러닝 모델은 내부구조를 확인하기 힘든 특성상 블랙박스 테스트에 대한 연구가 더욱 활발하게 수행되고 있다. 그러나 학습결과의 신뢰성을 위해 모델 내부 동작을 관찰 할 수 있는 화이트박스 테스트도 필요하며, 최근 뉴런 커버리지를 이용한 테스트 케이스 생성에 대한 연구도 진행되고 있다. 본 논문에서는 이러한 뉴런 커버리지를 학습한 결과물로서 학습 모델 테스트에만 적용할 것이 아니라, 학습 데이터의 선택이 모델 성능에 미치는 영향을 평가하는 데에 적용해 보고자 한다. 고른 특징 분포를 갖는 학습 데이터를 이용하여 생성된 모델이 랜덤하게 학습 데이터를 사용한 경우보다 11.25% 더 큰 뉴런 커버리지의 변화가 확인되었다. 또한 더 큰 뉴런 커버리지를 보이는 데이터를 이용하여 모델을 재학습한 경우 뉴런 커버리지의 변화율이 50%에서 379%까지 높아지는 것을 확인할 수 있으며, 변화가 클수록 정확도가 낮아지는 것을 확인할 수 있다. 추가적으로, PGD를 사용한 데이터셋과 앞의 두 가지 데이터셋을 비교하면, PGD 쪽이 정확도가 최대 20%까지 낮게 나타나는 모습과 함께, 뉴런 커버리지의 변화가 낮게 나타남을 확인할 수 있다. 이에 관해서는, 전체 뉴런 분포에서 각각의 뉴런 값의 분산을 비교함으로써, 분산 값이 클수록 데이터셋의 모델에 대한 정확도가 낮아짐을 확인할 수 있다.

영어초록

software testing techniques are largely divided into black box tests and white box tests, and research on black box testing is being conducted more actively due to their difficulty in identifying their internal structure. However, for the explainability of learning results, a white box test is also required because that can observe the internal behavior of the model so research on the generation of test cases using neuron coverage is also being conducted recently. In this paper, neuron coverage is not only applied to learning model test, but also to evaluate the effect of selection of learning data on model performance. 11.25% larger neuron coverage was confirmed when models generated using even feature distribution train dataset then original train dataset. In addition, when the model is re-learned using trainn dataset showing greater neuron coverage, it can be seen that the rate of change in neuron coverage increases from 50% to 379%, and greater change, lower accuracy. Additionally, comparing the previous two datasets with PGD, it can be seen that the change in neuron coverage is low, along with the appearance of PGD side showing accuracy down to 20%. In this regard, by comparing the variance of each neuron value in entire neuron distribution, it can be confirmed that greater variance value, lower the accuracy for deep learning model of the dataset.

참고자료

· 없음