최대오차 엔트로피 학습법을 위한 개선된 커널폭 조절 방법 (Modified Kernel-width Adjustment for Maximum Error Entropy)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 59권 / 2호 / 3 ~ 7페이지
· 저자명 : 김남용

초록

정보 이론적 학습법의 한 성능기준인 최소 오차 엔트로피 (MEE)는 가우시안 또는 비가우시안 잡음환경의 신호처리, 기계학습, 자동제어 등 많은 응용에 효과적으로 적용되었다. 그러나 커널폭 선택이 매우 민감하여 시스템 성능에 중대한 영향을 미치고 있다. 많은 신호처리 환경에서 오차신호는 대개 시변 통계특성을 지녀서 고정값으로 선택된 커널폭은 MEE 알고리듬을 구현하기에 적합하지 않을 수 있다. KL(Kullback-Leibler) divergence에 근거하여 적응적으로 커널폭을 조절하는 방법이 소개되었으나 갱신 방정식의 분모에 커널폭 세제곱을 내포하고 있다. 이 연구에서 이 커널폭 세제곱 항이 충격성 잡음 상황의 수렴속도를 매우 느리게 만드는 요인임이 발견되었다. 이에 이 논문에서는 수렴속도에 부정적 영향을 미치는 이 세제곱 항을 제거하면서도 동일한 최적 커널폭을 보유하는 보완된 적응 커널 조절법을 제안한다. 채널 equalization 실험을 통하여 학습곡선의 정상상태에서 오차평균전력이 3 dB 이상 향상을 보이며 제안한 방식의 우수성을 입증하였다.

영어초록

Minimum error entropy (MEE) as a method of information theoretic learning has been effectively used in many applications such as signal processing, machine learning and automatic control in Gaussian or non-Gaussian noise environments. The choice of kernel width is very sensitive and has important effects on system performance. In many signal processing environments, the error signal is usually non-stationary so that the fixed kernel width is not appropriate for implement of the MEE algorithm. The conventional kernel width adaptation methods based on Kullback-Leibler divergence contain the cube of kernel width in the denominator of its update equation. This term is found in this paper to lead to a very slow convergence in impulsive noise situations. This paper presents a modified kernel width adaptation method in a way that removes the term having negative impact on convergence speed while preserving the same optimum kernel width. The experiment of channel equalization demonstrates the superiority of the proposed method in learning performance by showing above 3dB enhancement in steady state MSE.

참고자료

· 없음