사건관련전위(ERP)의 딥러닝기반 경두개 자기자극(TMS)을 이용한 감정인식에 관한 연구 (A Study on Emotion Recognition by Before/After Transcranial Magnetic Stimulation(TMS) Based on Deep Learning of Event-Related Potential(ERP))

서지정보

· 발행기관 : 한국차세대컴퓨팅학회
· 수록지 정보 : 한국차세대컴퓨팅학회 논문지 / 21권 / 1호 / 111 ~ 121페이지
· 저자명 : 손귀영

초록

경두개 자기자극(Transcranial magnetic stimulation, TMS)은 대뇌피질을 자극하는 비침습형 측정 방법으로 뇌의 특정위치에 코일을 통한 강력한 전류의 순간적 강한 자기장을 가하므로써, 이를 통하여, 뇌의 특정영역의 신경세포를 활성화 혹은 억제시키는 뇌 자극술이다. 특히, 배외측 전전두엽 피질(Dorsolateral prefrontal cortex, DLPFC)에 적용된 저주파의 반복적으로 가해지는 TMS 자극법은 감정처리와 관련되어 유효성이 검증되면서 의학, 심리학 등 다양한 정신질환 및 심리치료에서 활용되고 있다. 이러한 TMS의 유효성을 바탕으로, 본 연구에서는 사용자가 감정문장을 읽는 동안, TMS를 사용하여 뇌의 특정영역에 자극을 가한 후, TMS 전후 감정변화에 대하여 알아보고자 한다. 즉, TMS 자극 전/후의 감정에 대한 반응을 사건관련전위(Event-related potential, ERP)방법으로 뇌파를 기록하고, 감정과 관련된 ERP 성분(Component)을 검출 후, 이를 기계학습 활용하여 그 성능을 평가하고자 한다. 먼저, 6개의 감정(분노, 흥분, 두려움, 지루함, 슬픔, 행복)과 중립의 감정문장을 제시하고, 이를 2번으로 나누어, 총 280개를 사용하여 데이터를 수집하였다. 측정된 뇌파는 방해파 제거 등의 전처리 과정을 거친 후, 감정과 관련된 ERP 성분인 후기 정적 복합체(Late positive complex, LPC)를 검출하였다. 마지막으로, 100ms당 1개의 스펙트로그램(Spectrogram)으로 이미지를 생성하고, 이에 대한 성능 평가를 진행하였다. 그 결과, TMS 자극 전/후 비교해보면, TMS 자극 후가 자극 전보다 감정인식 성능이 높게 나타났으며, 합성신경망(Convolutional Neural network, CNN)을 사용할 때, 4개의 감정에 대해서 86.39%의 가장 높은 성능을 얻었다. 본 연구는 TMS 처치를 통한 뇌 인지기능조절을 통한 감정반응의 효과를 확인하였고, 감정조절과 뇌 반응에 효과적이라는 것을 확인할 수 있었다.

영어초록

Transcranial magnetic stimulation (TMS) is a non-invasive measurement method that stimulates the cerebral cortex to examine human brain function. For this reason, many fields, ranging from medicine and psychology to computer science, focus on identifying and recognizing human emotions to better understand individual states and comprehend specific situations. This study aims to determine emotional responses by controlling brain cognitive functions through TMS. In particular, low-frequency repetitive TMS applied to the dorsolateral prefrontal cortex (DLPFC) has been verified as effective in emotional processing. Hence, it is used in various mental illnesses, psychotherapy, medicine, and psychology. In this paper, we investigate the effects of low-frequency repetitive TMS applied over the DLPFC while reading emotional sentences. In addition, we record EEG (electroencephalogram) using Event-related potential (ERP) to examine brain responses before and after TMS stimulation, detect ERP components related to emotion, and evaluate with machine learning. First, we selected 280 emotional sentences as standardized elicitation samples for self-induced emotion from EEG signals using ERP that described six discrete emotions, i.e., anger, excited, fear, bored, sadness, happiness, and neutral in the baseline. We focus on the emotion-related ERP component, Late Positive Complex (LPC), extracted by raw EEG signals. Then, we generate the EEG signals to spectrogram as images per 100 ms. As a result, we confirm that emotion recognition after TMS stimulation is higher than before. Also, we achieved the best recognition accuracy of 86.39% after TMS treatment compared to before TMS treatment using CNN. In conclusion, our study means that TMS treatment is effective for emotion control and brain response. In the future, it will be possible to consider individual variance differences or conduct research using various deep-learning methods.

참고자료

· 없음