입 움직임 시각 단서가 청각 언어 지각에 미치는 영향: 구조 방정식 모델 연구 (The influence of visual mouth cue on auditory speech perception: Structural Equation modeling)

서지정보

· 발행기관 : 한국인지및생물심리학회
· 수록지 정보 : 한국심리학회지: 인지 및 생물 / 20권 / 4호 / 223 ~ 246페이지
· 저자명 : 김희정, 이동수, 강은주

초록

본 연구는 시청각 언어 지각 중에 관여하는 우반구의 두뇌 영역들의 신경망을 제안하고, 그 신경망 내의 연결 관계가 청각 문장과 함께 제시되는 화자의 입 움직임 시각적 단서들의 속성에 따라 어떻게 변화하는 지를 탐색한 연구이다. 이 신경망 연구는 정상 청력을 가진 성인(N=12)이 청각 문장의 진위를 판단하는 과제를 수행하는 중에 청각 언어 자극과 함께 제시되는 서로 다른 시각 자극 조건(다문 입 모양, 껌 씹는 입 움직임, 청각 문장 자극과 일치하는 입 움직임)에 따라 다르게 활성화 되는 영역을 관찰한 사전 fMRI 연구 결과를 자료로 하였다. 우반구의 전측 및 후측의 상 측두구, 좌측 Broca에 대응되는 우측 Broca영역, 그리고 우측 V5/MT 영역들과 시각피질 영역이 본 연구의 관심영역으로 선택되어 경로 분석에 사용되었으며, 구조방정식모형(Structural Equation Modeling)을 이용하여 영역들 간의 경로 관계를 분석한 결과 시각 피질에서 V5/MT영역이 시각 조건과 무관하게 늘 유의한 반면, 입 움직임이 있는 두 조건에서는 V5/MT영역에서 후측 상 측두구로의 경로가, 청각문장과 일치한 입 움직임 조건에서는 후측 상 측두구에서 전측 상 측두구로의 경로가 유의한 것으로 나타났다. 특히 V5/MT영역과 Broca영역 사이의 경로가 조건에 따라 역동적 변화를 보였는데, 입 움직임이 없는 조건에 비해 화자의 무의미한 입 움직임이 제시된 조건에서는 V5/MT영역에서 Broca 영역으로의 경로가 부적에서 정적인 연결로 바뀌는 반면, 그 반대 방향(Broca에서 V5/MT)으로의 경로는 정적에서 부적 연결로 변화하였다. 특히 청각문장과 일치하는 입 움직임 조건에서는 위의 경로들의 연결 강도는 더욱 유의하게 증가하였다. 시청각 문장의 교차양상(cross-modal) 처리 시에 활성화되는 우반구 영역들 간의 네트워크간의 이러한 역동적 변화는, 우반구 회로 내의 선택적 억제과정이 존재할 가능성을 의미한다.

영어초록

Visual cues emitted from a speaker, such as mouth and lip movements, are critical aspects of sensory information that influence auditory speech perception in face to face conversation. The way in which these complex visual cues are processed remains to be elucidated. Here we apply fMRI to a cross-modal speech perception paradigm in order to determine how functional connectivity between brain areas changes depending on the type of visual cue. Data obtained from a previous fMRI study in which three conditions, closed mouth (CM), twitching mouth (TM), or speaking mouth (SM) were delivered during an auditory sentence perception task. Structural Equation Modeling (SEM) was used to estimate functional strengths of links in a network among the brain regions activated in these three conditions. The chosen brain areas, which were modeled only in the right hemisphere, consisted of visual areas (lingual gyrus and V5/MT), both anterior and posterior superior temporal sulci (aSTS and pSTS), and the area equivalent to left Broca’s area (rBroca’s). Significant differences were found for the functional linkages between V5/MT and rBroca’s area across the three conditions. The path from V5/MT to rBroca became positive both during the TM and SM conditions, whereas that in the CM condition was negative. However, the connection from rBroca to V5/MT became negative both during the TM and SM, whereas that in the CM condition was positive. Additional linguistic information, such as the mouth movements of the SM condition, resulted in increased statistical significance of these linkages relative to the TM condition. The dynamic changes in functional connectivity between V5/MT and Broca’s area in the right hemisphere may subserve the cross-modal processing of auditory speech by inhibiting irrelevant or interfering visual cues from mouth movement.

참고자료

· 없음