교차 모달리티에 의한 감각적 몰입과 기억 (A Case Study on Immersion and Memory through Cross-Modality: Focusing on Acoustic Analysis)

서지정보

· 발행기관 : 한국언론정보학회
· 수록지 정보 : 한국언론정보학보 / 129호 / 94 ~ 125페이지
· 저자명 : 김정선, 김옥현

초록

본 연구는 교차 모달리티를 중심으로 청각적 자극이 후각, 촉각, 미각과 같은 비시각적 감각으로 전환되는 현상을 탐구하였다. 기존 연구들이 시각과 청각의 상호작용에 집중되었던 한계를 보완하기 위해, 본연구는 정량적 데이터와 정성적 심층 인터뷰를 결합한 방법을 사용하였다. 연구 결과, 청각적 자극의 물리적 특성인 주파수, 리듬, 볼륨 변동이 감각 전환을 유도하는 핵심 요소임을 확인했다. 고주파는 가볍고 상쾌한 향기나 단맛을 떠올리게 하고, 저주파는 묵직한 향기나 물리적 진동을 연상시켰으며, 리듬과볼륨 변화는 촉감의 질감이나 음식의 맛을 상상하게 했다. 정성적 인터뷰 결과, 참여자들은 청각적 자극을 통해 풀내음과 같은 후각적 상상, 압박감이나 진동과 같은 촉각적 감각, 그리고 풍미와 식감과 같은미각적 이미지를 생생하게 떠올리며 감각적 몰입을 경험했다고 응답했다. 이러한 결과는 교차 모달리티를 통해 청각이 감각의 경계를 허물고 비시각적 감각과 상호작용하며 새로운 감각 경험을 창출하는중요한 매개체임을 입증한다. 본 연구는 다감각적 미디어 콘텐츠의 설계와 사용자 경험 연구에 실질적인 이론적·실무적 시사점을 제공한다.

영어초록

This research delves into the phenomenon where auditory stimuli are converted into non-visual sensory experiences, including smell, touch, and taste, through cross-modal interactions. In response to the shortcomings of previous studies that mainly examined visual-auditory relationships, this research adopts a mixed-methods strategy, integrating both quantitative data analysis and qualitative in-depth interviews. The results indicate that the auditory stimuli’s physical characteristics—such as frequency, rhythm, and variations in volume—are essential in enabling sensory transitions. Elevated frequencies were linked to light and invigorating scents or sweet flavors, whereas lower frequencies summoned rich aromas or tactile sensations. Fluctuations in rhythm and volume were shown to trigger tactile perceptions related to texture or imagined culinary tastes. In-depth interviews further illustrated that participants experienced vivid sensory immersion, conjuring olfactory impressions like freshly cut grass, tactile sensations such as pressure or vibrations, and gustatory aspects like crispness and deep flavors in reaction to auditory signals. These findings highlight that auditory stimuli serve as a key mediator in breaking down sensory barriers through cross-modality, creating new multi-sensory experiences and interactions with non-visual senses. This study offers significant theoretical and practical insights for the development of multi-sensory media content and research into user experiences.

참고자료

· 없음