멀티 헤드 어텐션의 재설계와 헤드 믹싱 기법으로 인한 메모리 및 연산량 감소 (Redesigning Multi-head Attention and Mixing Heads to Save Memory and Computation)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 61권 / 12호 / 70 ~ 73페이지
· 저자명 : 김규동, 김진현, 나혁주, 장현성, 박재민, 황재기, 하남구, 김승룡, 김영근

초록

트랜스포머는 멀티 헤드 셀프 어텐션 메커니즘에 기반한 탁월한 병렬처리 능력으로 유명하다. 이 메커니즘으로 트랜스포머의 각 헤드는 자신만의 토큰 집합을 병렬적으로 처리하여 입력 시퀀스에 대해 다양한 정보를 학습한다. 하지만 이전 연구에서 모든 헤드가 유용한 정보를 배우는 것이 아니고 일부 헤드만이 독점적으로 주요 정보를 학습하여 중요한 역할을 수행한다는 것이 밝혀졌다. 이것은 여러 헤드가 다양한 요소를 학습해야하는 본래 멀티 헤드 어텐션의 목적과 부합하지 않으므로, 본 논문에서는 모든 헤드가 독립적으로 중요한 정보를 학습하여, 추론 단계에서 모든 헤드가 참여할 수 있도록 기존 멀티 헤드 어텐션 메커니즘을 재설계하였다. 추가적으로, 각 헤드에서 배운 서로 다른 유용한 정보를 통합하는 헤드 믹싱 기법도 새로 제안한다. 최종적으로 재설계된 멀티 헤드 어텐션을 통해 기존 트랜스포머 대비 헤드 수에 비례한 메모리 및 연산량 절감 효과를 얻을 수 있다.

영어초록

Transformers are renowned for their exceptional parallelism, primarily due to their multi-head self-attention mechanism. This capability allows each head to concurrently process its own set of tokens, integrating diverse information from the input sequence. However, previous studies have shown that not all heads learn valuable and distinct features from each other, instead only a few selected heads prove significant. This does not align with the purpose of multi-head attention, therefore, in this paper, we redesign the multi-head attention mechanism to ensure each head focuses on different features of the input, promoting the capture of unique, non-overlapping features. This approach allows all heads to contribute effectively during the inference stage. Additionally, we introduce a head mixing strategy to enhance information aggregation between heads, thereby enabling richer predictions. Finally, as our method allows each multi-head to attend different segments of the input, we achieve memory and computational savings proportional to the number of heads.

참고자료

· 없음