은 모든 토큰을 표현할 수 있다. 하지만 어휘 집합의 크기가 약간 커지더라도 토큰 시퀀스의 길이를 줄이기 위한 목적으로 BPE(BytePairEncoding)를 실시한다.1) 초기 ... : BERT모델은 BPE와 유사한 워드피스(wordpiece)를 토크나이저로 사용한다.2) 방법- 어휘집합 구축 : 자주 등장하는 문자열을 병합한다. 이를 어휘 집합에 추가 ... )- ZydZyac -> XdXac (Zy의 발생빈도가 높아 X로 대체)4) 효과- 앞에서 진행한 결과를 분석하면 BPE는 사전의 크기를 지나치게 늘리지 않으면서도 데이터의 길이