"토크나이저 기법"의 검색결과 입니다.

기간
- 전체
- 3개월
- 6개월
- 1년
- 2년
- 3년
- 5년
직접입력

적용
연관순
- 연관순
- 최신순
영역
- 전체
- 제목
- 본문
- 태그
페이지 수
- 전체페이지
- 1 페이지 ~ 5 페이지
- 6 페이지 ~ 10 페이지
- 직접입력 페이지 ~ 페이지 적용
확장자
- 전체
- 한글
- PDF
- MS워드
- MS엑셀
- MS파워포인트
- 압축파일
- 기타
할인자료 보기

연관검색어

자연어처리

판매자 표지는 다운로드시 포함되지 않습니다.

"토크나이저 기법" 검색결과 1-3 / 3건

동적 윈도우와 토크나이저를 이용한 영-중 음차표기 대역쌍 자동 추출 (Automatic Extraction of English-Chinese Transliteration Pairs using Dynamic Window and Tokenizer)

한국정보과학회 김성국, 나승훈, 김동일, 이종혁

논문 | 5페이지 | 무료 | 등록일 2025.02.28 | 수정일 2025.03.06

다운로드
판매자 표지

토큰화(자연어처리)

알아보도록 하겠다.II. 본론1. 토큰화란?- 문장을 토큰 시퀀스로 나누는 과정을 말한다.- 수행 대상에 따라 문자, 단어, 서브워드 등 3가지 방법이 있다.2. 토크나이저란? ... - 토큰화를 실행하는 프로그램을 말한다.- 한국어 토크나이저에는 은전한닢(mecab), 꼬꼬마(kkma) 등이 있다.3. 단어단위 토큰화1) 방법- 단어단위로 토큰화를 진행하는 작업 ... : BERT모델은 BPE와 유사한 워드피스(wordpiece)를 토크나이저로 사용한다.2) 방법- 어휘집합 구축 : 자주 등장하는 문자열을 병합한다. 이를 어휘 집합에 추가

리포트 | 6페이지 | 3,000원 | 등록일 2022.05.07

다운로드 장바구니
판매자 표지

2025 카카오엔터테인먼트 Tech AI Research Scientist 자기소개서와 면접자료

부터 토크나이저 세부 규칙까지 직접 분석하며 문제를 추적했습니다. 이 과정을 통해 모델의 언어 단위 처리 과정에서 한글 복합어 인식이 불완전하다는 사실을 발견했고, 형태소 분석기 ... attention 기법을 도입하자는 의견을 냈습니다. 하지만 팀원 중 한 명은 데이터 품질 문제를 먼저 해결해야 한다고 주장했습니다. 의견 충돌이 이어졌지만, 저는 상대의 주장을 단순한 반대 ... 의 실험을 거쳐 토크나이징 방식이 한글 복합어를 정확히 처리하지 못한다는 점을 발견했고, 이를 수정해 성능을 개선했습니다. 이 과정에서 데이터와 알고리즘의 상호작용을 깊이 이해하게 되었고습니다.

Non-Ai HUMAN
| 자기소개서 | 7페이지 | 3,000원 | 등록일 2025.09.29

다운로드 장바구니

파워링크

신청하기