출처: https://wikidocs.net/166226
- 1949년 논문에 등장 - 기계번역
- ~1980 : 규칙기반
- 1968 Systran, Peter Toma, 1924~
- 동음이의어 등 규칙 지정의 한계
- ~1990 : 예시기반
- 마코토 1936~2021 예시기반 기계번역
- 예시와 데이터가 많을수록 결과는 정교해 짐
- ~2014 : 통계기반
- 문장을 단어 또는 구문 단위로 분할하여 번역한 후 합침
- 합치는 과정은 확률적인 방법 이용
- 2015년 이후 : 신경망기반
- 신경망 기반 기계번역 : 조경현
- 2010년 딥러닝을 기계번역에 도입 : Neural Machine Translation
- 어텐션 : Attention
- 보다 중요한 단어를 강조하는 원리
- Transformer Model
- "Attention is all you need" : Transformer
- 인코더 : 입력 문장을 압출 (한 종류의 어텐션)
- Bert : 인코더가 문장의 의미를 압축해 낼 수 있는 것에 착안된 모델
- 디코더 : 인코더 압축 벡터를 출력 문장으로 생성(두 종류의 어텐션)
- GPT-3 : 디코더가 문장을 생성하는 데서 착안된 모델
- 최근 신경망 기반의 기계번역은 모두 이 트랜스포머 모델을 기반으로 함
출처: https://deepai.org/publication/attention-is-all-you-need
