인공지능의 고속 발전에 기여한 기술 등장
- 2017년 구글은 ‘Attention is all you need’ 논문을 발표하며, 자연어 처리 분야에 그간 없던 혁신적인 방법을 제시
- 트랜스포머는 언어 처리의 병렬화를 통해 계산 효율성을 향상 시키며, 그간 순차적으로 단어를 학습하는 알고리즘의 한계를 극복
- 트랜스포머 공개 이후 글로벌 빅테크 기업들은 모두 트랜스포머 기반의 언어모델을 앞다투어 연구하고 공개하기 시작
- 언어모델의 표준처럼 불리는 구글의 BERT, 오픈AI의 GPT등은 트랜스포머 기반으로 개발된 언어모델
- 전통적으로 이미지 분야는 CNN, 언어처리 분야는 트랜스포머가 주류였으나 최근 이미지 분야에도 트랜스포머 방식 도입으로 CNN보다 우수한 성능을 내는 트랜스포머 기반의 시각지능 AI가 공개되는 등 트랜스포머의 영향력이 지속적으로 확대 중
