다빈치!카탈로그 - 트랜스포머 (Transformer)


지식 : 자연어 처리(NLP) 및 다양한 인공지능(AI) 분야에서 사용되는 딥러닝 모델이다. 2017년 구글의 바스와니(Vaswani) 등이 논문 "Attention is All You Need"에서 처음 제안하였다. 특징 1. 셀프 어텐션(Self-Attention) 메커니즘 - 입력 데이터 내 요소 간 관계를 학습하여 문맥을 효과적으로 파악한다. 2. 병렬 처리 가능 - 순차적 연산이 필요한 RNN과 달리, 병렬 연산이 가능하여 학습 속도가 빠르다. 3. 인코더-디코더 구조 - 번역 모델 등에서 사용되며, 인코더가 입력을 처리하고 디코더가 출력을 생성한다. 4. 멀티 헤드 어텐션(Multi-Head Attention) - 여러 어텐션 헤드를 사용하여 다양한 관점에서 정보를 분석할 수 있다. 5. 위치 임베딩(Positional Encoding) - 순서 정보를 포함하여 문맥 속에서 올바른 의미를 유지할 수 있도록 한다. 6. BERT, GPT 등의 발전 - BERT는 양방향 학습을 활용하며, GPT는 단방향 학습을 기반으로 한다. 7. 다양한 응용 분야 - 자연어 처리뿐만 아니라, 이미지 처리(Vision Transformer), 음성 인식 등 다양한 분야에서 활용된다. 트랜스포머는 기존 RNN 및 CNN 기반 모델보다 뛰어난 성능을 보이며, 현대 인공지능 모델의 핵심 기술로 자리 잡고 있다. 【인용】ChatGPT (2025.2) [숨기기]