어텐션

핵심 포인트

• 입력의 모든 부분을 똑같이 보지 않고, 지금 중요한 부분에 더 큰 가중치를 준다.
• 덕분에 문장에서 어떤 단어가 어떤 단어와 관련 깊은지를 학습할 수 있다.
• 트랜스포머의 핵심 메커니즘으로, 멀리 떨어진 맥락도 연결한다.

예시

"사과를 먹었다"를 번역할 때, "사과"가 과일인지 사죄인지 판단하려 어텐션이 주변 단어에 집중한다.

관련 개념

역링크

• C6. 트랜스포머 어텐션 메커니즘