트랜스포머 어텐션 메커니즘

핵심 포인트

• AI가 긴 문장을 이해할 때 모든 단어를 똑같이 보지 않는다. '어텐션'은 지금 중요한 단어에 더 많은 집중을 할당하는 점수판이다.
• 셀프 어텐션(Self-Attention)은 같은 문장 안에서 단어끼리 서로 얼마나 관련 있는지 계산한다. '나는 은행에 갔다'에서 '은행'이 금융기관인지 강변인지를 주변 단어를 참고해 판별한다.
• Query(질문)·Key(열쇠)·Value(내용) 세 역할로 나뉜다. 마치 도서관에서 '검색어(Query)'로 '책 제목(Key)'을 찾아 '책 내용(Value)'을 꺼내는 것과 같다.
• 트랜스포머는 단어를 순서대로 하나씩 읽는 대신 문장 전체를 한꺼번에 처리하기 때문에 병렬 계산이 가능해 훨씬 빠르다. 이것이 GPT·Gemini 등 현재 AI의 핵심 원리다.
• 2017년 'Attention Is All You Need' 논문 한 편이 번역·의료·코드 생성 등 AI 전 분야를 바꿨다. 오늘날 ChatGPT·Claude 모두 이 아이디어 위에 서 있다.

관련 개념

교사 팁

도입 활동으로 '형광펜 게임'을 써 보세요. 학생에게 짧은 문단(3~4문장)을 주고, 특정 단어(예: '그것')가 가리키는 대상을 찾아 형광펜으로 연결하게 합니다. 학생들이 자연스럽게 주변 단어를 훑으며 연관성을 찾는 과정이 곧 어텐션 메커니즘입니다. "방금 여러분이 한 것, AI도 똑같이 합니다"라고 연결하면 개념이 바로 내재화됩니다. 이후 3Blue1Brown 영상의 도입 2분을 보여주면 시각적으로 확인이 됩니다.

참고 자료

• 트랜스포머(Transformer)가 뭔데? AI 혁명의 핵심 모델 알기 쉽게 들여다보기ko / article

  카카오클라우드 공식 블로그. '배경 지식 없어도 이해할 수 있도록' 풀어 쓴 한국어 입문 글. '나는 은행에 갔다'처럼 친숙한 한국어 예문으로 문맥 파악 능력을 설명. 인코더·디코더 비유, 셀프 어텐션 개념까지 단계적으로 소개.

• 트랜스포머 모델 쉽게 이해하기 — 어텐션 메커니즘 기반 기계 번역 (한빛+)ko / article

  한빛미디어 공식 채널. Tom·영희 캐릭터 대화로 RNN의 한계 → 어텐션 해결 → 트랜스포머 순서로 진행. 수식 없이 서사형으로 설명해 중학생도 흐름을 따라가기 좋음. BERT·GPT까지 연결.

• Attention in Transformers, Visually Explained | 3Blue1Brown Deep Learning Ch.6en / video

  3Blue1Brown(Grant Sanderson) 유튜브. 수학 애니메이션으로 어텐션을 시각화한 딥러닝 시리즈 6화(2024). Query·Key·Value 벡터가 어떻게 상호작용하는지 움직이는 그림으로 보여줘 수식을 몰라도 직관적으로 이해 가능. 영어지만 자동 한국어 자막 지원.

• The Illustrated Transformer — Jay Alammaren / article

  세계에서 가장 많이 인용되는 트랜스포머 시각화 블로그 포스트. Stanford·MIT 등 명문대 강의에서 활용. 단어 벡터가 어텐션 레이어를 통해 어떻게 변환되는지 정적 그림으로 단계별 묘사. 영어지만 한국어 번역본 링크도 있음.

• Attention Is All You Need — 나무위키ko / wiki

  2017년 원논문 'Attention Is All You Need'를 한국어로 요약한 나무위키 문서. 논문의 배경·의의·구조를 백과사전 형식으로 정리. 교사가 수업 전 논문 맥락을 빠르게 파악하거나 학생에게 '이 논문이 왜 유명한가'를 설명할 때 참고 자료로 적합.