개념

트랜스포머

문장 안의 중요한 관계를 한꺼번에 살피는 현대 언어 AI의 핵심 구조.

트랜스포머 개념도

핵심 포인트

문장을 앞에서부터 한 단어씩 순서대로 읽는 대신, 단어 사이 관계를 한꺼번에 살핀다.
핵심 장치인 어텐션으로, 멀리 떨어진 단어끼리의 연관도 잘 잡는다.
병렬 계산이 쉬워 대규모 학습에 유리했고, 현대 LLM 대부분의 토대가 됐다.

예시

"그 가방은 무거워서 그것을 내려놨다"에서 "그것"이 "가방"을 가리킴을, 트랜스포머는 단어 관계로 파악한다.

한 걸음 더

트랜스포머는 2017년 "Attention Is All You Need" 논문에서 제안된 구조로, 이후 생성형 AI 붐의 바탕이 됐다.

관련 개념

역링크