"갑자기 터진 신기술"이라는 인상을 뒤집는다. "오래된 신경망이 왜 하필 2012년에 부활했나"를 한 질문으로 따라가, 혁명이 아이디어 × 재료의 사건임을 논증한다.
"딥러닝이 갑자기 터졌다"는 인상을 6단계로 분해한다. 윗줄은 "신경망은 왜 하필 그때 부활했나"를 논증하고, 아랫줄은 그 부활이 일으킨 도미노와 '깊이의 힘'으로 잇는다.
딥러닝이 뉴스에 도배되기 시작한 게 2010년대라, 많은 이가 그것을 그 시절에 처음 발명된 기술로 안다. 하지만 그 핵심 아이디어인 인공 신경망은 이미 1950년대에 나왔고, 두 번이나 '죽었다'가 되살아났다. '갑자기'라는 인상은 긴 잠복기를 가린 착시다.
신경망의 첫 모델 퍼셉트론은 1958년(로젠블랫)에 나왔다. 그 뒤 한 번 시들고, 1980년대 잠깐 살아났다 또 시들고, 2010년대에야 세 번째로 폭발했다. '신기술'이 아니라 세 번 도전한 끈질긴 아이디어다.
딥러닝 혁명의 정체는 이렇다 — 오래된 아이디어(신경망)가, 오래 없던 재료(데이터·연산·기법)를 마침내 만난 사건. 아이디어는 1950년대부터 있었지만 재료가 없어 두 번 죽었고, 2010년경 재료가 갖춰지자 같은 아이디어가 폭발했다. 즉 새로 발명된 건 아이디어가 아니라, 그것을 작동시킬 조건이었다.
인공 신경망 — 뇌의 뉴런을 본떠 '예시로 배우는' 구조(1958~). 발상 자체는 수십 년째 거의 그대로.
빅데이터(인터넷·스마트폰) + GPU(값싼 대량 연산) + 학습 기법(여러 층을 실제로 훈련하는 요령). 이 셋이 2010년경 동시에 무르익었다.
신경망은 뇌의 뉴런을 흉내 낸다. 입력을 받아 가중치(연결 세기)를 곱해 다음 층으로 넘기고, 답이 틀리면 그 가중치를 조금씩 고친다. 이 '틀림→교정'을 거꾸로 전파하는 방법이 역전파(1986)다. 층을 깊게(deep) 쌓으면, 낮은 층은 단순한 특징을, 높은 층은 복잡한 특징을 스스로 잡는다 — 이게 A2에서 말한 '특징도 스스로'의 정체다.
사진의 픽셀 값
선·모서리(엣지)
눈·귀 같은 부분
'고양이'라는 판단
신경망이 바로 안 터진 건 아이디어가 나빠서가 아니라 재료가 없어서였다. 부풀린 기대가 깨질 때마다 연구비가 끊기는 'AI 겨울'이 두 번 닥쳤고, 그때마다 신경망이 가장 큰 타격을 받았다.
민스키·페퍼트(1969)가 단층 퍼셉트론이 XOR 같은 간단한 문제조차 못 푼다는 걸 증명. 신경망 연구가 거의 동결됐다. (여러 층이면 풀리지만, 당시엔 훈련법이 미숙)
역전파로 잠깐 살아났지만, 데이터도 연산도 턱없이 부족했다. 깊은 망은 훈련이 안 되고 느렸다. 기대가 다시 식으며 투자가 빠져나갔다.
"때를 잘 만난 운"이라는 반론은 절반만 맞다. 분명 타이밍이 중요했지만, 그 타이밍은 우연이 아니라 세 흐름이 같은 시기에 임계점을 넘은 결과였다. 하나라도 빠졌으면 부활은 없었다 — 그래서 '운'이 아니라 '조건의 수렴'이라 부르는 게 정확하다.
인터넷·스마트폰으로 라벨 붙은 이미지가 폭증. 이미지넷(2009)이 1,400만 장 규모의 학습장을 열었다.
게임용 그래픽 칩이 신경망 계산에 딱 맞았다. 학습이 수십 배 빨라져 깊은 망도 훈련 가능.
ReLU·드롭아웃 등으로 깊은 망의 훈련 난제를 풀어, 층을 더 깊이 쌓을 수 있게 됐다.
세 재료가 한 점에서 만난 순간이 2012년 이미지넷 대회다. 힌튼 연구팀의 AlexNet이 GPU로 학습한 깊은 신경망으로, 이미지 인식 오류율을 경쟁자보다 압도적으로 낮추며 우승했다. 이 한 번의 결과로 전 세계 연구가 일제히 딥러닝으로 돌아섰다 — '갑작스러운 혁명'으로 보이는 그 장면이다.
10%포인트는 그 분야에선 충격적인 격차였다. 사람들은 깨달았다 — "데이터 + GPU + 깊은 신경망"이면 손으로 규칙을 짜는 방식을 압도한다는 것을. 이듬해부터 대회 상위권은 전부 딥러닝이 차지했다.
2012년 이미지에서 증명된 딥러닝은, 같은 방식을 다른 분야에 그대로 옮기며 연쇄적으로 기록을 갈아치웠다. 입력만 바꾸면(사진→소리→글) 같은 '깊은 학습'이 통했기 때문이다. 그 도미노의 끝에 오늘의 생성형 AI가 있다.
왜 얕은 망보다 깊은 망이 강할까? 깊은 망은 정보를 층층이 추상화한다. 아래층은 가장 단순한 조각(선·점)을, 위로 갈수록 그 조각을 조합한 더 큰 의미(눈→얼굴→사람)를 잡는다. 사람이 일일이 "무엇을 보라"고 안 정해줘도, 층의 깊이가 그 사다리를 자동으로 만든다 — 이것이 표현 학습(A2)의 실체다.
입력에서 답으로 직행하려니, 복잡한 패턴은 한 층으로 못 담는다. 사람이 특징을 떠먹여 줘야 했다.
픽셀→엣지→부분→사물로 단계마다 더 추상적인 개념을 쌓는다. 그래서 사람이 특징을 안 정해도 스스로 의미를 찾는다.
B4의 수확은 "갑작스러운 도약 뒤엔 대개 '재료의 변화'가 숨어 있다"는 보는 눈이다. 어떤 AI가 갑자기 잘하게 됐다면, 천재의 영감보다 먼저 데이터가 늘었나, 연산이 싸졌나, 새 기법이 나왔나를 묻는다. 이 눈이 있으면 과장 마케팅에 속지 않고 진짜 동력을 짚는다.
"AI가 마침내 의식을 가졌다" 같은 과장과, "데이터·연산이 임계점을 넘었다"는 현실적 동력을 구분하게 된다. 다음 도약도 재료의 변화에서 예고된다.
이 장은 사건을 나열한 게 아니라, "신경망은 왜 하필 그때 부활했나"라는 한 질문을 따라간 추론이었다. 출발은 "2010년대 신발명"이라는 통념, 도착은 "오래된 아이디어가 재료를 만나 터졌다"는 결론이었다.