영상 만드는 AI 장면 잇기

핵심 포인트

• AI는 영상을 '프레임(사진) 여러 장의 묶음'으로 이해한다. Sora 같은 모델은 영상을 수천 개의 작은 시공간 조각(spacetime patch)으로 나눈 뒤, 이 조각들이 시간 순서대로 어떻게 연결되는지 학습한다.
• 영상 생성의 핵심 기술은 '디퓨전(diffusion)' — 처음에는 TV 잡음 같은 무작위 픽셀에서 시작해, 단계별로 잡음을 제거하며 점점 선명한 영상을 만들어 낸다. 그림을 지우개로 지워가는 과정을 거꾸로 재생하는 것과 같다.
• AI가 자연스러운 영상을 만들려면 '프레임 일관성(temporal consistency)'이 중요하다. 이전 프레임과 다음 프레임을 동시에 참조하는 어텐션 메커니즘 덕분에 캐릭터가 갑자기 모습이 바뀌거나 사라지는 현상을 방지한다.
• 텍스트 한 줄이 영상이 되는 과정: 사용자 입력 문장 → AI가 의미 파악 → 잡음에서 패치 조각 생성 → 조각 연결 → 완성 영상. Sora는 이 과정을 한 번에 처리하므로 최대 60초 영상도 생성 가능하다.
• AI 영상 도구마다 특기가 다르다. Sora는 '텍스트 → 영상' 스토리텔링에, Runway Gen-3는 '이미지/영상 편집 + 프레임 단위 세밀 제어'에 강하다. 도구 선택은 만들고 싶은 영상의 목적에 따라 달라진다.

관련 개념

교사 팁

수업 도입부에 학생들에게 5초짜리 무작위 노이즈 영상(TV 잡음 화면)을 보여준 뒤, "AI는 바로 이 잡음에서 영상을 만들기 시작한다"고 소개하면 즉각적인 호기심을 유발할 수 있다. 이후 실제 Sora 또는 Runway로 짧은 문장("고양이가 달 위에서 피아노를 친다")을 입력해 영상을 생성하고, 결과물의 프레임을 한 장씩 멈춰 보며 "AI가 각 순간을 어떻게 이어 붙였는지" 토론하는 활동으로 연결한다. 추가 심화 활동으로 학생들이 직접 프롬프트 문장을 작성하고 결과 영상의 자연스러움을 1~5점으로 평가하는 '프롬프트 실험'을 진행하면, 언어 표현과 AI 출력의 관계를 체감하게 할 수 있다.

참고 자료

• Sora 개발자들이 소개하는 AI 동영상 생성 원리ko / article

  OpenAI Sora 개발팀이 설명하는 패치(spacetime patch) 기술과 디퓨전 모델 원리를 한국어로 소개한 글. 영상을 수천 개의 작은 조각으로 나누어 연결하는 방식을 쉽게 풀어 설명.

• 비디오생성 AI: 이미지에서 비디오로 (NCSOFT 리서치)ko / article

  국내 AI 연구팀이 작성한 비디오 생성 AI 기술 해설. 디퓨전 모델 원리, Temporal Transformer로 프레임 간 일관성을 유지하는 방법을 한국어로 설명. 중학생 수업 도입 설명 자료로 적합.

• OpenAI Sora: Text-to-Video AI Explained (Encord)en / article

  Sora가 어떻게 텍스트 한 줄로 영상을 만드는지 spacetime patch, 디퓨전 트랜스포머 구조를 그림과 함께 설명한 영어 기술 블로그. 교사 배경 지식 보강용으로 적합.

• What is Runway Gen-3 Alpha? How it Works (DataCamp)en / article

  Runway Gen-3의 visual transformer + diffusion 혼합 구조, temporal consistency(장면 간 일관성) 개념을 비전문가 눈높이로 설명. 'AI 편집 도구'와 '생성 도구'의 차이를 비교해 수업 대조 예시로 활용 가능.

• AI 영상 제작 도구 완벽 비교: Runway Gen-3 vs Pika Labs vs Sorako / article

  세 가지 AI 영상 생성 도구를 표 형식으로 비교 정리한 한국어 글. 각 도구의 입력 방식, 영상 길이, 편집 기능 차이를 직관적으로 보여주어 수업 중 비교 활동 자료로 사용 가능.