|
|
|
 |
 |
| |
 |
제 목 :
[NDC 2026] NC AI 장한용 실장 “얼굴 애니메이션, 후처리 없이 안정성 확보” |
 |
작성자 :
|
등록일 : 2026-06-17 오후 2:11:16 |
|
|
 |
 |
 |
넥슨 개발자 콘퍼런스(NDC) 2026 둘째 날인 6월 17일, NC AI 장한용 실장은 판교 넥슨 사옥 1층 1994홀에서 ‘음성에서 표정으로 - 생성AI를 이용한 얼굴 애니메이션 제작 효율화’를 주제로 발표했다. 발표는 음성 정보로 게임 캐릭터 얼굴 애니메이션을 만드는 기술 ‘VARCO SyncFace’ 개발 과정과 실제 제작 파이프라인 적용 사례를 다뤘다.
장한용 실장은 컴퓨터 그래픽스 박사 학위를 받은 뒤 NC에서 15년가량 AI 기술 개발을 맡아 왔다. 최근에는 피지컬 AI 분야에서 활동하고 있고, 시그래프와 GDC 등 게임·그래픽스 분야 발표 경험도 쌓았다.
발표 초점은 그래픽 품질과 바디 애니메이션 상향 평준화 뒤 남은 얼굴 표현 격차에 맞춰졌다. 캐릭터 입술과 표정이 대사와 맞지 않으면 완성도 체감이 떨어지고, 대사량이 많은 MMORPG에서는 제작 부담이 더 커진다.
기존 제작 방식은 얼굴 모션 캡처와 아티스트 후처리에 크게 기대야 했다. 헤드마운트 카메라를 착용한 배우 연기를 촬영해도 바로 쓸 수 있는 결과로 이어지기 어렵고, 대형 게임에서는 외주 스튜디오 여러 곳이 얼굴 애니메이션만 맡기도 한다.
AI 기반 립싱크 기술은 이미 엔비디아, 에픽게임즈, 스피치 그래픽스 등 여러 회사가 공개하거나 사업화했다. 하지만 상용 게임 적용 단계에서는 입술 떨림, 발음 뭉개짐, 감정 표현 부족 같은 문제가 남는다.
장한용 실장이 확인한 실무진 요구는 최고 품질보다 안정적인 품질 유지에 가까웠다. 게임 대사는 연기톤이 강하고 음향 효과가 더해지는 경우가 많아 공개 기술을 그대로 쓰기 어렵기 때문이다.
NC AI 워크플로는 음성을 넣으면 애니메이션 커브 값을 생성하는 구조다. 성우 녹음이 없는 NPC 대사는 TTS로 음성을 만든 뒤 얼굴 애니메이션을 붙일 수 있다. 언리얼 엔진 에셋 정보를 넣으면 애니메이션 시퀀스 에셋으로 변환해 제작 환경에서 바로 쓸 수 있게 했다.
첫 번째 과제는 양순음이었다. ‘ㅁ’, ‘ㅂ’, ‘ㅍ’처럼 입술을 닫았다 여는 발음은 어색함이 바로 드러난다. 장한용 실장은 기존 공개 학습 데이터에서 입술 개폐 움직임이 부족한 점을 한계로 짚었다. NC AI는 자체 얼굴 모션 캡처 장비와 후처리 체계로 학습 데이터 품질을 보완했다.
두 번째 과제는 다양한 음성과 캐릭터 개성을 함께 처리하는 일이었다. 같은 ‘아’ 발음도 음량, 피치, 화자에 따라 입력 정보가 달라지고, 수백 명 NPC가 등장하면 데이터 범위가 넓어진다. NC AI는 여러 화자 음성을 한 명 기준 데이터로 매핑하는 리트리벌 방식 보이스 컨버전과 화자 구분 임베딩을 활용해 입술·표정 움직임이 섞이는 문제를 줄였다.
서브컬처 캐릭터는 실제 사람 움직임을 그대로 반영하면 오히려 어색해질 수 있어, 최소 포즈 3개를 바탕으로 리니어 블렌딩을 적용하는 변환 로직으로 대응했다.
감정 표현에서는 배우가 긴 시간 같은 감정을 유지하기 어려운 한계를 반영했다. 이후 감정이 강하게 드러난 구간만 선별해 레이블을 달면서 학습 데이터 방향을 바꿨다.
적용 결과는 제작 파이프라인 자동화로 이어졌다. 발표 현장에서는 기획자가 시나리오 스크립트를 입력하면 애니메이션이 자동 생성돼 게임에 들어가는 구조가 소개됐다. 후처리와 QA 없이 바로 적용할 수 있는 품질을 목표로 삼았고, 로컬라이제이션에서도 언어별 음성에 맞춘 얼굴 애니메이션 재생성이 가능하다.
향후 과제로는 학습 데이터 확장, 얼굴 릭 자동 생성, 감정 레이블 고도화, 눈동작·제스처 통합 생성이 제시됐다. 발표 후반부 초점은 영상 생성 AI를 활용한 학습 데이터 확보와 입술·표정·제스처를 함께 만드는 기술 방향이었다.
끝으로 장한용 실장은 “이번 발표는 기술 홍보나 적용 게임 공개가 아니라 기술을 만드는 과정에서 얻은 경험을 전달하기 위한 자리였다”라며 “앞으로는 입술, 표정, 제스처가 조화롭게 생성되는 기술 개발이 필요하다”라고 말했다.
겜툰 박해수 기자 caostra@gamtoon.com
|
|
|
|
|
|
|
|
|
|
|
|
|
|
인터뷰/업체탐방
총 3090의
게시물이 있습니다. 
