ID PWD
최신 게임뉴스
오픈/클로즈 베타뉴스
게임업계 핫이슈
겜툰 FOCUS
게임 특집
인터뷰/업체탐방
게임 만평
게임 포토뉴스
 
인터뷰/업체탐방 HOME > 게임뉴스> 인터뷰/업체탐방
 
제   목 : [NDC 2022] 넥슨 권민섭 개발자 '실증보다는 R&D 경험에 중점 둬야'
작성자 : 등록일 : 2022-06-10 오후 1:34:55


넥슨 개발자 콘퍼런스(Nexon Developers Conference, NDC) 3일 차인 6월 10일, 넥슨게임즈 권민섭 개발자는 '<블루 아카이브> 아로나와 함께하는 머신러닝 이야기 - 블루 아카이브에서의 머신러닝 R&D 연구 기록'이라는 주제로 강연을 진행했다.

'블루 아카이브' 에서 진행되는 R&D는 이론 레벨에서 끝나는 것이 아닌 인게임이나 개발 과정에서 실용적으로 활용할 수 있는 토픽을 연구한다는 것이다. '블루 아카이브'는 게임 캐릭터와 플레이어간 관계 형성에 신경을 쓴 게임이며, 따라서 R&D 역시 캐릭터와 상호작용의 실재감을 높이거나 개발 작업 시간을 단축하고 작업 품질을 높이는 방향을 띈다.



'블루 아카이브' 메인 캐릭터인 '아로나'는 게임 세계를 안내하는 역할이며, 설정상 인공지능(AI) 캐릭터다. 개발진은 이 설정을 활용하고 유저 흥미 유발, 캐릭터 몰입, 타 게임과 차별 요소 삽입 등을 위해 음성 합성으로 '아로나'가 유저 닉네임을 직접 불러주는 기능을 삽입하려 했다.

개발팀은 음성 합성 기능 구현을 위해 'Tacotron2' 음성 합성 모델을 채택했고, 학습을 위한 데이터로는 JSUT, JVS 등 기존 일본어 음성합성 모델 학습에 사용되는 데이터와 다양한 표현이 섞인 애니메이션 대사, 기존 '아로나'가 사용하던 대사 등을 선정했다.

선정된 대사들에 점수를 매겨 우선순위를 정한 뒤 성우 녹음을 진행했고, 녹음된 목소리와 합성된 목소리를 비교하는 방식으로 머신러닝을 진행했다. 대사 음성은 사전에 합성해 오디오 파일로 인게임에 삽입할 수 있어 합성 속도 보다는 완성도를 중시했고, 후처리를 통해 타 음성과 괴리감을 줄였다.



유저 닉네임을 불러주는 호칭 음성합성 모델은 대사와 달리 균일하게 단어를 읽어내야 하고, 항상 '~센세'로 대사가 끝나야 하며, 단어 위주 음성 합성이기 때문에 대사 음성합성과 달리 의도적으로 오버피팅을 적용한 머신러닝을 진행했다. 오버피팅이란 머신러닝 모델이 특정 모델만 집중적으로 학습하려 들어 학습 범위가 제한되는 현상을 말한다.

호칭 음성합성은 완성도를 보장하면서도 수많은 유저의 콜 횟수를 감당해야 하는 만큼 최대한 빠른 속도로 합성하는 걸 우선했으며, 빠른 합성을 위해 모델 최적화와 서비스 시스템 구축이 필요했다. 이를 위해 모델을 서버 GPU에 상시 구동시키고 HTTP 통신을 통해 요청이 들어오는 즉시 합성해 S3 저장소에 업로드 및 클라이언트 다운로드를 진행하는 방식을 택했다.



일본어 기반으로 진행된 머신러닝이기 때문에 타 국가 서비스는 입력된 닉네임을 가타카나로 변경해 읽는 식으로 진행됐다. 한국 서버는 대응되는 한국어 글자를 가타카나 글자로 치환하기 용이해 큰 문제가 없었으나, 글로벌 서비스는 언어에 따라 같은 철자를 다르게 읽는 경우가 있어 추가 작업이 필요했다.

개발진은 이 문제를 해결하기 위해 간단한 추가 딥러닝 필터를 생성, 영문 닉네임이 입력될 경우 가타카나-영단어 데이터셋을 이용해 가장 근접한 발음을 생성하고, 해당 발음이 맞는지 재확인하는 기능을 추가했다.



현재 개발팀은 '블루 아카이브'에 페이스 트래킹 기능을 추가하는 연구를 진행 중이다. 페이스 트래킹 기능 도입을 통해 기술 적용 자체로 이슈를 생성하고, 유저와 캐릭터간 교감과 캐릭터 매력을 강화, 유저가 만족할 수 있는 고가치 피쳐 제작을 꾀한다.

또한 연구를 통해 모바일 게임에서 딥러닝 신경망이 안정적으로 작동되는가에 대한 기술적 실험을 진행하고, Unity3D Barracuda의 인게임 탑재 경험 및 디자인적 요소 삽입에 대한 노하우를 축적할 수 있다.

'블루 아카이브' 페이스 트래킹 딥러닝은 SSD(Single Shot Detection) 모델과 MobileNet을 사용해 개발 중이다. 특히 MobileNet은 기존 CNN 구조 네트워크 사이즈를 줄이고 모바일에서 사용할 수 있도록 최적화된 모델이다.



기존 페이스 트래킹 학습이 안면 전체를 감지하는 것과 달리 스마트폰 전면 카메라 특성상 안면이 지나치게 크게 인식되는 점을 고려해 눈을 따로 추적해 인식할 수 있도록 했으며, 팬더믹 시국을 고려해 마스크를 착용한 경우에도 작동하도록 설계했다.

여기에 Unity3D에서 Nureal-Network를 사용하기 위한 라이브러리인 Unity3D Barracuda를 도입했고, 이를 통해 Nureal Network와 스마트폰 전면 카메라를 이용해 얼굴 좌표를 확보, 메모리얼 로비 코드에 있는 터치 좌표 트래킹 기능을 얼굴 좌표로 변경해 캐릭터 시선이 유저 얼굴 움직임에 반응하도록 만들었다.

기술 개발 중인 현재는 캐릭터 안구만 움직여 어색하다는 평가가 많으나, 추후 별도 애니메이션을 추가해 몸의 움직임을 구현하고 내부 평가를 거쳐 향후 사용을 의논할 계획이다.



또한 애니메이션 보조를 위해 모션 캡처 기능을 연구 중이다. 깊이 카메라나 추가 장비 없이 RGB 카메라 1대로만 간단하게 진행할 수 있는 간이 모션 캡처로, 장비 부족으로 인한 인식률 저하를 머신 러닝으로 해결한다. 정확하지는 않아도 보조적 역할을 기대할 가능성이 있다. 현시점에서는 모션이 너무 부정확하고 수작업과 비교해 큰 이점이 없어 활용 여지를 고민 중인 단계다.

모델링 용이성을 위한 자동 리딩 시스템도 연구 중이다. 3D 모델링을 회전시켜도 모델링을 유지해주는 시스템으로, 전체적으로 리깅한 뒤 사용자가 약근의 후처리만 하면 사용할 수 있는 수준을 목표로 한다. 현 시점에선 리깅 커스텀 데이터셋을 만드는 과정이 너무 오래 걸리고, 사용되는 학습 시스템이 오픈소스이기 때문에 소스 수정에도 많은 시간이 소모되는 상황이다.



권민섭 개발자는 머신러닝 모델을 연구하고 서버를 구축해 서비스에 실장까지 하는 건 흔치 않은 경험이라며 기존에 사용되지 않은 부분들을 다룰 수 있어 큰 경험이었다고 소감을 밝혔다. 또한 연구로 끝나는 프로젝트와 서비스 실장에 매우 큰 차이가 있다는 점을 배웠다고 말했다.

권민석 개발자는 "머신러닝 연구가 성공한다 해도 혼자 실장할 수는 없는 만큼 해당 연구의 비전에 대한 공유가 필요하며, 다른 연구팀과 달리 1~2인 수준으로 실행되는 연구인 만큼 그에 발생하는 한계도 고려해야 한다"라며, "서비스 실장을 위해서는 결과물 완성도에도 신경을 써야 하는 만큼, 반드시 실장 하는게 목표가 아닌 연구 노하우를 쌓는다는 마음가짐이 필요하다"라고 말했다.

겜툰 박현규 기자 news@gamtoon.com

덧글쓰기
 
2424의 게시물이 있습니다.
제목 내용
카카오게임즈 보라, 글로벌 생태계 확장 ‘크로스체인’ 전략  (0)  2022-08-08
라그나로크 로스트 메모리즈, “모든 이야기 즐기셨으면”  (0)  2022-08-04
컴투스 서머너즈 워 크로니클, “여태 없던 성과 기대”  (0)  2022-08-04
위메이드 장현국 대표 ˝우리가 '정답'이라는 것 증명하겠다˝  (0)  2022-08-03
서머너즈 워: 크로니클, ˝보는 게임에서 하는 게임으로˝  (0)  2022-08-02
그라비티 ‘스무 살 라그나로크 페스티벌' 개최  (0)  2022-07-31
그리비티 라그나로크 20주년 기자 간담회 Q&A  (0)  2022-07-31
그리비티 라그나로크 20주년, ‘신공성전’ 9월 도입  (0)  2022-07-31
세빛섬에서 열린 원신 여름축제, 참가자 마음도 '둥둥'  (0)  2022-07-29
한국레노버 인텔 12세대 ‘요가(YOGA) 7세대’ 4종 출시  (0)  2022-07-28
  1 2 3 4 5 6 7 8 9 10 [다음]
 
     
개인정보취급방침 | 약관안내 | 겜툰소개 | 사업제휴 | 카툰제작 문의 | 저작권법 안내 | 저작권 침해사례 [신고/문의]
인천 사무실: 인천시 부평구 굴포로 158 502동 1802호 / TEL: 032-328-7660 / FAX: 032-328-7637
서울 사무실: 서울시 구로구 디지털로33길 48, 1104호(구로동,대륭포스트타워7차) / TEL: 02-6964-7660 / FAX: 0505-328-7637
제호: 겜툰   등록번호 : 인천광역시 아01025   등록일자 : 2009년 9월15일    발행인·편집인 : 송경민    청소년보호책임자 : 장요원
CopyrightⓒGAMTOON. All Rights Reserved.
d