|
|
|
 |
 |
| |
 |
제 목 :
[NDC 2022] 넥슨코리아 이재면 개발자 '정제 플랫폼 통한 표준 로그 생산' |
 |
작성자 :
|
등록일 : 2022-06-09 오후 5:04:33 |
|
|
 |
 |
 |
넥슨 개발자 콘퍼런스(Nexon Developers Conference, NDC) 2일 차인 6월 9일, 넥슨코리아 데이터엔지니어링 팀 이재면 개발자는 '테라바이트 규모의 변화무쌍한 데이터 정제 플랫폼 - 다양한 게임의 다채로운 로그의 다형의 데이터를 한 곳에서!'라는 주제로 강연을 진행했다.
넥슨코리아 데이터엔지니어링팀은 넥슨이 서비스하는 게임에 분석 서비스를 도입하기 위해 생산하는 로그인 NXLog를 수집 및 분석, 서비스하기 위해 데이터 파이프라인을 구축했으며, 강연에서는 이중 정제 단계를 다뤘다. 데이터 티어링(Data Tiering) 관점으로는 실버 단계에 속하며, 데이터 트랜스포메이션(Data Transformation)을 수행하는 단계다.
넥슨은 다양한 게임을 서비스하며, 게임마다 장르나 기획이 다른 만큼 각 게임이 생산하는 데이터 형태도 달라 각 게임에서 생산되는 NXLog를 수집하고 적재할 수는 있어도 집계할 수는 없는 상황이었다.
데이터엔지니어링팀은 게임 로그를 표준화해 이 문제를 해결했다. 또한 개발팀에 부담을 주지 않기 위해 데이터 정제 단계에서 표준화를 진행했다.
데이터 정제는 다른 데이터 파이프라인에도 있는 개념이지만, 넥슨 데이터 파이프라인은 NXLog 표준화를 위해 정의된 스키마에 맞게 데이터를 검사·교정·변경하고(Data Cleaning), 데이터가 시간이 지나도 동일한 형태를 유지하게 하며(Data Consistency), 모든 게임이 같은 항목에 대칭된 값을 가지도록 하고(Data Duplication), 한 번의 로깅을 쓰임새에 맞게 여러 데이터가 생산되도록 파생하는(Event Derivation) 데이터 정제 시스템이 요구됐다.
엔지니어링팀은 기성 솔루션 중 요구사항을 모두 충족시키는 솔루션을 찾지 못해 솔루션 직접 제작에 돌입했다.
이렇게 개발된 솔루션은 우선 데이터를 받은 뒤 S3에 저장하고, 컨트롤러가 로그를 데이터 노멀라이제이션(Data Normalization)으로 전송한다. 데이터 노멀라이제이션 단계에서는 우선 데이터가 정의된 타입인지 검사하고 불일치한 항목을 변환, 변환된 데이터를 스크립트로 비교해 처리한 뒤 게임 자체 로그를 NXLog로 파생하는 작업을 진행한다.
데이터 노멀라이제이션은 NXLog 정제 규칙을 정의한 스키마에 따라 진행된다. 다루는 데이터 규모가 커 잘못된 스키마로 데이터 안정성이 깨졌을 경우 재정제 비용이 매우 큰 만큼, 스키마를 올바르게 정의해야 했다.
이런 절차를 통해 정리된 데이터는 일관성이 보장돼 칼럼형 및 정형 테이블에도 적재할 수 있게 됐으며, 조회 안정성과 압축 효율이 향상했다.
이재면 개발자는 "넥슨 데이터엔지니어링팀이 정제 단계에서 처리하는 용량은 하루 약 107.2TB, 일간 8,448여 개 이벤트, 건수로는 약 450억 건이다"라며, "스키마를 직접 설계하고 전용 절차를 직접 만들지 않았다면 비용도 비용이지만 요구한 자원이 너무 많아 이 정도 규모 데이터를 처리하기 쉽지 않았을 것이다"라고 말했다.
정제 플랫폼 구축을 통해 얻은 첫 번째 이득은 NXLog가 표준 로그가 됐다는 점이다. 게임이 자체 로그를 전송해도 NXLog로 변환 저장돼 개발팀 공수를 최소화하면서도 서비스 제공자가 NXLog로 변환된 데이터를 확인할 수 있게 됐다.
게임 로그를 표준화해 쿼리문 하나로 모든 게임의 아이템별 사용 개수를 집계할 수 있게 됐으며, 따라서 쿼리문에 삽입된 게임 ID만 바꾸면 모든 게임의 통계를 집계하거나 분석 로직을 수행할 수 있게 됐다.
결과적으로 게임 팀에는 NXLog에 대한 높은 지식과 업무를 요구하지 않고 서비스팀에는 게임 전용 로그에 대한 지식을 요구하지 않고도 표준 로그만 알면 게임을 분석하고 서비스를 개발할 수 있는 시스템을 구축했다.
이재면 개발자는 "게임 시스템이 자체 로그를 보유하고 이미 잘 로깅되어 있다면 추가 로깅작업 없이 자체 로그를 복제하고 표준 로그를 생산함으로써 NXLog 기반의 서비스를 이용할 수 있게 됐다"라고 말했다.
겜툰 박현규 기자 news@gamtoon.com
|
|
|
|
| 덧글쓰기 |
 |
|
|
|
|
|
|
|
|
|
|
인터뷰/업체탐방
총 2697의
게시물이 있습니다. 
