[Spring Cloud] 네이버 DEVIEW 2023 'SCDF로 하루 N만곡 이상 VIBE 메타 데이터 실시간으로 적재하기' 요약 정리

• 네이버 VIBE는 대량의 음원 메타 데이터를 효율적으로 처리하기 위해 SCDF를 도입하여 스트림 처리 방식을 활용하고, 기존의 배치 처리 시스템의 한계를 극복하고자 했다. 이를 통해 데이터 적재 속도를 크게 향상시켰다.

• 레거시 시스템의 문제점을 해결하기 위해 젠킨스와 MongoDB를 활용한 데이터 마이그레이션 및 듀얼 라이트 전략을 도입하여, 새로운 아키텍처로 전환하는 과정을 진행했다. 이를 통해 데이터 처리의 유연성과 확장성을 확보했다.

• 쿠버네티스 환경에서 지속적인 마이그레이션을 지원하기 위해 SCDF를 활용하여 스트림 구조와 설계를 진행하며, 배포, 롤백, 리마이그레이션 전략을 수립한다.

• SCDF를 통해 데이터 흐름을 관리하고 모니터링하며, Prometheus와 Grafana를 활용하여 실 서비스에 적용하고, 무중단 배포 전략을 통해 안정적인 운영을 도모한다.