개요
StarRocks Summit 2025에서 발표된 내용을 정리한 문서입니다. Shopee의 StarRocks 아키텍처 및 비즈니스 활용 사례, StarRocks 4.0 신기능 소개, 그리고 최신 데이터 스택 트렌드에 대한 세션이 포함되어 있습니다.
주요 내용
1. Shopee StarRocks 아키텍처
Shopee는 컴퓨팅 큐(Computing Queue)와 스토리지 클러스터(Storage Cluster) 두 가지 제품을 제공합니다. 컴퓨팅 큐는 논리적 레이어로 유연한 자원 할당이 가능하며, Trino와 유사한 SQL 호환성을 제공하여 SQL 수정 없이 엔진 전환이 가능합니다. 3.3 버전 업그레이드로 Hudi, Hive, S3 프로토콜 등 다양한 외부 데이터 소스를 지원합니다.
스토리지 클러스터는 전통적인 StarRocks 클러스터와 BNode를 사용하며, HMS 기반 메타데이터를 활용합니다. 다중 IDC 활용으로 재해 복구 및 고가용성을 지원합니다.
2. Shopee 비즈니스 활용 사례
2022년 9월 시작 후 2023년 8월 기준 800만 사용자, 12,000 조직, 22,000코어 리소스로 급성장했습니다. 주요 활용 사례로는 BI Ad-hoc 쿼리, 리포트, 대시보드가 있으며, Presto/Trino SQL 언어 호환으로 기존 쿼리를 유지하면서 비용을 절감했습니다.
PDS Revenue Lost Platform은 광고/마케팅 데이터 실시간 분석 및 수익/비용 추적에 사용되며, 말레이시아, 싱가포르, 브라질, 타이완 등 지역별 전용 클러스터를 운영합니다. Shopee Pay는 실시간 쿼리 파이프라인과 Flink SQL을 활용한 데이터 웨어하우스를 구축했습니다.
3. StarRocks 4.0 신기능
StarRocks 4.0은 더 빠른 데이터, 빠른 쿼리, 빠른 전달을 목표로 합니다. 엔드-투-엔드 푸시 메커니즘으로 API 호출이 70-90% 감소하고, TPC-DS 벤치마크에서 3.3 버전 대비 1.6배 빠른 성능을 달성했습니다.
JSON 데이터를 일급 데이터 타입으로 처리하여 3.5 버전 대비 3-15배 빠른 성능을 제공합니다. Lakehouse Native Delivery로 글로벌 셔플을 사용하여 작은 파일을 방지하고, Compaction API로 파일 관리를 지원합니다. JWT 통합 및 REST 카탈로그를 통한 접근 제어 기능도 강화되었습니다.
4. 오픈 소스 이니셔티브
StarOS가 공개되어 StarRocks의 공개 데이터 아키텍처를 모두가 볼 수 있게 되었습니다. 현재 200만 이상의 StarRocks 배포에서 운영 중이며, 여러 웨어하우스를 하나의 클러스터로 결합할 수 있는 커뮤니티 아키텍처도 제공됩니다.
5. 최신 데이터 스택 트렌드
다양한 기업들의 데이터 아키텍처 사례가 공유되었습니다. Kafka에서 S3 Parquet로 스트리밍 후 Athena로 쿼리하는 방식, BigQuery로 모든 데이터를 관리하는 방식, Iceberg와 Trino로 오프라인 작업을 하고 Druid로 대시보드를 지원하는 방식 등이 소개되었습니다.
PuppyGraph와 StarRocks의 콤보를 통해 실시간 대시보드와 그래프 분석을 결합한 아키텍처가 제안되었으며, PostgreSQL CDC, Graph Query 연동, 블록체인 트랜잭션 분석 등 다양한 실전 예시가 공유되었습니다.
핵심 포인트
Shopee는 StarRocks를 통해 Trino SQL 호환성을 유지하면서 비용을 절감하고 성능을 향상시켰습니다. StarRocks 4.0은 성능, JSON 처리, Lakehouse 통합 측면에서 대폭 개선되었으며, StarOS 공개로 오픈 소스 커뮤니티 기여가 확대될 예정입니다. 최신 데이터 스택에서는 Iceberg, StarRocks, 그래프 데이터베이스의 조합이 주목받고 있습니다.
Q&A
Python UDF는 성능 문제로 Java UDF 사용을 권장합니다. 파티션 스캠 필터 최적화를 위해 새로운 아키텍처를 오픈 시스템으로 개발 중입니다. Iceberg에서 StarRocks 연결 시 성능 최적화 및 비용 효율성에 대한 설명이 제공되었으며, Customer Facing Analytics White Paper 자료가 배포 예정입니다.