Announcing StarRocks 4.0

주요 기능 소개

• Starrocks 4.0이 출시되었으며, 1년 연속으로 TPC-DS 벤치마크에서 3.3 버전보다 1.6배 빠른 성능 달성
• Linux Foundation의 오픈 소스 프로젝트로, 실시간 데이터 웨어하우스 및 OLAP 워크로드 지원
• 자체 스토리지 엔진을 통해 10초 데이터 프레시니스로 실시간 멀티 데이터 처리 가능
• S3를 데이터 스토리지로 활용하면서 실행 노드와 캐싱은 EC2 인스턴스 사용

성능 최적화

• 조인 오퍼레이터(해시 조인, 머지 조인) 최적화로 복잡한 멀티 테이블 쿼리 성능 향상
• 집계 기능(CountDistinct, GroupBy)의 CPU 사용량 감소
• 새로운 Partition-Wise Spill 메커니즘으로 메모리 부족 시에도 쿼리 실행 가능

JSON 처리 개선

• FlatJSON v2 엔진 도입으로 기존 대비 3-15배 빠른 JSON 쿼리 처리
• Dictionary Encoding, Zonemap, Sort Key Indexing으로 JSON 데이터 처리 최적화
• 지연 디코딩 기법을 통해 필요한 필드만 선택적으로 처리하여 I/O와 메모리 사용 감소

아파치 아이스버그 통합

• 아이스버그 테이블 처리 성능 최적화 및 작은 파일 문제 해결
• 파티션 셔플 기능으로 파일 수 감소 및 최적 크기의 파일 생성
• 파일 내 로컬 소팅 지원으로 쿼리 성능 향상
• 컴팩션 API를 통한 아이스버그 테이블 최적화 지원

보안 및 접근 제어

• 카탈로그 레이어를 통한 인증 강화
• JWT 토큰 기반 세션 처리로 보안성 향상
• 외부 권한 관리 시스템(예: 아파치 레인저)과 통합 가능

스토리지 최적화

• S3 실시간 분석 성능 및 비용 효율성 개선
• File Bundling으로 작은 파일 문제 해소
• 메타데이터 캐싱으로 API 호출 감소
• 더 스마트한 컴팩션 기능으로 데이터 정밀도 유지

추가 기능

• Decimal256 타입 지원으로 금융 워크로드 정밀도 향상
• 멀티 스테이트먼트 트랜잭션 지원
• ASOF 조인 지원으로 시간적 데이터와 시퀀스 ID 데이터 처리 개선
• 노드 블랙리스팅 및 대소문자 구분 없는 식별자 지원

향후 로드맵 (4.X)

• 실시간 텐션 레이크하우스 기능 강화
• 자동 테이블 개발 및 튜닝
• 오픈 테이블 포맷 지원 확대
• 인크리멘털, 비동기 머티리얼라이즈드 뷰
• AI 인터그레이션 강화 (AI 기반 옵티마이저, SQL BI 에이전트)
• 벡터 데이터베이스 기능 확장 (ANN 지원)
• 멀티 웨어하우스 지원으로 워크로드 격리 개선