StarRocks TPC-DS 100GB 돌려보기(with Iceberg)

개요

해당 문서는 이전 문서인 아래의 연장선상에서 과연 Iceberg의 성능은 얼마나 나올것인가 에 대한 호기심에 추가적으로 테스트를 진행한 문서입니다.

작성자의 StarRocks Cluster

작성자는 AWS가 아닌 온프램 k8s를 구축하고 테스트를 진행하였습니다.

• CPU : AMD Ryzen™ Threadripper™ PRO 9975WX(Total 32Core / 64Thread) * 2 EA
• RAM : DDR5-5600 RAM(ECC/REG) 64GB * 16EA
• Disk : Local, NAS iSCSI
• Network : 10 Gbps LAN * 2 EA - BOND(balance-rr) 구성
• MinIO(S3) : On-prem(k8s) + NAS(Synology) + SATA SSD

이전 문서에 비해서 CN의. Core가 줄어들었습니다!

진행방식

기존 문서 기준으로 이미 생성한 데이터가 StarRocks 내부에 존재하고 있었기에 Iceberg 테이블을 만들고 StarRocks 의 SUMMIT AS TASK INSERT …

구문으로 해당 데이터를 집어 넣었습니다.

Iceberg의 포맷은 parquet - zstd 3를 기준으로 진행하였습니다.

결과