카테고리
Performce
생성자
U
Untitled개요
해당 문서는 이전 문서인 아래의 연장선상에서 과연 Iceberg의 성능은 얼마나 나올것인가 에 대한 호기심에 추가적으로 테스트를 진행한 문서입니다.
StarRocks TPC-DS 100GB 돌려보기작성자의 StarRocks Cluster
작성자는 AWS가 아닌 온프램 k8s를 구축하고 테스트를 진행하였습니다.
- CPU : AMD Ryzen™ Threadripper™ PRO 9975WX(Total 32Core / 64Thread) * 2 EA
- RAM : DDR5-5600 RAM(ECC/REG) 64GB * 16EA
- Disk : Local, NAS iSCSI
- Network : 10 Gbps LAN * 2 EA - BOND(balance-rr) 구성
- MinIO(S3) : On-prem(k8s) + NAS(Synology) + SATA SSD
구성요소 | Pod Size(vCore/Mem/Storage) | EA |
FE | 4vCPU / 32GB / 50Gi(Local) | 3 |
CN | 6vCPU / 48GB / 200Gi(NAS CSI) | 3 |
Total | 42vCPU / 168GB / 1,150Gi | 8 |
이전 문서에 비해서 CN의. Core가 줄어들었습니다!
진행방식
기존 문서 기준으로 이미 생성한 데이터가 StarRocks 내부에 존재하고 있었기에 Iceberg 테이블을 만들고 StarRocks 의 SUMMIT AS TASK INSERT …
구문으로 해당 데이터를 집어 넣었습니다.
Iceberg의 포맷은 parquet - zstd 3를 기준으로 진행하였습니다.
결과
