카테고리
Use-case Study
생성자
U
Untitled
- 기존 아키텍처 : Clickhouse를 사용한 데이터 분석 플랫폼 제공중
- 기존 아키텍처의 문제점
- 2018년도 부터 Clickhouse를 사용하였으며 이후 90% 이상의 시스템이 Clickhouse를 사용, 동시성 문제로 인해서 고생함(700억개 이상의 Recode, 매일 2,000개 이상의 프로세스, 업데이트해야하는 약 150B/day의 데이터)
- CPU 사용량이 평균적으로 30%(평일)대가 되었고 주말에는 70%에 도달하다보니 운영 안정성에서 심각한 문제가 발생할 여지가 있었음
- 이러한 문제들을 해결하기 위해 MySQL을 Cache Layer로 사용하여 트래픽을 분산하였으나 이는 2개의 데이터셋 , 2개의 SQL쿼리(Clickhouse가 표준 SQL을 지원하지 않음으로), 데이터 일관성 문제가 발생
- StarRocks 채택이유
- MPP 기반의 프레임워크를 사용하며 Star Schema 와 snowflake schema 를 지원
- FE, BE로 구성되어있는 클러스터와 MySQL Client를 통해서 접근할수 있는 구조
- 1초 미만의 대기시간 기대
- 확장성, 서버 확장중에는 온라인 비즈니스에 영향을 주지 않는 구조
- 클러스터 서비스에 대한 핫 백업, 다중 인스턴스 배포, 클러스터의 안정성은 다운타임, 오프라인 줜환 및 노드 이상에 영향을 주지 않는 구조
- 표준 SQL 구문을 지원
- MV 및 Online Schema 변경 지원
- 신규 아키텍처 효과
- 기존에 비해 단축된 쿼리 응답 시간(대부분의 쿼리가 약 200ms)