클러스터 스케일링
들어가며
카프카 클러스터를 스케일링 하는 작업은 운영 상황에서 종종 일어날 수 있어요. Felice 는 이 과정에서 사용자가 클러스터 브로커 개수를 조정하는 중요한 작업을 수행한 후, 혹은 그 전에 필요한 처리 과정을 손쉽게 수행할 수 있도록 제공하고 있어요.
고급 > 클러스터 스케일링 메뉴를 선택하여 새로운 클러스터 스케일링 작업을 생성할 수 있어요.
실시간으로 파티션 이동 작업이 진행되고 있다면 클러스터 스케일링 화면에 접근하더라도 파티션 작업 현황 화면으로 자동으로 전환돼요.
클러스터에 메트릭을 적용하지 않을 경우, 클러스터 스케일링 추천안 작업이 불가능해서 해당 기능을 제공하지 않고 있으니 참고해주세요.
Scale-out 후 데이터 균형 맞추기
브로커를 추가하는 Scale-out 작업이 완료된 후, 새롭게 통합된 브로커를 포함하여 클러스터 전체의 디스크 사용량이 균형 있게 분포되도록 하는 것이 중요해요. 이 과정에서 각 브로커의 데이터를 모니터링하고, 필요한 리밸런싱 작업을 효율 적으로 수행할 수 있어요.
Step1: 작업 유형 선택
먼저, 스케일링 정보에서 Scale-out 을 선택해주세요.
Step2: 디스크 밸런서를 통한 추천안 계산
새로운 브로커의 예측 사용량이 균형있게 분포되도록 계산되었는지 확인해주세요. 디스크 밸런서의 자세한 사용 방법은 스마트 리밸런싱 > 디스크 밸런서를 통한 추천안 계산 을 참고해주세요.
Step3: 작업 구성 확인 및 생성하기
이전 단계에서 계산된 결과에 따라 다음 화면으로 넘어오면 토픽-파티션 이동 목록을 확인하실 수 있어요. 추천안 기반으로 옮겨질 토픽-파티션 리스트를 확인하고 쓰로틀링을 설정 완료하셨다면 [클러스터 스케일링 시작하기] 버튼을 클릭하여 클러스터 스케일링을 실행할 수 있어요.
쓰로틀링 설정
쓰로틀링에 대한 자세한 내용은 쓰로틀링 문서를 확인해주세요.
Step4: 작업 현황 확인하기
좌측에서 고급 > 파티션 작업 현황 메뉴를 클릭하면 방금 생성되어 진행 중인 스케일링 작업을 확인할 수 있어요.
Scale-in 전 데이터 이전하기
브로커의 수를 줄이는 Scale-in 작업 전에는, 제거될 브로커의 데이터를 안전하게 다른 브로커로 이전해야해요. 이 과정에서 이전될 데이터들이 균형있게 남은 브로커들로 이전되도록 필요한 리밸런싱 작업을 효율적으로 수행할 수 있어요.
Step1: 작업 유형 및 비울 브로커 선택
먼저, 스케일링 정보에서 Scale-in 을 선택하고, 비울 브로커를 선택해주세요. 만약 선택한 브로커를 비울 수 없는 경우 다음 단계에서 추천안 계산이 불가능할 수 있어요.
- 선택한 브로커의 데이터를 다른 브로커로 옮기기에는 적재 가능한 브로커들의 디스크 여유 공간이 부족한 경우
- 복제본 개수를 줄일 수 없는 파티션이 존재하는 경우
Step2: 디스크 밸런서를 통한 추천안 계산
비울 브로커의 예측 사용량이 0bytes(__blackbox_exporter 토픽 사용량 제외)이 되도록 계산되었는지 확인해주세요. 디스크 밸런서의 자세한 사용 방법은 스마트 리밸런싱 > 디스크 밸런서를 통한 추천안 계산 을 참고해주세요.
클러스터 Scale-in 시에 __blackbox_exporter 토픽은 Scale In 작업에서 제외되며, 삭제된 토픽-파티션일지라 도 브로커 스토리지와 실제 토픽-파티션의 싱크가 맞지 않을 경우에 브로커 스토리지에 남아있는 파티션의 크기도 같이 합산될 수 있어요. 비운 후의 브로커의 사용량이 0이 아닐 수 있지만, Scale in이 종료된 브로커를 삭제 해도 문제 없이 정상적으로 작동해요.
Step3: 작업 구성 확인 및 생성하기
이전 단계에서 계산된 결과에 따라 다음 화면으로 넘어오면 토픽-파티션 이동 목록을 확인하실 수 있어요. 추천안 기반으로 옮겨질 토픽-파티션 리스트를 확인하고 쓰로틀링을 설정 완료하셨다면 [클러스터 스케일링 시작하기] 버튼을 클릭하여 클러스터 스케일링을 실행할 수 있어요.
쓰로틀링 설정
쓰로틀링에 대한 자세한 내용은 쓰로틀링 문서를 확인해주세요.
Step4: 작업 현황 확인하기
좌측에서 고급 > 파티션 작업 현황 메뉴를 클릭하면 방금 생성되어 진행 중인 스케일링 작업을 확인할 수 있어요.