메시지 조회
메시지 조회 페이지는 사용자가 카프카 토픽 내의 메시지를 효과적으로 모니터링하고 검색, 관리 할 수 있어요. 실시간 메시지 스트리밍부터 상세 메시지 조회, 메시지 필터링, 메시지 삭제, 그리고 메시지 다운로드까지 카프카 데이터를 이해하고 관리하는데 필수적인 기능을 제공하고 있어요.
1. 메시지 필터
토픽에 저장된 메시지를 여러가지 필터를 걸어 조회할 수 있어요. 기본 필터 와 상세 필터 로 나누어져 있으며, 상세 필터 중, 오프셋과 날짜 설정은 스트리밍 조회 시에는 사용할 수 없어요.
1.1 기본 필터
| 구분 | 설명 |
|---|---|
| 파티션 번호 | 파티션 별 메시지를 조회 (전체를 선택하면 전체 파티션에 대한 메시지를 조회) |
| 최대 메시지 개수 | 화면에 표시될 최대 메시지 개수 |
| 가져올 메시지 개수 | 조회 한번에 가져올 최대 메시지 개수 (원활한 데이터 호출을 위해 메시지 제한은 최대 1000으로 제한) |
| key 스키마 형식 | 메시지 payload의 key를 스키마 형식으로 변환하여 메시지를 조회 |
| value 스키마 형식 | 메시지 payload의 value를 스키마 형식으로 변환하여 메시지를 조회 |
1.2 상세 필터
| 구분 | 설명 |
|---|---|
| 오프셋 설정 | 선택한 오프셋 종류를 기준으로 메시지를 조회 |
| 날짜 설정 | 선택된 날짜로부터 지금까지의 메시지를 조회 |
| 메세지 헤더도 함께 보기 | 활성화시, 메세지 상세 조회 시 메세지 헤더가 있을 경우 함께 조회 |
| 마스킹되지 않은 원본 데이터로 보기 | 활성화시, 마스킹된 메세지를 마스킹이 되지 않은 원본 데이터로 조회 |
오프셋 종류
| 구분 | 설명 |
|---|---|
Earliest Offset | 가장 오래 전에 입력된 오프셋부터 메시지를 조회 |
Latest Forward Offset | 요청한 시점의 각 파티션 별 마지막 오프셋부터 메시지를 조회 |
Latest Backword Offset | 요청한 시점의 각 파티션 별 마지막 오프셋에서, 한 번에 가져올 메시지 개수 제한을 차감한 오프셋부터 메시지를 조회 |
Custom Offset | 입력한 오프셋부터 메시지를 조회 (개별 파티션 선택 시에만 설정 가능) |
2. 메시지 삭제하기
토픽-파티션 별로 메시지를 삭제할 수 있어요. 삭제는 특정 오프셋 이전의 메시지를 무효화 하는 것이며, 토픽의 중간 혹은 특정 오프셋 이후 메시지를 삭제하는 것은 불가능해요. [파티션-오프셋 추가] 버튼을 눌러 토픽-파티션별로 삭제를 원하는 기준 오프셋을 등록할 수 있으며 잘못 기입한 경우 [파티션-오프셋 제거] 버튼을 눌러 해당 내용을 삭제할 수 있어요. 최종적으로 [삭제] 버튼을 눌러 해당되는 메시지들을 삭제할 수 있어요.
메시지 삭제는 무효화 하는 것이기 때문에 삭제된 메시지를 복구할 수 없어요. 때문에 신중하게 삭제를 진행해주세요.
또한, 파티션의 마지막 오프셋보다 큰 값을 설정한 경우, 해당 토픽 파티션의 모든 메시지가 삭제되니 유의하세요.
메시지 삭제는 특정 오프셋 이전의 메시지를 메시지를 무효화하는 방식으로 처리되므로, 실제로 토픽의 크기가 바로 줄어들지는 않아요.
메시지 클리닝 주기에 따라 무효화 된 메시지가 실제로 삭제되면 그때 토픽의 크기가 줄어들게 돼요.
3. 내보내기
조회된 메시지들을 CSV 및 JSON 형식으로 다운로드 할 수 있어요.
4. 메시지 스트리밍
[메시지 스트리밍 시작하기] 버튼을 클릭하면 현재 토픽에 실시간으로 스트리밍 되는 메시지를 조회하여 하단 메시지 리스트에 표시해요. 스트리밍 조회 시에는 기본 필터 만 사용할 수 있으며, 스트리밍 중에는 필터링을 포함한 다른 모든 메시지 작업이 불가능해요.
- 메시지 스트리밍이 시작된 후 1분이 지나면 자동으로 멈춰요. 메시지 스트리밍을 계속하려면 다시 시작해 주세요.
- 전체 파티션에 대해 메시지 조회 시 파티션 샘플링이 일어나므로, 원하는 메시지가 나타나지 않을 수 있어요.
- 현재 프로듀싱 중인 메시지가 너무 많거나, 메시지당 사이즈가 너무 크면 메시지를 스트리밍 하는데 시간이 걸릴 수 있어요.
- 메시지 키 값을 지정하셨다면, 메시지 필터에서 해당 파티션 번호를 선택하여 스트리밍 해 보세요. 더 빠르게 원하는 메시지가 프로듀싱 되고 있는지 확인할 수 있어요.
5. 메세지 상세보기
조회한 메세지의 key 혹은 value를 행을 클릭하면 해당 오프셋에 해당하는 메세지를 상세 조회할 수 있어요. 메세지에 포함된 헤더 정보를 함께 보고 싶을 경우, 상세필터의 메세지 헤더도 함께 보기를 활성화해주세요.
