커넥터
각 커넥트 클러스터 카드 좌측 하단의 [커넥터 관리] 버튼을 누르면 현재 커넥트 클러스터에서 실행 중인 커넥터들의 목록 및 전체 상태를 확인할 수 있어요.
커넥터 상세보기
상태 모아보기
커넥터에 대한 주요 메트릭을 한눈에 살펴볼 수 있어요.
| 구분 | 설명 |
|---|---|
| ⓵ 커넥터 상태 | 현재 커넥터 인스턴스 상태 |
| ⓶ 처리 레코드 수 (POLL,READ) | (소스 커넥터) 소스 커넥터가 태스크로 가져온 레코드 수 [poll] (싱크 커넥터) 싱크 커넥터가 카프카에서 읽은 레코드 수 [read] |
| ⓷ 처리 레코드 수 (PUT,WRITE) | (소스 커넥터) 소스 커넥터에서 카프카로 기록한 레코드 수 [write] (싱크 커 넥터) 싱크 커넥터에서 외부로 보낸 레코드 수 [send] |
| ⓸ 레코드 배치 평균 소요 시간 | (소스 커넥터) 소스 커넥터에서 레코드 배치를 외부시스템으로부터 [poll] 하는데 소요된 평균 시간 (싱크 커넥터) 싱크 커넥터에서 레코드 배치를 외부시스템에 [put] 하는데 소요된 평균 시간 |
| ⓹ 에러 수 | 처리 중 에러가 발생한 레코드 수 |
태스크 상태
태스크 상태 탭에서는 각 커넥터가 실행 중인 태스크들의 상태와 정보를 확인하고, 태스크를 재시작하거나 오류가 발생한 태스크들의 로그를 확인할 수 있어요.
⓵ 재시작하기
[재시작] 버튼을 눌러 각 태스크를 재시작할 수 있어요. 커넥터가 멈춰있거나 오류가 발생한 경우에는 태스크를 재시작하더라도 해당 태스크가 실행되지 않을 수 있어요. 이 경우에는 커넥터 자체를 재시작하거나 커넥터 설정을 수정하여 문제를 해결해주세요.
⓶ 에러로그 확인하기
각 태스크가 오류 상태일 경우, [에러 로그 보기] 버튼이 활성화돼요. 이 버튼을 누르면 해당 태스크의 상세 오류 로그를 확인할 수 있어요. 해당 태스크를 재시작하거나 오류 로그를 확인하여 커넥터 설정을 수정하여 문제를 해결할 수 있어요.
메트릭
메트릭 탭에서는 각 커넥터들의 메트릭 정보를 확인할 수 있어요.
작업 레코드 수
현재 커넥터가 외부 시스템으로부터 읽어오거나 외부로 전송하는 레코드 수를 확인할 수 있어요. 작업 레코드 수는 커넥터가 처리하는 레코드 수를 의미하며, 소스 커넥터의 경우 POLL과 WRITE 메트릭을, 싱크 커넥터의 경우 READ와 SEND 메트릭을 확인할 수 있어요.
전체 에러/처리 실패 레코드 수
전체 에러 레코드 수
변환기(Transform) 또는 커넥터가 데이터 변환을 시도할 때 발생한 레코드 오류의 총 수로 아래 상황에서 발생할 수 있어요.
발생 상황- 데이터 형식 불일치: 데이터 변환 과정에서 예상한 형식과 다른 데이터가 들어오는 경우
- 변환 로직 오류: 변환기에서 정의한 로직이 실패하거나 예외가 발생하는 경우
- 스키마 호환성 문제: 입력 데이터의 스키마가 예상한 출력 스키마와 일치하지 않는 경우
처리 실패 레코드 수
커넥터가 데이터를 외부 시스템으로 전송하는 동안 발생한 레코드 실패의 총 수로 아래 상황에서 발생할 수 있어요.
발생 상황- 시스템 오류: 데이터베이스, 파일 시스템 등 대상 시스템에서의 오류
- 네트워크 문제: 데이터 전송 중 네트워크 연결 문제
- 유효성 검사 실패: 데이터 전송 전에 수행된 유효성 검사를 통과하지 못하는 경우
- 재시도 실패: 데이터 전송 재시도 로직이 모두 실패한 경우
데드레터토픽(DLT) 쓰기 실패/시도 수
DLT (Dead Letter Topic) 에 쓰기를 시도했으나 실패한 레코드 수와 시도 수를 확인할 수 있어요. DLT 에 쓰기 시도가 발생했다는 것은 커넥터가 처리할 수 없는 레코드가 발생했음을 의미하므로 DLT 메시지 내용을 확인하여 어떤 레코드 처리에 실패했는지를 확인해주세요.
이 메트릭은 DLT 관련 설정이 되어있는 커넥터에 대해서만 확인할 수 있어요. 설정이 되어있지 않은 커넥터의 경우 DLT 메트릭은 표시되지 않아요.
설정
설정 탭에서는 각 커넥터의 설정 정보를 확인하고 수정할 수 있어요. 설정 정보를 잘못 입력하는 경우 커넥터 설정 수정에 실패할 수 있어요.
커넥터 액션
커넥터 목록에서 각 커넥터에 마우스를 올리거나 [커넥터 상세 > Actions] 버튼을 누르면 커넥터에 대한 다양한 액션을 수행할 수 있어요.
커넥터 상태 변경하기
실행 중인 커넥터를 멈추거나, 멈춰있는 커넥터를 다시 실행시킬 수 있어요.
커넥터 재시작하기
커넥터 인스턴스를 재시작하되, 옵션에 따라 태스크 인스턴스들을 포함하여 재시작 할 수 있어요. 옵션을 선택하지 않는 경우, 커넥터 인스턴스만 재시작되요.
- 전체 태스크를 포함하여 재시작 하기
현재 실행 중인 모든 태스크들을 함께 재시작해요. - 실패한 태스크들만 포함하여 재시작 하기
현재 실패한 상태인 태스크들을 함께 재시작해요.
커넥터 삭제하기
커넥터 인스턴스를 삭제할 수 있어요. 커넥터를 삭제하면 해당 커넥터의 모든 태스크들도 함께 삭제되므로 유의하여 삭제해주세요.
커넥터 추가하기
[커넥터 추가] 버튼을 누르면 현재 추가할 수 있는 커넥터 플러그인 목록을 확인할 수 있어요.
다양한 종류의 커넥터 플러그인을 사용하여 데이터베이스, 클라우드 서비스, 파일 시스템 등 다양한 데이터 소스와 쉽게 연결할 수 있어요. 플러그인은 데이터 이동, 동기화 및 변환 작업을 자동화하여 데이터 관리 프로세스를 단순화하고 효율성을 높여줘요.
Step1. 플러그인 목록 확인 및 선택
현재 커넥트 클러스터에 추가가 가능한 커넥터 플러그인 목록을 확인할 수 있어요. 추가할 커넥터 플러그인의 [추가] 버튼을 눌러 다음 단계로 넘어가주세요.
Step2. 커넥터 상세 설정
각 커넥터 별로 필요한 설정 값들을 입력해주세 요. 좌측 추천 설정 목록 에서 중요도 별, 카테고리 별로 설정 값을 확인하고 체크 버튼을 눌러 설정 값을 추가할 수 있어요. 또, 각 설정 별로 자세한 설명을 보고 싶으면 [설명 펼치기] 버튼을 눌러 설명을 확인할 수 있어요. 설정 값이 추가되면 우측 JSON 편집기 에 추가된 설정 값이 표시되며, 편집기에서도 설정 값을 수정하거나 삭제할 수 있어요.
단, 커넥터 별 필수/추천 설정값은 대시보드에서 제공하는 값과 조금씩 다를 수 있으므로 오류 발생 시 각 커넥터의 공식문서를 확인해주세요.
Step3. 검증 및 추가
입력한 커넥터 설정 값이 유효한지 먼저 검증한 후, [추가] 버튼을 눌러 커넥터를 추가할 수 있어요.
