[Apache Kafka] 커밋, Offset과 Lag

참고 블로그: 

https://mycup.tistory.com/435

https://ggop-n.tistory.com/90

 

Offset

• 파티션 내 각 레코드의 위치. 식별자
• 파티션 내에서 유일하고 순사적으로 증가하는 숫자(64비트 정수) 형태
• 중복 메시지 우려.
  • 멱등성 유지하는 로직 구현
  • 중복 메시지 제거 로직 구현
• 컨슈머 그룹의 컨슈머들은 각각의 파티션에 대해 자신이 가져간 메시지의 위치 정보(오프셋)을 기록하고 있음

 

커밋

• 각 파티션에 대해 현재 위치(오프셋)를 업데이트하는 동작

 

Lag

• 만약 Producer가 데이터를 넣는 속도가 Consumer가 데이터를 소비하는 속도보다 빠르다면 컨슈머가 마지막으로 읽은 offset과 Producer가 마지막으로 넣은 offset의 차이가 발생한다. 이 차이를 Consumer Lag 이라고 한다.
• Kafka에서 Lag 값을 통해 Producer, Consumer의 상태를 유추할 수 있다. 즉, Lag이 높다면 Consumer에 문제가 있다는 뜻일 수 있다.