DevOps3 카프카(kafka) 조금 아는척하기 - 3 목차개요컨슈머토픽 파티션은 그룹 단위 할당커밋과 오프셋커밋된 오프셋이 없는 경우컨슈머 설정자동 커밋/수동 커밋재처리와 순서세션 타임아웃, 하트비트, 최대 poll 간격종료 처리주의: 쓰레드 안전하지 않음결론1. 개요지난번에 이어서 이번에는 컨슈머에 대해 알아보려고 한다. 이전에 1편과 2편은 다음과 같다.1편 - https://github.com/Jammini/TIL/blob/master/etc/kafka1.md2편 - https://github.com/Jammini/TIL/blob/master/etc/kafka2.md2. 컨슈머토픽 파티션에서 레코드 조회Properties prop = new Properties();prop.put("bootstrap.servers", "localhost:9092");p.. 2024. 5. 28. 카프카(kafka) 조금 아는척하기 - 2 목차개요프로듀서란?프로듀서의 기본 흐름Sender의 기본 동작처리량 관련 주요 속성전송 결과 확인 안함전송 결과 확인함전송 보장과 acks에러 유형실패 대응재시도와 메시지 중복 전송 가능성재시도와 순서결론1. 개요지난 카프카 아는척하기 - 1 편에서는 기본적인 구조에 대해서 정리를 하였다. 링크는 아래와 같다. https://github.com/Jammini/TIL/blob/master/etc/kafka1.md이번에는 프로듀서에 대해 자세히 알아보려 한다.2. 프로듀서란?토픽에 메시지 전송 → 토픽, 키, 값Properties prop = new Properties();prop.put("bootstrap.servers", "kafka01:9092,kafka01:9092,kafka01:9092");prop.. 2024. 5. 28. 카프카(kafka) 조금 아는척하기 - 1 목차개요카프카란?기본구조토픽과 파티션파티션과 오프셋, 메시지 순서여러 파티션과 프로듀서여러 파티션과 컨슈머카프카와 성능리플리카 - 복제결론1. 개요결제시스템 프로젝트를 진행하면서 카프카를 사용하였는데, 대략적인 내용만 알고 있어 카프카에 대한 정리가 필요하였다. 그래서 카프카에 대해 정리하기 위해 쉽게 정리된 내용이 없을까 하다가 최범균님의 ‘카프카 조금 아는 척하기’를 보게 되었고 그것에 대해 정리해서 익혀보려고한다.2. 카프카란?카프카의 공식사이트 https://kafka.apache.org/ 를 들어가보면 아래와 같은 그림이 나온다.카프카는 분산 이벤트 스트리밍 플랫폼(distributed event streaming platform)으로 소개하고 있으며 고성능(high-performance)를 강.. 2024. 5. 27. 이전 1 다음