본문 바로가기

전체글114

카프카(kafka) 조금 아는척하기 - 2 목차개요프로듀서란?프로듀서의 기본 흐름Sender의 기본 동작처리량 관련 주요 속성전송 결과 확인 안함전송 결과 확인함전송 보장과 acks에러 유형실패 대응재시도와 메시지 중복 전송 가능성재시도와 순서결론1. 개요지난 카프카 아는척하기 - 1 편에서는 기본적인 구조에 대해서 정리를 하였다. 링크는 아래와 같다. https://github.com/Jammini/TIL/blob/master/etc/kafka1.md이번에는 프로듀서에 대해 자세히 알아보려 한다.2. 프로듀서란?토픽에 메시지 전송 → 토픽, 키, 값Properties prop = new Properties();prop.put("bootstrap.servers", "kafka01:9092,kafka01:9092,kafka01:9092");prop.. 2024. 5. 28.
카프카(kafka) 조금 아는척하기 - 1 목차개요카프카란?기본구조토픽과 파티션파티션과 오프셋, 메시지 순서여러 파티션과 프로듀서여러 파티션과 컨슈머카프카와 성능리플리카 - 복제결론1. 개요결제시스템 프로젝트를 진행하면서 카프카를 사용하였는데, 대략적인 내용만 알고 있어 카프카에 대한 정리가 필요하였다. 그래서 카프카에 대해 정리하기 위해 쉽게 정리된 내용이 없을까 하다가 최범균님의 ‘카프카 조금 아는 척하기’를 보게 되었고 그것에 대해 정리해서 익혀보려고한다.2. 카프카란?카프카의 공식사이트 https://kafka.apache.org/ 를 들어가보면 아래와 같은 그림이 나온다.카프카는 분산 이벤트 스트리밍 플랫폼(distributed event streaming platform)으로 소개하고 있으며 고성능(high-performance)를 강.. 2024. 5. 27.
브라우저에 URL을 입력하면 어떤 일이 벌어질까? 목차 개요 웹브라우저 URL을 입력하고 Enter 키 입력 웹 브라우저가 도메인명의 IP 주소 조회 웹 브라우저가 서버와의 TCP 연결 시작 웹 브라우저가 HTTP 요청을 서버로 전송 웹 서버가 요청을 처리하고 응답을 다시 전송 웹 브라우저가 콘텐츠 렌더링 결론 1. 개요 우리는 매일 웹 브라우저를 열고 즐겨찾는 웹사이트를 탐색한다. 주소창에 URL을 입력하거나 페이지 링크를 클릭하면 해당 페이지로 이동한다. 그런데, 그 뒷단에서 무슨 일이 일어나는지 생각해 본 적이 있는가? 이 글에서는 웹브라우저에 URL을 입력하면 어떤 일이 벌어지는지 살펴보겠다. 2. 웹브라우저 URL을 입력하고 Enter 키 입력 위와 같이 브라우저에 https://www.naver.com 입력한 URL을 분류해보자. 즉 nave.. 2024. 3. 26.
대용량 트래픽 처리를 위한 경매 기능 최적화 목차 개요 경매 기능 구조 상품 가격을 위한 캐싱 실시간 최고 입찰액을 갱신하는 웹소켓 대용량 트래픽 처리를 위한 메시지 큐 결론 1. 개요 경매는 정해진 시간에 높은 가격을 제시한 회원이 상품 구매 자격을 얻는 거래체결 방식이다. 경매를 진행하면 순간적으로 많은 입찰 요청이 들어 오고 실시간으로 상품 가격이 변동 된다. 수많은 트래픽과 사용자 경험을 개선하기 위해 프로젝트에서는 Redis, WebSocket, RabbitMQ를 이용해 경매 기능을 최적화 한다. 2. 경매 기능 구조 경매 기능은 프로젝트의 핵심 기능이며 요구사항은 다음과 같다. 상품을 보고 있는 사람은 매순간 변경된 입찰 최고 금액을 실시간으로 화면에 보여져야 한다. 높은 가격을 먼저 서버로 요청한 사람이 구매권한을 가진다. 즉, 순서에.. 2024. 3. 20.
RabbitMQ 메세지큐 적용으로 성능 개선하기 목차 개요 메세지 큐(Message Queue)란? RabbitMQ 설정 메세지 발송(Producer) 구현 메세지 받는(Consumer) 구현 nGrinder 성능 테스트 결론 1. 개요 다수의 요청을 효과적으로 관리하고 비동기적으로 처리하기 위해, 메시지큐 시스템을 도입하였다. 입찰 요청이 들어오면 큐에 저장한 후 순차적으로 처리하도록 구성하였다. 전반적인 구성과정을 살펴보고 nGrinder로 테스트를 통해 성능이 얼마나 차이나는지 비교해 보자. 2. 메세지 큐(Message Queue)란? 메세지 큐를 간단하게 말하면 프로세스나 서비스 간에 메시지를 전송하고 저장하는 중간자 역할자이다. 메시지 큐를 사용하면 메시지를 보내는 쪽(프로듀서)과 받는 쪽(컨슈머)이 서로의 처리 속도나 가용 상태에 영향을 .. 2024. 3. 19.
Redis 캐시 적용으로 성능 개선하기 목차 개요 캐시(Cache)란? 입찰 생성 시 Redis 캐시 업데이트 최고 입찰 금액 조회시 Redis 캐시 사용 nGrinder 성능 테스트 결론 1. 개요 경매에서 입찰 금액은 실시간으로 관리되고 입찰은 순간적으로 많은 요청이 발생 할 수 있다. 입찰이 많이 몰리게 되면 DB에서 입찰 금액을 빈번하게 가져와 입찰금액이 갱신하고 있는 상황이었다. 최고 입찰액을 가져오는 시간을 줄이고자 DB조회 대신 Redis에서 값을 빠르게 가져와서 응답하고자 하였고 nGrinder로 테스트를 통해 성능이 얼마나 차이나는지 비교해 보자. 2. 캐시(Cache)란? 캐시를 간단하게 말하면 데이터를 미리 복사해 놓는 임시 저장소를 말한다. 접근 시간이 긴 하드디스크를 읽는 대신 빠르게 접근 할 수 있도록 도와주는 역할을.. 2024. 3. 15.

티스토리툴바