Kafka

서론랭체인 완벽입문 책을 읽다가 redis를 쉽게 이용할 수 있는 upstash 라는 서비스를 알게되었습니다.https://upstash.com/ 를 확인해보니 Redis 뿐만 아니라 Kafka, VectorDB, QStash(?)가 사용 가능한 것을 보고 궁금해져서 사용해보며 글을 남기고자 합니다.가격upstash는 완전 관리형 서비스로 앞서 언급한 서비스를 관리해줍니다. 전부 무료는 당연히 아니고 가격 정책이 있었습니다.(QStash는 Upstash의 스케줄러 & 메시징큐를 위한 서비스)Service공짜쓴만큼 지불Redis10,000 Request Per Day$0.2 per 100kKafka10,000 Request Per Day$0.6 per 100kVector10,000 Request Per D..

스키마 레지스트리를 사용하는 가장 큰 이유는 데이터의 호환성과 품질을 보장하기 위함이다. 메시지의 스키마가 없다면 Producer에게 발생한 장애가 모든 Consumer 들에게 전파될 수 있다. 그렇기에 카프카를 사용한다면 스키마 레지스트리 사용은 필수라고 말할 수 있다. Producer가 토픽에 메시지를 생성하고 Consumer가 토픽의 메시지를 소비하기까지 스키마 레지스트리 입장에선 다음과 같은 단계가 수행된다. 1. 토픽에 등록된 스키마 관리 2. Producer의 메시지 Validation Check 3. Consumer의 메시지 Validation Check 그런데, 운영 중 스키마를 변경해야 하는 경우가 생겼다면 어떻게 해야 할까? 다 같이 운영을 중단하고 스키마를 변경한 뒤 운영을 재개할 ..

같은 키를 갖는 메시지는 "항상" 같은 파티션에 들어갈까? 위 질문에 대한 답을 구하고자 포스팅을 작성한다. 위 질문에 대한 답이 Yes라면 메시지에 키를 설정하는 것에 대해 회의적일 것이고 No라면 긍정적일 것이다. 메시지의 키의 역할 카프카 토픽에 들어가는 메시지는 key와 value의 쌍이다. 여기서 key는 Optional 필드이고 value를 필수이다. 일반적으로 키는 메시지가 저장되는 파티션을 지정하기 위해 사용되는 정보이며 Partitional(파티셔너)에 의해 특정 파티션으로 메시지가 보내진다. 또한, 이 포스팅의 핵심이라 할 수 있는 기본적인 개념인 "같은 키를 갖는 메시지는 같은 파티션으로 할당"되기에 같은 키를 갖는 메시지에 대해 순서를 보장할 수 있다. 질문의 답이 No 이여야 하는..