Category: Kafka

[Azure/Event Hub/Kafka] Using Event Hub instead of Kafka on the Azure Cloud.

May 22, 2025May 22, 2025 nim No Comments

Đâu tiên nếu chúng ta chưa đăng ký sử dụng Event Hub sẽ bị lỗi trên.Chúng ta sẽ thực hiện đăng ký như sau: Bạn tìm đến eventhub click vào: Tiếp theo thì bạn sẽ chọn Subscription và Resource groupNamespace name nó là tên của event-hub rồi chọn region Pricing tier: chúng ta có rất…

Azure Cloud, Kafka

Message Prioritization in Kafka

March 4, 2024March 4, 2024 nim No Comments

Copy from: https://udayabharathi.medium.com/message-prioritization-in-kafka-105f712dcf8a Hello there! If you’re familiar with Kafka. And if you understand the internals, then you might wonder how to implement message prioritization in Kafka. Because, the way it works, this use case is simply not directly possible with Kafka. If you are actually new to Kafka, then be sure to stick with…

Kafka

How to code a tool to connect Kafka by Golang

December 27, 2023December 31, 2023 nim No Comments

1) Overview Bạn cần viết 1 application để connect vào kafka bằng Golang. Chúng ta có 2 lựa chọn:https://github.com/confluentinc/confluent-kafka-gohttps://github.com/IBM/sarama Hãy tìm hiểu về sơ về cách thức hoạt động và ưu nhược điểm của 2 package trên. confluent-kafka-go Key Features: sarama Key Features: Comparison and Considerations Hoặc bạn có thể tham khảo link này:https://www.reddit.com/r/golang/comments/olrd34/confluentkafkago_or_shopifysarama/ Example…

Golang, Kafka

[Kafka/Strimzi] Install kafka cluster on k8s by Strimzi

December 26, 2023December 26, 2023 nim No Comments

Bạn đang sợ hữu 1 cluster k8s. Và bạn muốn cài kafka lên đó.Mình đã có hướng dẫn cài bạn ở 1 bài trước đó Giờ bạn có thể cài kafka thông qua strimzi. Nó là 1 operator. Tiếp theo là bạn sẽ sử dụng dụng file để tạo ra 1 simple kafka. vì mình…

Kafka

[Kafka] This is how you produce and consume messages with Kafka

October 6, 2023 nim No Comments

Một bức anh hay về kafka

Kafka

Wins from Effective Kafka Monitoring at Adobe: Stability, Performance, and Cost Savings

December 21, 2022 nim No Comments

https://blog.developer.adobe.com/wins-from-effective-kafka-monitoring-at-adobe-stability-performance-and-cost-savings-a3ecb701ee5b Co-author: Eugen Nicolae Cojan As the father of quality management W. Edwards Deming, put it: “Without data, you are just another person with an opinion.” This post combines real-world issues faced by our team and our approach to addressing them. It also shares the key metrics to start monitoring Kafka client implementations effectively. Case studies…

Kafka

[Kafka/MSK] Install kafka or MSK on aws through terraform.

November 2, 2022July 18, 2024 nim 2 Comments

1) Creating VPC Đầu tiên mình sẽ tạo vpc 2) Creating Security Group. 3) Declare variable and Create Kafka by terraform on AWS Tiếp đến là tạo msk hay còn gọi là kafka on aws Nếu bạn bị lỗi bên dưới Bạn phải khai báo:client_authentication_unauthenticated_enabled = true bạn cần chú ý số number_of_nodes nó phải…

AWS - Amazon Web Service, Kafka

[Kafka] How many partitions are enough in a topic on Kafka?

October 3, 2022March 4, 2024 nim No Comments

Chúng ta cần set bao nhiều partion là phù hợp. Số partition không vượt quá số tổng CPU của các node vật lý.Số partition bằng 2 x nodeSố partitions = số pod trên k8s Bạn có thể tham khảo thêm bài viết này: https://viblo.asia/p/005-bao-nhieu-partition-la-du-cho-mot-topic-trong-apache-kafka-V3m5WQxQZO7

Kafka

[Kafka] Thiết kế và Testing Cluster kafka HA trên k8

April 28, 2022April 28, 2022 nim No Comments

Lượn được bài hay về kafka của một anh

Kafka

[kafka] Topic doesn’t have the record.

March 3, 2022 nim No Comments

Vào một ngày đẹp trời!Bạn vào lại topic của mình và thấy. VALUE:“No records were returned for 20 seconds. The max idle timeout has been reached. Use [SET SessionKey(max.idle.time)=’60s’;] to control it. You can specify the timeout in ms(milliseconds), s(seconds), m(minutes), h(hours).”

Kafka