[Kafka] Thiết kế và Testing Cluster kafka HA trên k8
![[Kafka] Thiết kế và Testing Cluster kafka HA trên k8](https://nimtechnology.com/wp-content/uploads/2022/04/image-479.png?v=1651081584)
Lượn được bài hay về kafka của một anh
Category: Kafka
[kafka] Topic doesn’t have the record.
![[kafka] Topic doesn’t have the record.](https://nimtechnology.com/wp-content/uploads/2022/03/image-12.png?v=1646274662)
Vào một ngày đẹp trời!Bạn vào lại topic của mình và thấy. VALUE:“No records were returned for 20 seconds. The max idle timeout has been reached. Use [SET SessionKey(max.idle.time)=’60s’;] to control it. You can specify the timeout in ms(milliseconds), s(seconds), m(minutes), h(hours).”
[Kafka] Install kafka and zookeeper cluster on kubernetes.
![[Kafka] Install kafka and zookeeper cluster on kubernetes.](https://nimtechnology.com/wp-content/uploads/2022/02/zookeeper-kafka.png?v=1644689527)
Mới đây mình research ra các cái kafka trên k8s khá tiệnhttps://docs.bitnami.com/tutorials/deploy-scalable-kafka-zookeeper-cluster-kubernetes/ Link helm:https://charts.bitnami.com/bitnami Nó gồm 1 phần: – Install zookeeper. – Install Kafka. 1) Install zookeeper values.yaml Nếu bạn có sài lọnghorn thì ko cần quan tâm đến pvc. Khoẻ re. 2) Install kafka on kubernetes. values.yaml Bạn để ý là mình lựu chọn…
Read More “[Kafka] Install kafka and zookeeper cluster on kubernetes.” »
[Kafka] Console Consumer CLI and Consumers in Group
![[Kafka] Console Consumer CLI and Consumers in Group](https://nimtechnology.com/wp-content/uploads/2022/01/Kafka-CLI.png)
Giờ chúng ta tìm hiểu về việc read và write vào 1 topic trên kafka bằng CLI 1) Overview 1.1) Consumers Consumers read data from a topic (identified by name) Consumers know which broker to read from In case of broker failures, consumers know how to recover Data is read in order within each partitions…
Read More “[Kafka] Console Consumer CLI and Consumers in Group” »
[Kafka] Kafka Console Producer CLI.
Producers • Producers write data to topics (which is made of partitions) • Producers automatically know to which broker and partition to write to • In case of Broker failures, Producers will automatically recover • Producers can choose to receive acknowledgment of data writes: • acks=0: Producer won’t wait for acknowledgment (possible data loss) •…
[Kafka] Kafka Topics CLI
Ở bài này mình đi tìm hiểu về Kafka CLI, để chạy được kafka bạn tham khảo bài này nhé: 1) kafka-topics 1.1) what is the topic in Kfaka? Vậy Topic trong kafka là gì? Topics: a particular stream of data Similar to a table in a database (without all the constraints) You can have…
[Kafka-Zookeeper] Starting Kafka and Zookeeper
![[Kafka-Zookeeper] Starting Kafka and Zookeeper](https://nimtechnology.com/wp-content/uploads/2022/01/Screen-Shot-2022-01-30-at-22.57.19.png)
Hiện tại mình đang tìm hiểu về Kafka and ZookeeperBài này chỉ đơn thuần là start 2 service này lên thôi! Install Java 11 Giờ chúng ta download kafka. https://kafka.apache.org/downloads Bạn cần add cái này vào cuối fileexport PATH=/root/kafka/bin:$PATH sau đó chúng ta mở một cưa số khác,rồi gõ kafka sau đó nhấn tab, nếu…
Read More “[Kafka-Zookeeper] Starting Kafka and Zookeeper” »