[Kafka] Thiết kế và Testing Cluster kafka HA trên k8
Lượn được bài hay về kafka của một anh
Trình bày các công nghệ CLOUD một cách dễ hiểu.
Vào một ngày đẹp trời!Bạn vào lại topic của mình và thấy. VALUE:“No records were returned for 20 seconds. The max idle timeout has been reached. Use [SET SessionKey(max.idle.time)=’60s’;] to control it. You can specify the timeout in ms(milliseconds), s(seconds), m(minutes), h(hours).”
Mới đây mình research ra các cái kafka trên k8s khá tiệnhttps://docs.bitnami.com/tutorials/deploy-scalable-kafka-zookeeper-cluster-kubernetes/ Link helm:https://charts.bitnami.com/bitnami Nó gồm 1 phần: – Install zookeeper. – Install Kafka. 1) Install zookeeper values.yaml Nếu bạn có sài lọnghorn thì ko cần quan tâm đến pvc. Khoẻ re. 2) Install kafka on kubernetes. values.yaml Bạn để ý là mình lựu chọn…
Read More “[Kafka] Install kafka and zookeeper cluster on kubernetes.” »
Giờ chúng ta tìm hiểu về việc read và write vào 1 topic trên kafka bằng CLI 1) Overview 1.1) Consumers Consumers read data from a topic (identified by name) Consumers know which broker to read from In case of broker failures, consumers know how to recover Data is read in order within each partitions…
Read More “[Kafka] Console Consumer CLI and Consumers in Group” »
Producers • Producers write data to topics (which is made of partitions) • Producers automatically know to which broker and partition to write to • In case of Broker failures, Producers will automatically recover • Producers can choose to receive acknowledgment of data writes: • acks=0: Producer won’t wait for acknowledgment (possible data loss) •…
Ở bài này mình đi tìm hiểu về Kafka CLI, để chạy được kafka bạn tham khảo bài này nhé: 1) kafka-topics 1.1) what is the topic in Kfaka? Vậy Topic trong kafka là gì? Topics: a particular stream of data Similar to a table in a database (without all the constraints) You can have…
Hiện tại mình đang tìm hiểu về Kafka and ZookeeperBài này chỉ đơn thuần là start 2 service này lên thôi! Install Java 11 Giờ chúng ta download kafka. https://kafka.apache.org/downloads Bạn cần add cái này vào cuối fileexport PATH=/root/kafka/bin:$PATH sau đó chúng ta mở một cưa số khác,rồi gõ kafka sau đó nhấn tab, nếu…
Read More “[Kafka-Zookeeper] Starting Kafka and Zookeeper” »