Category: Kafka

[Kafka/MSK] Install kafka or MSK on aws through terraform.

November 2, 2022November 3, 2022 nim 2 Comments

1) Creating VPC Đầu tiên mình sẽ tạo vpc 2) Creating Security Group. 3) Declare variable and Create Kafka by terraform on AWS Tiếp đến là tạo msk hay còn gọi là kafka on aws Nếu bạn bị lỗi bên dưới Bạn phải khai báo:client_authentication_unauthenticated_enabled = true bạn cần chú ý số number_of_nodes nó phải…

AWS - Amazon Web Service, Kafka

[Kafka] How many partitions are enough in a topic on Kafka?

October 3, 2022October 3, 2022 nim No Comments

Chúng ta cần set bao nhiều partion là phù hợp. Số partition không vượt quá số tổng CPU của các node vật lý.Số partition bằng 2 x nodeSố partitions = số pod trên k8s

Kafka

[Kafka] Thiết kế và Testing Cluster kafka HA trên k8

April 28, 2022April 28, 2022 nim No Comments

Lượn được bài hay về kafka của một anh

Kafka

[kafka] Topic doesn’t have the record.

March 3, 2022 nim No Comments

Vào một ngày đẹp trời!Bạn vào lại topic của mình và thấy. VALUE:“No records were returned for 20 seconds. The max idle timeout has been reached. Use [SET SessionKey(max.idle.time)=’60s’;] to control it. You can specify the timeout in ms(milliseconds), s(seconds), m(minutes), h(hours).”

Kafka

[Kafka] Install kafka and zookeeper cluster on kubernetes.

February 13, 2022April 3, 2022 nim No Comments

Mới đây mình research ra các cái kafka trên k8s khá tiệnhttps://docs.bitnami.com/tutorials/deploy-scalable-kafka-zookeeper-cluster-kubernetes/ Link helm:https://charts.bitnami.com/bitnami Nó gồm 1 phần: – Install zookeeper. – Install Kafka. 1) Install zookeeper values.yaml Nếu bạn có sài lọnghorn thì ko cần quan tâm đến pvc. Khoẻ re. 2) Install kafka on kubernetes. values.yaml Bạn để ý là mình lựu chọn…

Apache Kafka, Kafka

[Kafka] Console Consumer CLI and Consumers in Group

January 31, 2022February 27, 2022 nim No Comments

Giờ chúng ta tìm hiểu về việc read và write vào 1 topic trên kafka bằng CLI 1) Overview 1.1) Consumers Consumers read data from a topic (identified by name) Consumers know which broker to read from In case of broker failures, consumers know how to recover Data is read in order within each partitions…

Apache Kafka, Kafka

[Kafka] Kafka Console Producer CLI.

January 31, 2022February 27, 2022 nim No Comments

Producers • Producers write data to topics (which is made of partitions) • Producers automatically know to which broker and partition to write to • In case of Broker failures, Producers will automatically recover • Producers can choose to receive acknowledgment of data writes: • acks=0: Producer won’t wait for acknowledgment (possible data loss) •…

Apache Kafka, Kafka, Log & Monitor

[Kafka] Kafka Topics CLI

January 31, 2022October 7, 2022 nim No Comments

Ở bài này mình đi tìm hiểu về Kafka CLI, để chạy được kafka bạn tham khảo bài này nhé: 1) kafka-topics 1.1) what is the topic in Kfaka? Vậy Topic trong kafka là gì? Topics: a particular stream of data Similar to a table in a database (without all the constraints) You can have…

Read More “[Kafka] Kafka Topics CLI” »

Apache Kafka, BareMetal, Kafka

[Kafka-Zookeeper] Starting Kafka and Zookeeper

January 30, 2022February 27, 2022 nim No Comments

Hiện tại mình đang tìm hiểu về Kafka and ZookeeperBài này chỉ đơn thuần là start 2 service này lên thôi! Install Java 11 Giờ chúng ta download kafka. https://kafka.apache.org/downloads Bạn cần add cái này vào cuối fileexport PATH=/root/kafka/bin:$PATH sau đó chúng ta mở một cưa số khác,rồi gõ kafka sau đó nhấn tab, nếu…

Apache Kafka, BareMetal, Kafka