Category: Apache Kafka

[Kafka-connect] A few APIs are helpful in Kafka-connect.

February 20, 2022February 27, 2022 nim No Comments

list topic: List các connector: show status connector: show config connector: delete connector show error or exception a task of a connector:

Apache Kafka, Kafka Connect

[Kafka-connect] Single Message Transform: lesson 1 – InsertField in Sink

February 20, 2022February 27, 2022 nim No Comments

Bài này chúng ta sem cách anh tây hướng dẫn insert field hay còn gọi là cột dữ liệu mà ảnh muốn khi mà anh sink data từ topic của kafka vào database (Mysql) và đây là bài của ảnh:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day1.adoc 1) Setup the needing components of Kafka Và dưới đây là phần note của mình:…

Apache Kafka, Kafka Connect

[Kafka-connect] Streaming the data of Postgresql through Kafka-connect and Debezium plugin.

February 17, 2022May 22, 2022 nim No Comments

Ố dè! Chúng ta thử lab kafka-connect sẽ stream 1 table trong 1 database của postgres vào 1 topic trong kafka. 1) Install postgresql Chúng ta có 1 file compose postgresql. rồi anh em gõ docker-compose up -d nhé giờ tiến hành exec vào container postgres tạo 1 table Nếu cần add thêm table vào…

Apache Kafka, Kafka Connect

[Kafka-connect] Streaming the data of MySQL throughs Kafka-connect and Debezium plugin.

February 13, 2022July 11, 2022 nim No Comments

1) Install and configurate mysql to use to the kafka-connect Lab. Run docker MySQL: giờ sửa file: mysql.cnf xong rồi thoát ra restart docker In order for Debezium MySQL to track all the changes in bin-log, it needs a user with SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT permissions. Grant them to the user…

Apache Kafka, Kafka Connect

[Kafka] Install kafka and zookeeper cluster on kubernetes.

February 13, 2022April 3, 2022 nim No Comments

Mới đây mình research ra các cái kafka trên k8s khá tiệnhttps://docs.bitnami.com/tutorials/deploy-scalable-kafka-zookeeper-cluster-kubernetes/ Link helm:https://charts.bitnami.com/bitnami Nó gồm 1 phần: – Install zookeeper. – Install Kafka. 1) Install zookeeper values.yaml Nếu bạn có sài lọnghorn thì ko cần quan tâm đến pvc. Khoẻ re. 2) Install kafka on kubernetes. values.yaml Bạn để ý là mình lựu chọn…

Apache Kafka, Kafka

[Kafka/Schema-registry] Installing Schema-registry to use for the Kafka and Kafka-connect model

February 13, 2022February 14, 2022 nim No Comments

1) what is the Schema-registry Hiện giờ mình mình cũng chưa hiểu rõ Schema-registry.Mình có 1 số link tham khảo:https://docs.confluent.io/platform/current/schema-registry/index.html#sr-overview A few words about Avro By default, Debezium writes the JSON-formatted data. This method is acceptable for sandboxes and small volumes of data but can be a problem in high-load databases. Avro is an excellent alternative to…

Apache Kafka

[Kafka-connect] Install Kafka-connect on Kubernetes through helm-chart.

February 9, 2022February 27, 2022 nim No Comments

1) Overview Mình đã có 1 vài bài về kafka cũng như kafka-connect.Kafka-connect thì có nhiệm vụ là Lấy data từ source nào đó như là: file, database, … ===> rồi ghi vào topic của KafkaKhi mà topic đó đã có data:– thì client có read trực tiếp data từ topic đó.– Hoặc sử dụng…

Apache Kafka, Kafka Connect

[Kafka-connect] Install lenses to manage Kafka.

February 9, 2022March 10, 2022 nim No Comments

Như bạn thấy mình đã có những bài nói về comand trong kafka cũng như kafka-connectChúng sẽ có 1 UI để quản lý đó là lense, giao diện khá đẹp. 1) License Để run được lenses chúng ta cần có file là license.json 1.1) It’s free! chúng ta cần vào trang web này để đăng…

Apache Kafka, Kafka Connect, Lenses

[Kafka-connect] research on Kafka Connect Source and demo watch the changing file.

February 4, 2022February 27, 2022 nim No Comments

Bài này chúng ta sẽ tìm hiểu thử Kafka connect là cái quái j?Và có 1 vài demo để dễ hiểu hơn. Đầu tiên:Nếu bạn muốn có người cầm tay chỉ việc vip hơn mình thì down khoá này nhé:https://www.udemy.com/course/kafka-connect/ 1) Kafka Connect Source Hiệu đơn giản thì chúng ta sẽ lấy data từ 1…

Apache Kafka, Kafka Connect

[Kafka] Console Consumer CLI and Consumers in Group

January 31, 2022April 7, 2023 nim No Comments

Giờ chúng ta tìm hiểu về việc read và write vào 1 topic trên kafka bằng CLI 1) Overview 1.1) Consumers 1.3) Consumer Groups What if too many consumers? giờ mình thực hiện mở 2 cửa sổ: – 1 consumer để lắng nghe topic– 1 producer để write data into topic 2) Practice 2.1) Consumer…

Apache Kafka, Kafka