Category: Apache Kafka

[Kafka/MSK] Install kafka or MSK on aws through terraform.

Posted on By nim No Comments on [Kafka/MSK] Install kafka or MSK on aws through terraform.

1) Creating VPC Đầu tiên mình sẽ tạo vpc 2) Creating Security Group. 3) Declare variable and Create Kafka by terraform on AWS Tiếp đến là tạo msk hay còn gọi là kafka on aws Nếu bạn bị lỗi bên dưới Bạn phải khai báo:client_authentication_unauthenticated_enabled = true bạn cần chú ý số number_of_nodes nó phải…

Read More “[Kafka/MSK] Install kafka or MSK on aws through terraform.” »

AWS - Amazon Web Service, Kafka

[Kafka-connect] Solving the error or issues on Kafka-connect

Posted on By nim No Comments on [Kafka-connect] Solving the error or issues on Kafka-connect

Với các connector của debezium bạn có thể tham khảo các issues ở đây:https://issues.redhat.com/projects/DBZ/issues/DBZ-5037?filter=allopenissues Và thường chúng ta sẽ lọc theo version. mysqldebezium Nếu bị lỗi trên thì change value: database.history.kafka.topic (thay đổi ký tự chẳng hạn)

Kafka Connect

[Kafka-connect] Reset Connector in Kafka Connect

Posted on By nim No Comments on [Kafka-connect] Reset Connector in Kafka Connect

Hello các bạn sau đâu mình sẽ trình bày về vần để reset 1 connector trên kafka. Why need you reset a connector in Kafka-connect?Vì 1 số case thì kafka-connect sẽ read data từ Database rồi write data vào trong 1 topic trên kafka.Với Mysql thì thì kafka-connect sẽ đọc log bin, với Mongodb thì…

Read More “[Kafka-connect] Reset Connector in Kafka Connect” »

Kafka Connect

[Kafka-Connect] Overwrite value of Key on Mongo Source Connector – Mongodb

Posted on By nim No Comments on [Kafka-Connect] Overwrite value of Key on Mongo Source Connector – Mongodb

Mình đã có 1 bài hướng dẫn các bạn tạo Connector Source CDC từ read data từ 1 database và 1 collection thuộc 1 Mongodb và write vào topic. Ta để ý value của key sẽ thay đổi liên tục. 1st: Create Document A –(read data change)–> Kafka-connect –(write topic)–> Kafka –> 1 message có…

Read More “[Kafka-Connect] Overwrite value of Key on Mongo Source Connector – Mongodb” »

Kafka Connect

[Lenses/kafka] Configure authentication and authorization for lenses

Posted on By nim No Comments on [Lenses/kafka] Configure authentication and authorization for lenses

Mặc định pass là admin/adminGiờ chúng ta muốn change pass admin thì làm sao. 1) Configure authentication Reference links:https://docs.lenses.io/3.0/install_setup/configuration/security.html Lenses Administrator A default account with administrator privileges is always active. The default credentials are admin / admin and if left at default, a notification will show in the user interface, informing that the setup is insecure. The default account username…

Read More “[Lenses/kafka] Configure authentication and authorization for lenses” »

Lenses

[Kafka-connect] Single Message Transform: lesson 12 – Community Transformations

Posted on By nim No Comments on [Kafka-connect] Single Message Transform: lesson 12 – Community Transformations

Apache Kafka ships with many Single Message Transformations included – but the great thing about it being an open API is that people can, and do, write their own transformations. Many of these are shared with the wider community, and in this final installment of the series I’m going to look at some of the transformations written by Jeremy…

Read More “[Kafka-connect] Single Message Transform: lesson 12 – Community Transformations” »

Kafka Connect