[Lenses/kafka] Fix the problem “Cannot extract connector information from the configuration provided” when creating connector Kafka-connect

Posted on By nim No Comments on [Lenses/kafka] Fix the problem “Cannot extract connector information from the configuration provided” when creating connector Kafka-connect

Nếu bạn sửa dụng kafka-connect mà sẽ cần add thêm rất nhiều plugin vào server kafka-connect.Mình đang gặp vấn đề có 1 vài plugin lenses ko thể validate được. Ví dụ như plugin này: MongoDB Connector (Source and Sink) khi mình create 1 connector có hiện tượng sau: Có 1 người anh chỉ mình:https://docs.lenses.io/5.0/configuration/static/options/topology/#configure-lenses-to-load-a-custom-connector chúng…

Read More “[Lenses/kafka] Fix the problem “Cannot extract connector information from the configuration provided” when creating connector Kafka-connect” »

Apache Kafka, Lenses

[Kafka] UI control Kafka, Kafka-connect, … It’s akhq.io

Posted on By nim No Comments on [Kafka] UI control Kafka, Kafka-connect, … It’s akhq.io

Trong các bài viết về kafka connect của mình, thì mình hay sử dụng lenses.Nhưng có vấn đề lenses tốn phí. Mình đã được 1 bạn trong group giới thiệu Mình có dò thì conduktor nó tốn phí còn akhq thì kocảm ơn bạn rất nhiều Mình còn thấy 1 ứng cử viên tiềm năng…

Read More “[Kafka] UI control Kafka, Kafka-connect, … It’s akhq.io” »

Apache Kafka, Lenses

[Kafka-connect] Streaming the data of MongoDB through Kafka-connect into topic Kafka.

Posted on By nim No Comments on [Kafka-connect] Streaming the data of MongoDB through Kafka-connect into topic Kafka.

1) Install MongoDB Nếu bạn chưa rành về mongoDB có thể sem vài chiêu thức cơ bản ở đây: Reference links:https://gist.github.com/asoorm/7822cc742831639c93affd734e97ce4f Mình cung cấp link docker-compose.yaml như sau: Giờ bạn run:docker-compose up -d thực hiện hiện exec vào container và tạo database, collection và insert data. Hiện tại thì chúng ta chạy mongodb ở mode…

Read More “[Kafka-connect] Streaming the data of MongoDB through Kafka-connect into topic Kafka.” »

Apache Kafka, Kafka Connect

[MongoDB] Install and config MongoDB is so easy on Docker.

Posted on By nim No Comments on [MongoDB] Install and config MongoDB is so easy on Docker.

Plugin MongoDB:https://www.confluent.io/hub/mongodb/kafka-connect-mongodb show datatabase trong mongodbshow dbs tạo database mới:use todo Giờ tạo collection and document Tạo xong mà báo như dưới là ok đã tạo thành công. Liệt kê các document trong collection newtodo Để json trong đẹp hơn thì gõ:db.newtodo.find().pretty()

Docker

[Kafka-connect]Single Message Transform: lesson 3 – Flatten and LongConverter

Posted on By nim No Comments on [Kafka-connect]Single Message Transform: lesson 3 – Flatten and LongConverter

Khi data trong 1 topic ở format Avro,… mà ta muốn sink vào DB thì nó sẽ bị lỗi ở việc tạo field column cho 1 table. 1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka 2) Practice. Launch ksqlDB: OK giờ bạn thấy…

Read More “[Kafka-connect]Single Message Transform: lesson 3 – Flatten and LongConverter” »

Apache Kafka, Kafka Connect

[Kafka-connect] Single Message Transform: lesson 2 – ValueToKey and ExtractField in Sink

Posted on By nim No Comments on [Kafka-connect] Single Message Transform: lesson 2 – ValueToKey and ExtractField in Sink

1) Setup Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka 2) Practice giờ chui vào mysql nghịch: tạo table và insert data. Giờ chúng ta đã có table mới: Create source connector reference links:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day2.adochttps://docs.confluent.io/current/connect/kafka-connect-jdbc/source-connector/Kafka Connect Deep Dive – JDBC Source Connector Giờ bạn run command để tạo…

Read More “[Kafka-connect] Single Message Transform: lesson 2 – ValueToKey and ExtractField in Sink” »

Apache Kafka, Kafka Connect

[Kafka-connect] Single Message Transform: lesson 1 – InsertField in Sink

Posted on By nim No Comments on [Kafka-connect] Single Message Transform: lesson 1 – InsertField in Sink

Bài này chúng ta sem cách anh tây hướng dẫn insert field hay còn gọi là cột dữ liệu mà ảnh muốn khi mà anh sink data từ topic của kafka vào database (Mysql) và đây là bài của ảnh:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day1.adoc 1) Setup the needing components of Kafka Và dưới đây là phần note của mình:…

Read More “[Kafka-connect] Single Message Transform: lesson 1 – InsertField in Sink” »

Apache Kafka, Kafka Connect

[Kafka-connect] Streaming the data of Postgresql through Kafka-connect and Debezium plugin.

Posted on By nim No Comments on [Kafka-connect] Streaming the data of Postgresql through Kafka-connect and Debezium plugin.

Ố dè! Chúng ta thử lab kafka-connect sẽ stream 1 table trong 1 database của postgres vào 1 topic trong kafka. 1) Install postgresql Chúng ta có 1 file compose postgresql. rồi anh em gõ docker-compose up -d nhé giờ tiến hành exec vào container postgres tạo 1 table Nếu cần add thêm table vào…

Read More “[Kafka-connect] Streaming the data of Postgresql through Kafka-connect and Debezium plugin.” »

Apache Kafka, Kafka Connect

[Kafka-connect] Streaming the data of MySQL throughs Kafka-connect and Debezium plugin.

Posted on By nim No Comments on [Kafka-connect] Streaming the data of MySQL throughs Kafka-connect and Debezium plugin.

1) Install and configurate mysql to use to the kafka-connect Lab. Run docker MySQL: giờ sửa file: mysql.cnf xong rồi thoát ra restart docker In order for Debezium MySQL to track all the changes in bin-log, it needs a user with SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT permissions. Grant them to the user…

Read More “[Kafka-connect] Streaming the data of MySQL throughs Kafka-connect and Debezium plugin.” »

Apache Kafka, Kafka Connect