NimTechnology – Page 58 – Trình bày các công nghệ CLOUD một cách dễ hiểu.

[Kafka-connect] Single Message Transform: lesson 9 – Cast

February 27, 2022February 27, 2022 nim No Comments

Bài này chúng ta sẽ chỉ custom type data khi nào source connector 1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. reference link:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day9.adoc Bạn thấy kết quả…

Apache Kafka, Kafka Connect

[Kafka-connect] Single Message Transform: lesson 8 – TimestampConverter – convert the type of the fields from string to timestamp or date,…

February 26, 2022February 27, 2022 nim No Comments

1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. reference link:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day8.adoc Tạo the data generatorhttps://www.confluent.io/hub/mdrogalis/voluble Giờ chúng ta kiểm tra data trong topic và chính xác là field:…

Apache Kafka, Kafka Connect

[Kafka-connect] Single Message Transform: lesson 7 – TimeStampRouter and MessageTimestampRouter – Custom format topic name with timestamp

February 26, 2022February 26, 2022 nim No Comments

Bài này thì anh Tây chỉ cánh chỉnh topic name trong source và table name trong sink bằng cách kêt với timestamp. https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day7.adoc 1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose…

Apache Kafka

[Kafka-connect] Single Message Transform: lesson 6 InsertField – Insert fields using attributes in the process data.

February 26, 2022February 27, 2022 nim No Comments

1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. Bài này kiểu như bạn thêm số field mà trong quá trình kafka-connect stream data.Ví dụ trong stream data…

Apache Kafka, Kafka Connect

[Kafka-connect] Single Message Transform: lesson 5 MaskField – Cover the sensitive data.

February 26, 2022February 27, 2022 nim No Comments

1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. Tạo the data generatorhttps://www.confluent.io/hub/mdrogalis/voluble Mình đặt ra một trường hợp, Bạn sử dụng kafka-connect để stream table trong database….

Apache Kafka, Kafka Connect

[Kafka-connect] Single Message Transform: lesson 4 – RegexRouter – change topic name.

February 24, 2022February 26, 2022 nim No Comments

1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. Tạo the data generatorhttps://www.confluent.io/hub/mdrogalis/voluble Giờ bạn thấy nó tạo ra 1 topic: day4-transactions Giờ ta tạo 1 sink connector:…

Apache Kafka

[Lenses/kafka] Fix the problem “Cannot extract connector information from the configuration provided” when creating connector Kafka-connect

February 23, 2022April 3, 2022 nim No Comments

Nếu bạn sửa dụng kafka-connect mà sẽ cần add thêm rất nhiều plugin vào server kafka-connect.Mình đang gặp vấn đề có 1 vài plugin lenses ko thể validate được. Ví dụ như plugin này: MongoDB Connector (Source and Sink) khi mình create 1 connector có hiện tượng sau: Có 1 người anh chỉ mình:https://docs.lenses.io/5.0/configuration/static/options/topology/#configure-lenses-to-load-a-custom-connector chúng…

Apache Kafka, Lenses

[Kafka] UI control Kafka, Kafka-connect, … It’s akhq.io

February 23, 2022November 15, 2024 nim No Comments

Trong các bài viết về kafka connect của mình, thì mình hay sử dụng lenses.Nhưng có vấn đề lenses tốn phí. Mình đã được 1 bạn trong group giới thiệu Mình có dò thì conduktor nó tốn phí còn akhq thì kocảm ơn bạn rất nhiều Mình còn thấy 1 ứng cử viên tiềm năng…

Apache Kafka, Lenses

[Kafka-connect] Streaming the data of MongoDB through Kafka-connect into topic Kafka.

February 23, 2022May 22, 2022 nim No Comments

1) Install MongoDB Nếu bạn chưa rành về mongoDB có thể sem vài chiêu thức cơ bản ở đây: Reference links:https://gist.github.com/asoorm/7822cc742831639c93affd734e97ce4f Mình cung cấp link docker-compose.yaml như sau: Giờ bạn run:docker-compose up -d thực hiện hiện exec vào container và tạo database, collection và insert data. Hiện tại thì chúng ta chạy mongodb ở mode…

Apache Kafka, Kafka Connect

[MongoDB] Install and config MongoDB is so easy on Docker.

February 22, 2022February 22, 2022 nim No Comments

Plugin MongoDB:https://www.confluent.io/hub/mongodb/kafka-connect-mongodb show datatabase trong mongodbshow dbs tạo database mới:use todo Giờ tạo collection and document Tạo xong mà báo như dưới là ok đã tạo thành công. Liệt kê các document trong collection newtodo Để json trong đẹp hơn thì gõ:db.newtodo.find().pretty()

Docker