Trình bày các công nghệ CLOUD một cách dễ hiểu.
Với các connector của debezium bạn có thể tham khảo các issues ở đây:https://issues.redhat.com/projects/DBZ/issues/DBZ-5037?filter=allopenissues Và thường chúng ta sẽ lọc theo version. mysqldebezium Nếu bị lỗi trên thì change value: database.history.kafka.topic (thay đổi ký tự chẳng hạn)
Hello các bạn sau đâu mình sẽ trình bày về vần để reset 1 connector trên kafka. Why need you reset a connector in Kafka-connect?Vì 1 số case thì kafka-connect sẽ read data từ Database rồi write data vào trong 1 topic trên kafka.Với Mysql thì thì kafka-connect sẽ đọc log bin, với Mongodb thì…
Read More “[Kafka-connect] Reset Connector in Kafka Connect” »
Mình đã có 1 bài hướng dẫn các bạn tạo Connector Source CDC từ read data từ 1 database và 1 collection thuộc 1 Mongodb và write vào topic. Ta để ý value của key sẽ thay đổi liên tục. 1st: Create Document A –(read data change)–> Kafka-connect –(write topic)–> Kafka –> 1 message có…
Read More “[Kafka-Connect] Overwrite value of Key on Mongo Source Connector – Mongodb” »
Apache Kafka ships with many Single Message Transformations included – but the great thing about it being an open API is that people can, and do, write their own transformations. Many of these are shared with the wider community, and in this final installment of the series I’m going to look at some of the transformations written by Jeremy…
Read More “[Kafka-connect] Single Message Transform: lesson 12 – Community Transformations” »
1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. reference link:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day11.adoc Với connector source-voluble-datagen-day11-00 thì nó sẽ sinh ra 2 topic:– day11-sys01– day11-systemBOK bạn cần nhớ điều này…
1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. reference link:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day10.adoc Dropping fields in a sink connector: [Kafka-connect] Single Message Transform: lesson 5 MaskFieldỞ bài 5 chúng ta…
Bài này chúng ta sẽ chỉ custom type data khi nào source connector 1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. reference link:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day9.adoc Bạn thấy kết quả…
Read More “[Kafka-connect] Single Message Transform: lesson 9 – Cast” »
1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. reference link:https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-single-message-transforms/day8.adoc Tạo the data generatorhttps://www.confluent.io/hub/mdrogalis/voluble Giờ chúng ta kiểm tra data trong topic và chính xác là field:…
1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. Bài này kiểu như bạn thêm số field mà trong quá trình kafka-connect stream data.Ví dụ trong stream data…
1) Setup the components. Phần setup kafka, bạn có thể coi lại link này he:Setup the needing components of Kafka Bạn nhớ delele container cũ và run lại docker-compose nhé:docker-compose down -vdocker-compose up -d 2) Practice. Tạo the data generatorhttps://www.confluent.io/hub/mdrogalis/voluble Mình đặt ra một trường hợp, Bạn sử dụng kafka-connect để stream table trong database….
![[Kafka-connect] Solving the error or issues on Kafka-connect](https://nimtechnology.com/wp-content/uploads/2022/04/maxresdefault-huih.jpeg)
![[Kafka-connect] Reset Connector in Kafka Connect](https://nimtechnology.com/wp-content/uploads/2022/04/image-26.png?v=1648980326)
![[Kafka-Connect] Overwrite value of Key on Mongo Source Connector – Mongodb](https://nimtechnology.com/wp-content/uploads/2022/04/Screen-Shot-2022-04-01-at-02.38.52.png?v=1648755691)
![[Kafka-connect] Single Message Transform: lesson 12 – Community Transformations](https://nimtechnology.com/wp-content/uploads/2022/02/image-321.png?v=1645958740)
![[Kafka-connect] Single Message Transform: lesson 11 – Predicate and Filter – filtering topic name and content of the messages.](https://nimtechnology.com/wp-content/uploads/2022/02/Screen-Shot-2022-02-27-at-16.21.25.png?v=1645953725)
![[Kafka-connect] Single Message Transform: lesson 10 – ReplaceField – U can drop, keep and renamed field in kafka message.](https://nimtechnology.com/wp-content/uploads/2022/02/Screen-Shot-2022-02-27-at-11.40.52.png)
![[Kafka-connect] Single Message Transform: lesson 9 – Cast](https://nimtechnology.com/wp-content/uploads/2022/02/image-308.png?v=1645894867)
![[Kafka-connect] Single Message Transform: lesson 8 – TimestampConverter – convert the type of the fields from string to timestamp or date,…](https://nimtechnology.com/wp-content/uploads/2022/02/Screen-Shot-2022-02-26-at-22.02.31.png)
![[Kafka-connect] Single Message Transform: lesson 6 InsertField – Insert fields using attributes in the process data.](https://nimtechnology.com/wp-content/uploads/2022/02/Screen-Shot-2022-02-26-at-11.15.43.png)
![[Kafka-connect] Single Message Transform: lesson 5 MaskField – Cover the sensitive data.](https://nimtechnology.com/wp-content/uploads/2022/02/Screen-Shot-2022-02-26-at-00.31.14.png)