Skip to content

NimTechnology

Trình bày các công nghệ CLOUD một cách dễ hiểu.

  • Kubernetes & Container
    • Docker
    • Kubernetes
      • Ingress
      • Pod
    • Helm Chart
    • OAuth2 Proxy
    • Isito-EnvoyFilter
    • Apache Kafka
      • Kafka
      • Kafka Connect
      • Lenses
    • Vault
    • Longhorn – Storage
    • VictoriaMetrics
    • MetalLB
    • Kong Gateway
  • CI/CD
    • ArgoCD
    • ArgoWorkflows
    • Argo Events
    • Spinnaker
    • Jenkins
    • Harbor
    • TeamCity
    • Git
      • Bitbucket
  • Coding
    • DevSecOps
    • Terraform
      • GCP – Google Cloud
      • AWS – Amazon Web Service
      • Azure Cloud
    • Golang
    • Laravel
    • Python
    • Jquery & JavaScript
    • Selenium
  • Log, Monitor & Tracing
    • DataDog
    • Prometheus
    • Grafana
    • ELK
      • Kibana
      • Logstash
  • BareMetal
    • NextCloud
  • Toggle search form

[Kafka-connect] Streaming the data of MongoDB through Kafka-connect into topic Kafka.

Posted on February 23, 2022May 22, 2022 By nim No Comments on [Kafka-connect] Streaming the data of MongoDB through Kafka-connect into topic Kafka.

Contents

Toggle
  • 1) Install MongoDB
  • 2) Create Mongo Source Connector on Kafka-connect

1) Install MongoDB

Nếu bạn chưa rành về mongoDB có thể sem vài chiêu thức cơ bản ở đây:

[MongoDB] Install and config MongoDB is so easy on Docker.

Reference links:
https://gist.github.com/asoorm/7822cc742831639c93affd734e97ce4f

Mình cung cấp link docker-compose.yaml như sau:

version: '3.3'
services:
  mongo-db:
    image: mongo:4.0.5
    hostname: mongo-db
    container_name: mongo-db
    expose:
      - "27017"
    ports:
      - "27017:27017"
    entrypoint: [ "/usr/bin/mongod", "--replSet", "rs0", "--bind_ip_all" ]
    volumes:
      - ./mongo-db:/data

Giờ bạn run:
docker-compose up -d

thực hiện hiện exec vào container và tạo database, collection và insert data.

docker exec -it mongo-db bash

mongo

Hiện tại thì chúng ta chạy mongodb ở mode replicaSet thì kafka-connect với work được vụ CDC source nhé. Bạn để ý mình có run 1 command trong mongoDB
entrypoint: [ "/usr/bin/mongod", "--bind_ip_all", "--replSet", "rs0" ]

Lúc này show database luôn sẽ lỗi bạn tham khoả link dưới nhé:
https://gist.github.com/asoorm/7822cc742831639c93affd734e97ce4f

Bạn run command này

rs.initiate({
      _id: "rs0",
      version: 1,
      members: [
         { _id: 0, host : "<IP_HOST>:27017" }
      ]
   }
)
Lưu ý: bạn phải run command trên xong thì mới kêt nối kiểu Replica set được!
giờ là gõ sả láng òi

Tạo DB:

use todo

giờ tạo collection và insert data

db.newtodo.insertOne({"name": "Nimtechnology", age:2, past_clubs: ["Istio", "Kafka-connect", "K8s"], "isRetired": false})

Như bạn thấy ở trên collection sẽ có tên là newtodo và database có tên là todo

Nếu bạn thấy response như thế này là data đã được insert thành công.

2) Create Mongo Source Connector on Kafka-connect

giờ bạn vào lenses tạo connector MongoSourceConnector
https://www.confluent.io/hub/mongodb/kafka-connect-mongodb

Bạn sẽ cần build docker kafka-connect như link dưới:
add plugin via build image and base on cp-kafka-connect-base

connector.class=com.mongodb.kafka.connect.MongoSourceConnector
tasks.max=1
batch.size=0
change.stream.full.document=updateLookup
collection=newtodo
database=todo
topic.prefix=mongouat
poll.await.time.ms=5000
connection.uri=mongodb://192.168.101.27:27017/?replicaSet=rs0
name=source.mongo_connector.todo.v1
value.converter=org.apache.kafka.connect.storage.StringConverter
key.converter=org.apache.kafka.connect.storage.StringConverter
poll.max.batch.size=1000

Nếu mongodb của bạn có user pass thì:

>>>>>>>>>>
connection.uri: mongodb://<username>:<password>@mongodb-0.svr.services:27017,mongodb-1.svr.services:27017,mongodb-2.svr.services:27017/?replicaSet=<name_replicaset>&authSource=admin
>>>>>>>>>

Và bạn cũng cần chú ký phải có các time số sau trong url nhé:
?replicaSet=&authSource=admin

Cái này nó sẽ ko tự tạo topic âu he, Chúng ta phải tạo tay.

https://docs.mongodb.com/kafka-connector/current/source-connector/usage-examples/topic-naming/#topic-prefix-example
bạn đọc cái này để hiểu tạo topic có name là j

Nếu bạn chưa hiểu thì tạo topic với name như sau:
<topic.prefix>.<database>.<collection>

khi đó bạn thực hiện insert data như bước trên thì và quan sát topic có record hay ko?
Apache Kafka, Kafka Connect

Post navigation

Previous Post: [MongoDB] Install and config MongoDB is so easy on Docker.
Next Post: [Kafka] UI control Kafka, Kafka-connect, … It’s akhq.io

More Related Articles

[Kafka-connect] Install lenses to manage Kafka. Apache Kafka
[Kafka-connect] A few APIs are helpful in Kafka-connect. Apache Kafka
[Kafka] UI control Kafka, Kafka-connect, … It’s akhq.io Apache Kafka
[Kafka-connect] Single Message Transform: lesson 2 – ValueToKey and ExtractField in Sink Apache Kafka
[Kafka-connect] Streaming the data of MySQL throughs Kafka-connect and Debezium plugin. Apache Kafka
[Kafka-connect] Install Kafka-connect on Kubernetes through helm-chart. Apache Kafka

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

Tham Gia Group DevOps nhé!
Để Nim có nhiều động lực ra nhiều bài viết.
Để nhận được những thông báo mới nhất.

Recent Posts

  • [AWS/EKS] Cache Docker image to accelerate EKS container deployment. July 10, 2025
  • [Laravel] Laravel Helpful June 26, 2025
  • [VScode] Hướng dẫn điều chỉnh font cho terminal June 20, 2025
  • [WordPress] Hướng dấn gửi mail trên WordPress thông qua gmail. June 15, 2025
  • [Bitbucket] Git Clone/Pull/Push with Bitbucket through API Token. June 12, 2025

Archives

  • July 2025
  • June 2025
  • May 2025
  • April 2025
  • March 2025
  • February 2025
  • January 2025
  • December 2024
  • November 2024
  • October 2024
  • September 2024
  • August 2024
  • July 2024
  • June 2024
  • May 2024
  • April 2024
  • March 2024
  • February 2024
  • January 2024
  • December 2023
  • November 2023
  • October 2023
  • September 2023
  • August 2023
  • July 2023
  • June 2023
  • May 2023
  • April 2023
  • March 2023
  • February 2023
  • January 2023
  • December 2022
  • November 2022
  • October 2022
  • September 2022
  • August 2022
  • July 2022
  • June 2022
  • May 2022
  • April 2022
  • March 2022
  • February 2022
  • January 2022
  • December 2021
  • November 2021
  • October 2021
  • September 2021
  • August 2021
  • July 2021
  • June 2021

Categories

  • BareMetal
    • NextCloud
  • CI/CD
    • Argo Events
    • ArgoCD
    • ArgoWorkflows
    • Git
      • Bitbucket
    • Harbor
    • Jenkins
    • Spinnaker
    • TeamCity
  • Coding
    • DevSecOps
    • Golang
    • Jquery & JavaScript
    • Laravel
    • NextJS 14 & ReactJS & Type Script
    • Python
    • Selenium
    • Terraform
      • AWS – Amazon Web Service
      • Azure Cloud
      • GCP – Google Cloud
  • Kubernetes & Container
    • Apache Kafka
      • Kafka
      • Kafka Connect
      • Lenses
    • Docker
    • Helm Chart
    • Isito-EnvoyFilter
    • Kong Gateway
    • Kubernetes
      • Ingress
      • Pod
    • Longhorn – Storage
    • MetalLB
    • OAuth2 Proxy
    • Vault
    • VictoriaMetrics
  • Log, Monitor & Tracing
    • DataDog
    • ELK
      • Kibana
      • Logstash
    • Fluent
    • Grafana
    • Prometheus
  • Uncategorized
  • Admin

Copyright © 2025 NimTechnology.