Skip to content

NimTechnology

Trình bày các công nghệ CLOUD một cách dễ hiểu.

  • Kubernetes & Container
    • Docker
    • Kubernetes
      • Ingress
    • Helm Chart
    • Isito-EnvoyFilter
    • Apache Kafka
      • Kafka
      • Kafka Connect
      • Lenses
    • Vault
    • Longhorn – Storage
    • VictoriaMetrics
  • CI/CD
    • ArgoCD
    • ArgoWorkflows
    • Spinnaker
    • Jenkins
  • Coding
    • Terraform
      • GCP – Google Cloud
      • AWS – Amazon Web Service
    • Golang
    • Laravel
    • Jquery & JavaScript
    • Git
    • Selenium
  • Log & Monitor
    • Prometheus
    • Grafana
    • ELK
      • Kibana
      • Logstash
  • BareMetal
  • Toggle search form

[Kafka-connect] Install lenses to manage Kafka.

Posted on February 9, 2022March 10, 2022 By nim No Comments on [Kafka-connect] Install lenses to manage Kafka.

Như bạn thấy mình đã có những bài nói về comand trong kafka cũng như kafka-connect
Chúng sẽ có 1 UI để quản lý đó là lense, giao diện khá đẹp.

Contents

  • 1) License
    • 1.1) It’s free!
      • 1.1.1) Run Kafka lenses on docker.
      • 1.1.2) Install Kafka lenses on Kubernetes.
    • 1.2) lenses-enterprise
  • 2) Configurate Lenses that connect to Kafka-connect.

1) License

Để run được lenses chúng ta cần có file là license.json

1.1) It’s free!

chúng ta cần vào trang web này để đăng ký sử dụng lenses

https://lenses.io/downloads/lenses/

sau đó chúng ta sẽ nhận mail:

1.1.1) Run Kafka lenses on docker.

Bạn sẽ run docker như trong mail

docker run -e ADV_HOST=127.0.0.1 \
-e EULA="https://licenses.lenses.io/download/lensesdl?id=7ff368f2-88e9-11ec-9ed6-xxxxxxxxx" \
--rm -p 3030:3030 -p 9092:9092 lensesio/box

Nếu bạn truy cập bằng IP của VM thì thay ADV_HOST=192.168.101.36

Nhưng có 1 điều mình cảm giác đây bạn AIO nó có cả kafka, zookeeper,…
Khá là nhiều components bên trong.
mà mình chỉ cần lense thôi.

Một lưu ý nữa:
là bạn có thể truy cập vào đường link “https://licenses.lenses.io/download/lensesdl?id=7ff368f2-88e9-11ec-9ed6-xxxxxxxxx” trong EULA bạn lấy được file license.json

Lấy các Environment ở đâu?
Tình tìm lanh quanh thì thấy cũng ko có chỉ rõ mình lấy trong link này:
https://docs.lenses.io/4.3/installation/docker/

OK đã có 1 vài environment hữu ích.

Mình sẽ không dụng image lensesio/box. Mà mình có lệnh run docker như sau:

docker run -e ADV_HOST=192.168.101.36 \
-e LENSES_KAFKA_BROKERS="PLAINTEXT://192.168.101.36:9092" \
-v /root/kafka-lenses/license.json:/data/license.json  \
--rm -p 9991:9991 lensesio/lenses

Bạn để ý là ở đây mình có khai báo việc kết nối đến Kafka nào và mình có mount file license.json

Mình tưởng ko hết hạn mà vẫn có hết bạn các bạn ạ
truy cập port 9991
với user/pass
admin/admin

1.1.2) Install Kafka lenses on Kubernetes.

Đâu tiên chúng ta cần có helm của lenses.
lấy các value để tham khảo?

helm repo add lensesio https://helm.repo.lenses.io
show values lensesio/lenses > lenses.yaml

Giờ mình cung cấp cho các bạn value.yaml

lenses:
  kafka:
    bootstrapServers:
      - name: 192.168.101.36
        port: 9092
        sslPort: 9093
        saslSslPort: 9094
        saslPlainTextPort: 9095
  license: |-
              {"key": "eyJhbGciOiJBMTQ", "source": "Lenses.io Ltd", "details": "Lenses", "clientId": "7ff368f2-88e9-11ec-9ed6-42010af01003"}

Bạn thấy nó sẽ có phần license và bạn muốn connect đến Kafka với IP nào

Đây hình ảnh của ẻm trên argocd
cuối cùng là anh em nhớ view log nhé

1.2) lenses-enterprise

Nếu nhà bạn có điều kiển có thể trial bản enterprise

Mình thấy có bản “lenses-enterprise”

https://lenses.io/downloads/lenses-enterprise/

Ngày mình đăng ký là Tue 8 Feb 2022

2) Configurate Lenses that connect to Kafka-connect.

vậy chúng ta cần config kết nối đến kafka connect.

https://docs.lenses.io/4.3/configuration/options/helm/#helm-connect

mình sẽ cung câp thêm value để các bạn update nhé:

lenses:
  connectClusters:
    enabled: true
    clusters:
      - name: datascience
        protocol: http
        port: 8083
        jmxPort: 5556
        offsetsTopic: connect-offsets-datascience
        statusTopic: connect-statuses-datascience
        configTopic: connect-configs-datascience
        hosts:
          - host: kafka-connect-cp-kafka-connect
            metrics:
              type: "JMX"
              port: 5556
              username:
              password:
              ssl:
  kafka:
    bootstrapServers:
      - name: 192.168.101.36
        port: 9092
        sslPort: 9093
        saslSslPort: 9094
        saslPlainTextPort: 9095
  license: |-
              {"key": "eyJhbGcNoNpAP16KCa9Hb-dp7xQ", "source": "Lenses.io Ltd", "details": "Lenses", "clientId": "7ff368f2-88e9-11ec-9ed6-42010af01003"}
bạn cần chú ý các khai báo sau.
vì mình cài kafka connect trên kubernetes
khai báo service name nhé

Mình lấy thông tin như sau:

Nếu vào lại mà thấy hiện thị như này là ok.
Nếu bạn thấy trong này it plugin thì là do con kafka-connect nhé.
chúng ta cần cài plugin vào kafka connect.
Apache Kafka, Kafka Connect, Lenses

Post navigation

Previous Post: [wordpress] Install WordPress so easily.
Next Post: [Kafka-connect] Install Kafka-connect on Kubernetes through helm-chart.

More Related Articles

[Kafka] Kafka Console Producer CLI. Apache Kafka
[Kafka] Console Consumer CLI and Consumers in Group Apache Kafka
[Kafka-Connect] Overwrite value of Key on Mongo Source Connector – Mongodb Kafka Connect
[Kafka-connect] Single Message Transform: lesson 12 – Community Transformations Kafka Connect
[Kafka-connect] research on Kafka Connect Source and demo watch the changing file. Apache Kafka
[Kafka-connect] Single Message Transform: lesson 2 – ValueToKey and ExtractField in Sink Apache Kafka

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

Tham Gia Group DevOps nhé!
Để Nim có nhiều động lực ra nhiều bài viết.
Để nhận được những thông báo mới nhất.

Recent Posts

  • [Argocd/Vault] Integrate Vault inside Argocd by the plugin July 1, 2022
  • [Vault] Using Service Acount of Kubernetes to login Vault system. June 28, 2022
  • Protected: My Assignment  June 24, 2022
  • [Spinnaker] Spinnaker writes too many logs – Reduce spinnaker log level June 22, 2022
  • [Jenkins] Jobs will be created automatically by Jenkins Job Builder June 20, 2022

Archives

  • July 2022
  • June 2022
  • May 2022
  • April 2022
  • March 2022
  • February 2022
  • January 2022
  • December 2021
  • November 2021
  • October 2021
  • September 2021
  • August 2021
  • July 2021
  • June 2021

Categories

  • BareMetal
  • CI/CD
    • ArgoCD
    • ArgoWorkflows
    • Jenkins
    • Spinnaker
  • Coding
    • Git
    • Golang
    • Jquery & JavaScript
    • Laravel
    • Selenium
    • Terraform
      • AWS – Amazon Web Service
      • GCP – Google Cloud
  • Kubernetes & Container
    • Apache Kafka
      • Kafka
      • Kafka Connect
      • Lenses
    • Docker
    • Helm Chart
    • Isito-EnvoyFilter
    • Kubernetes
      • Ingress
    • Longhorn – Storage
    • Vault
    • VictoriaMetrics
  • Log & Monitor
    • ELK
      • Kibana
      • Logstash
    • Grafana
    • Prometheus
  • Uncategorized
  • Admin

Copyright © 2022 NimTechnology.