[Kafka] UI control Kafka, Kafka-connect, … It’s akhq.io

Trong các bài viết về kafka connect của mình, thì mình hay sử dụng lenses.
Nhưng có vấn đề lenses tốn phí.

Mình đã được 1 bạn trong group giới thiệu

Mình có dò thì conduktor nó tốn phí còn akhq thì ko
cảm ơn bạn rất nhiều

Mình còn thấy 1 ứng cử viên tiềm năng đó chính là
https://github.com/obsidiandynamics/kafdrop

1) Deploy akhq on k8s

Repo github
https://github.com/tchiotludo/akhq

trong bài họ đã hướng dẫn run bằng command docker òi he.

giờ mình deploy lên k8s:

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    workload.user.cattle.io/workloadselector: deployment-kafka-kafka-akhq
  name: kafka-akhq
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      workload.user.cattle.io/workloadselector: deployment-kafka-kafka-akhq
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        workload.user.cattle.io/workloadselector: deployment-kafka-kafka-akhq
    spec:
      containers:
      - env:
        - name: AKHQ_CONFIGURATION
          value: |-
            akhq:
              connections:
                docker-kafka-server:
                  properties:
                    bootstrap.servers: "kafka:9092"
                  schema-registry:
                    url: "http://schema-registry-cp-schema-registry:8081"
                  connect:
                    - name: "kafka-connect"
                      url: "http://kafka-connect-cp-kafka-connect:8083"
        image: tchiotludo/akhq
        imagePullPolicy: Always
        name: kafka-akhq
        ports:
        - containerPort: 8080
          name: http
          protocol: TCP

Docker composer.

docker-compose.yaml
version: '3.6'
services:
  akhq:
    # build:
    #   context: .
    image: tchiotludo/akhq
    environment:
      AKHQ_CONFIGURATION: |
        akhq:
          connections:
            docker-kafka-server:
              properties:
                bootstrap.servers: "kafka.us-west-2.amazonaws.com:9094"
                security.protocol: SSL
              # schema-registry:
              #   url: "http://schema-registry:8085"
              # connect:
              #   - name: "connect"
              #     url: "http://connect:8083"
    ports:
      - 8080:8080

Bạn để ý chỗ ENV AKHQ_CONFIGURATION
Bạn cần điện ip kafka, ip schema-registry, ip kafka-connect

Cái này có 1 điểm hay ở phần tạo connector của kafka-connect. Họ giải thích từng key đó có ý nghĩa gì?

Mình mới thấy dược repo helm chart:
https://staging.artifacthub.io/packages/helm/akhq/akhq

2) AKHQ integrate MSK or Kafka that has the authentication type “TLS”

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    workload.user.cattle.io/workloadselector: deployment-kafka-kafka-akhq
  name: kafka-akhq
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      workload.user.cattle.io/workloadselector: deployment-kafka-kafka-akhq
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        workload.user.cattle.io/workloadselector: deployment-kafka-kafka-akhq
    spec:
      containers:
      - env:
        - name: AKHQ_CONFIGURATION
          value: |-
            akhq:
              connections:
                docker-kafka-server:
                  properties:
                    bootstrap.servers: "kafka:9092"
                    security.protocol: SSL ### Look at
                  schema-registry:
                    url: "http://schema-registry-cp-schema-registry:8081"
                  connect:
                    - name: "kafka-connect"
                      url: "http://kafka-connect-cp-kafka-connect:8083"
        image: tchiotludo/akhq
        imagePullPolicy: Always
        name: kafka-akhq
        ports:
        - containerPort: 8080
          name: http
          protocol: TCP
      restartPolicy: Always
      nodeSelector:
        kubernetes.io/os: linux

Increase Partition by AKHQ:

Bạn phải sử dụng docker pull tchiotludo/akhq:dev

Access Kafka via Red Panda web

Giao diện khá đẹp và gọn:

docker run -p 8080:8080 -e KAFKA_BROKERS=b-1.nim-msk-dev.dlweos.c12.kafka.us-west-2.amazonaws.com:9094 -e KAFKA_TLS_ENABLED=true docker.redpanda.com/redpandadata/console:latest

Nhưng không thê Increase partion trên 1 existing topic.