Trình bày các công nghệ CLOUD một cách dễ hiểu.
Copy from: https://udayabharathi.medium.com/message-prioritization-in-kafka-105f712dcf8a Hello there! If you’re familiar with Kafka. And if you understand the internals, then you might wonder how to implement message prioritization in Kafka. Because, the way it works, this use case is simply not directly possible with Kafka. If you are actually new to Kafka, then be sure to stick with…
1) Overview Bạn cần viết 1 application để connect vào kafka bằng Golang. Chúng ta có 2 lựa chọn:https://github.com/confluentinc/confluent-kafka-gohttps://github.com/IBM/sarama Hãy tìm hiểu về sơ về cách thức hoạt động và ưu nhược điểm của 2 package trên. confluent-kafka-go Key Features: sarama Key Features: Comparison and Considerations Hoặc bạn có thể tham khảo link này:https://www.reddit.com/r/golang/comments/olrd34/confluentkafkago_or_shopifysarama/ Example…
Bạn đang sợ hữu 1 cluster k8s. Và bạn muốn cài kafka lên đó.Mình đã có hướng dẫn cài bạn ở 1 bài trước đó Giờ bạn có thể cài kafka thông qua strimzi. Nó là 1 operator. Tiếp theo là bạn sẽ sử dụng dụng file để tạo ra 1 simple kafka. vì mình…
Read More “[Kafka/Strimzi] Install kafka cluster on k8s by Strimzi” »
Nguồn: https://blog.bytebytego.com/i/137744340/ibm-mq-rabbitmq-kafka-pulsar-how-do-message-queue-architectures-evolve IBM MQ IBM MQ được ra mắt vào năm 1993. Ban đầu nó được gọi là MQSeries và được đổi tên thành WebSphere MQ vào năm 2002. Nó được đổi tên thành IBM MQ vào năm 2014. IBM MQ là một sản phẩm rất thành công, được sử dụng rộng rãi trong ngành…
Read More “IBM MQ -> RabbitMQ -> Kafka ->Pulsar: How do message queue architectures evolve?” »
Một bức anh hay về kafka
https://blog.developer.adobe.com/wins-from-effective-kafka-monitoring-at-adobe-stability-performance-and-cost-savings-a3ecb701ee5b Co-author: Eugen Nicolae Cojan As the father of quality management W. Edwards Deming, put it: “Without data, you are just another person with an opinion.” This post combines real-world issues faced by our team and our approach to addressing them. It also shares the key metrics to start monitoring Kafka client implementations effectively. Case studies…
1) Creating VPC Đầu tiên mình sẽ tạo vpc 2) Creating Security Group. 3) Declare variable and Create Kafka by terraform on AWS Tiếp đến là tạo msk hay còn gọi là kafka on aws Nếu bạn bị lỗi bên dưới Bạn phải khai báo:client_authentication_unauthenticated_enabled = true bạn cần chú ý số number_of_nodes nó phải…
Read More “[Kafka/MSK] Install kafka or MSK on aws through terraform.” »
Chúng ta cần set bao nhiều partion là phù hợp. Số partition không vượt quá số tổng CPU của các node vật lý.Số partition bằng 2 x nodeSố partitions = số pod trên k8s Bạn có thể tham khảo thêm bài viết này: https://viblo.asia/p/005-bao-nhieu-partition-la-du-cho-mot-topic-trong-apache-kafka-V3m5WQxQZO7
Bên mình sài lenses thì hôm này code 1 tool tự động reset các connector bị lỗi:API reference:https://api.lenses.io/ https://lenses.io/blog/2019/11/four-ways-to-produce-data-kafka-lenses/
Với các connector của debezium bạn có thể tham khảo các issues ở đây:https://issues.redhat.com/projects/DBZ/issues/DBZ-5037?filter=allopenissues Và thường chúng ta sẽ lọc theo version. mysqldebezium Nếu bị lỗi trên thì change value: database.history.kafka.topic (thay đổi ký tự chẳng hạn)
![[Kafka/Strimzi] Install kafka cluster on k8s by Strimzi](https://nimtechnology.com/wp-content/uploads/2023/12/image-63.png?v=1703609617)
![[Kafka] This is how you produce and consume messages with Kafka](https://nimtechnology.com/wp-content/uploads/2023/10/image-16.png?v=1696574970)
![[Kafka/MSK] Install kafka or MSK on aws through terraform.](https://nimtechnology.com/wp-content/uploads/2022/11/image-7.png?v=1667405243)
![[Kafka] How many partitions are enough in a topic on Kafka?](https://nimtechnology.com/wp-content/uploads/2022/10/image-31.png?v=1664793238)
![[Lenses] Insert data or Push messages to Kafka via Lenses.](https://nimtechnology.com/wp-content/uploads/2022/06/image-57.png?v=1655133981)
![[Kafka-connect] Solving the error or issues on Kafka-connect](https://nimtechnology.com/wp-content/uploads/2022/04/maxresdefault-huih.jpeg)