Skip to content

NimTechnology

Trình bày các công nghệ CLOUD một cách dễ hiểu.

  • Kubernetes & Container
    • Docker
    • Kubernetes
      • Ingress
    • Helm Chart
    • Isito-EnvoyFilter
    • Apache Kafka
      • Kafka
      • Kafka Connect
      • Lenses
    • Vault
    • Longhorn – Storage
    • VictoriaMetrics
  • CI/CD
    • ArgoCD
    • ArgoWorkflows
    • Spinnaker
    • Jenkins
  • Coding
    • Terraform
      • GCP – Google Cloud
      • AWS – Amazon Web Service
    • Golang
    • Laravel
    • Jquery & JavaScript
    • Git
    • Selenium
  • Log & Monitor
    • Prometheus
    • Grafana
    • ELK
      • Kibana
      • Logstash
  • BareMetal
  • Toggle search form

[Istio] why does workload inject Istio that workload always connects fail database? – hold Application

Posted on November 15, 2021November 16, 2021 By nim No Comments on [Istio] why does workload inject Istio that workload always connects fail database? – hold Application

Khi mà anh em apply istio lên các workload trên k8s thì sẽ có 1 vần đề
Các container trên 1 pod sẽ start lên cùng lúc.

Như hình trên nếu container app ready nhanh hơn istio-proxy, và container app liền connect với database.
Nhưng lúc đó istio proxy chưa ready .. nên chắc chắn là app bị lỗi kết nối database.

Chúng ta sẽ sử lý như thế nào.?

Contents

  • 1) Resolve problem.
  • 1.1) Develop.
    • 1.2) Devops.
      • 1.2.1) holdApplication in Istio Operator.
      • 1.2.2) holdApplication in Config Map istio.
      • 1.2.3) holdApplication in Annotation of workload.
      • 1.2.4) result after config holdApplication
        • 1.2.4.1) deep dive the problem after config hold app

1) Resolve problem.

1.1) Develop.

Ở phía các bạn dev họ sẽ code
– retry connect database
– cấu hình healtch cho app. k8s call api /healthcheck -> check đã connect database chưa?
Nếu connect databse ok thì trả về status 200 OK

1.2) Devops.

Chúng ta có phần là config holdApplication trong istio.

1.2.1) holdApplication in Istio Operator.

apiVersion: install.istio.io/v1alpha2
kind: IstioOperator
spec:
  meshConfig:
    defaultConfig:
      holdApplicationUntilProxyStarts: true

Sau đó bạn gen manifest:

[istio] Sử dụng istio-operator và istioctl để cài đặt Istio
Các bạn tham khảo các gen trong đây.

1.2.2) holdApplication in Config Map istio.

Bạn thấy trong config istio sẽ có phần thêm vào đó là

Vậy suy ra là nếu bạn có săn config map rồi thì bạn chỉ cẩn thêm dòng trên thôi.
Gen làm gì cho mệt
apiVersion: v1
data:
  mesh: |-
    defaultConfig:
      discoveryAddress: istiod-1-9-9.istio-system.svc:15012
      holdApplicationUntilProxyStarts: true
      proxyMetadata: {}
      tracing:
        zipkin:
          address: zipkin.istio-system:9411

Hoặc là bạn thêm

1.2.3) holdApplication in Annotation of workload.

annotations:
  proxy.istio.io/config: '{ "holdApplicationUntilProxyStarts": true }'

Tài liệu tham khảo:
https://www.solo.io/blog/challenges-of-running-istio-distroless-images/
Ở link trên mình thấy có phần hay là: Gracefully terminating connections on pod shutdown
lưu đây khi nào coi.

1.2.4) result after config holdApplication

Mọi chuyện vẫn chưa dừng ở đó âu:

Bạn sẽ thấy container mặc định của pod này là busybox.

Giờ redeploy sau khi đã config hold app

Container default là
Thông qua event chúng ta chắc chắn một điệu mà container istio-proxy được start trước
Sau đó mới tời container busybox.
1.2.4.1) deep dive the problem after config hold app

Ok giờ có vấn đề nữa.
bạn chạy kubectl exec hay là log thì nó auto chạy vào container istio-proxy, bởi vì giờ đang container istio-proxy là default của pod.

root@work-space-u20:~# kubectl -n default exec -it pod/busybox-deployment-77fd748ccb-pnhtz -- sh 
Defaulted container "istio-proxy" out of: istio-proxy, busybox, istio-init (init)

Hướng sử lý đơn giản và hiệu quả là thêm flag container

root@work-space-u20:~# kubectl -n default exec -it pod/busybox-deployment-77fd748ccb-pnhtz -c busybox -- sh 
/home # 

Còn cách nữa là sử dụng annotation trên workload để sác định container default.

https://kubernetes.io/docs/reference/labels-annotations-taints/#kubectl-kubernetes-io-default-container

kubectl.kubernetes.io/default-container: "front-end-app"

The value of the annotation is the container name that is default for this Pod. For example, kubectl logs or kubectl exec without -c or --container flag will use this default container.

Nhưng là tính năng này chỉ mới có trên kubectl 1.21

Kubernetes 1.21 – What’s new?
Tham khảo bài viết bên dưới.
GIờ dùng kubectl exec là vào thẳng busybox

Để kiểm chứng là kubectl 1.21 ++ mới chơi được trò này.

docker run --rm --name kubectl -v ~/.kube/config:/.kube/config bitnami/kubectl:1.21 -n cicd exec -it nginx-promtail-7d74f4fb78-6w4xh bash
Isito-EnvoyFilter

Post navigation

Previous Post: [jenkins] Scripted Pipeline lesson 2: Docker
Next Post: [Spinnaker] Pipelines of an application hung.

More Related Articles

[Case dị – istio] Những case khó đỡ khiến chúng ra suy nghĩ là istio có chạy được hay ko? Isito-EnvoyFilter
[Istio-Multi Cluster] Tutorial is very detailed to install Primary-Remote on different networks Isito-EnvoyFilter
[Istio] Canary Upgrade Istio by Operator. This way is very easy!! Isito-EnvoyFilter
[kiali] Config authentication on Kiali. Isito-EnvoyFilter
[istio] Sử dụng istio-operator và istioctl để cài đặt Istio Isito-EnvoyFilter
[Istio] Analyzing Istio Performance by pprof Isito-EnvoyFilter

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

Tham Gia Group DevOps nhé!
Để Nim có nhiều động lực ra nhiều bài viết.
Để nhận được những thông báo mới nhất.

Recent Posts

  • Protected: My Assignment  June 24, 2022
  • [Spinnaker] Spinnaker writes too many logs – Reduce spinnaker log level June 22, 2022
  • [Jenkins] Jobs will be created automatically by Jenkins Job Builder June 20, 2022
  • [Postgresql] Install postgresql client and trying a few command postgresql. June 20, 2022
  • [Mount/Nextcloud] How do you mount a hard disk that was used windows into Linux. June 19, 2022

Archives

  • June 2022
  • May 2022
  • April 2022
  • March 2022
  • February 2022
  • January 2022
  • December 2021
  • November 2021
  • October 2021
  • September 2021
  • August 2021
  • July 2021
  • June 2021

Categories

  • BareMetal
  • CI/CD
    • ArgoCD
    • ArgoWorkflows
    • Jenkins
    • Spinnaker
  • Coding
    • Git
    • Golang
    • Jquery & JavaScript
    • Laravel
    • Selenium
    • Terraform
      • AWS – Amazon Web Service
      • GCP – Google Cloud
  • Kubernetes & Container
    • Apache Kafka
      • Kafka
      • Kafka Connect
      • Lenses
    • Docker
    • Helm Chart
    • Isito-EnvoyFilter
    • Kubernetes
      • Ingress
    • Longhorn – Storage
    • Vault
    • VictoriaMetrics
  • Log & Monitor
    • ELK
      • Kibana
      • Logstash
    • Grafana
    • Prometheus
  • Uncategorized
  • Admin

Copyright © 2022 NimTechnology.