Docker

Informações gerais

Portas do Exporter

Exporter

Porta

API

nginx_api_proxy:8081/metrics

nginx

nginx_container:9113/metrics

TFSS

bio_container:8501/metrics/tfss

Blackbox

blackbox_container:9115

PostgreSQL

postgres_container:9187/metrics

Você pode encontrar a configuração do exporter já preparada em nosso repositório. Após a implantação, substitua os nomes dos contêineres por endereços reais. Por exemplo, se o seu contêiner nginx estiver em 192.168.8.8, altere - targets: ["nginx_container:9113"] como - targets: ["192.168.8.8:9113"].

Caminhos de healthcheck

API

GET http://api:8000/api/version

GET http://api:8000/api/healthcheck

BIO

GET http://bio:8501/v1/models/{{model_name}}

POST http://bio:8501/v1/models/dummy:predict

method: POST
body: '{"inputs": {"images_bytes": [{"b64": "aaa"}]}}'

API

Para habilitar as métricas da API, no docker/template/nginx.yml arquivo, descomente 9081:8081:

ports:
  - "9080:8080"
  - "9081:8081"

Job do Prometheus

  - job_name: "oz-api"
    scheme: http
    metrics_path: /metrics
    file_sd_configs:
      - files:
          - sd/oz-api.yml

O sd/oz-api.yml arquivo (em vez dos placeholders, coloque os nomes dos seus contêineres e o endereço do host):

- targets:
    - api_container1:8081
  labels:
    host: api1
    role: oz-api
    ozforensics: api
    oz_service: "true"
#- targets:
#    - api_container2:8081
#  labels:
#    host: api1
#    role: oz-api
#    ozforensics: api
#    oz_service: "true"

Visão geral das métricas

Métrica

Descrição

Tipo

Rótulos

oz_api_versions_total (também disponível como oz_api_versions_created, oz_api_info_created, oz_api_info_total)

Exibe informações da versão da API quando você chama /api/version

contador

lamb

core – versão do core

oz_api – versão da API

oz_api_analyses_total

Número de análises processadas

contador

analysis_result – estado da análise (FINALIZADA, FAILED)

analysis_type – tipo de análise (QUALITY, BIOMETRY, DOCUMENTS)

company_id – identificador da empresa

resolution_status – resolução da análise (SUCCESS, DECLINED)

oz_api_analyses_created

Número de análises que foram iniciadas

medidor

analysis_result – estado da análise (FINALIZADA, FAILED)

analysis_type – tipo de análise (QUALITY, BIOMETRY, DOCUMENTS)

company_id – identificador da empresa

resolution_status – resolução da análise (SUCCESS, DECLINED)

oz_api_analyses_in_progress

Número de análises atualmente em processamento

medidor

analysis_type – tipo de análise (QUALITY, BIOMETRY, DOCUMENTS)

company_id – identificador da empresa

oz_api_analyse_duration_seconds_bucket

Um histograma da duração da análise. Buckets padrão: 0.1,0.5,1,1.5,2,2.5,3,3.5,4,4.5,5,6,7,8,10,12,15,20,30,inf

histograma

analysis_result – estado da análise (FINALIZADA, FAILED)

analysis_type – tipo de análise (QUALITY, BIOMETRY, DOCUMENTS)

resolution_status – resolução da análise (SUCCESS, DECLINED)

company_id – identificador da empresa

le – tamanho do bucket

oz_api_analyse_duration_seconds_count

Soma das durações das análises

contador

analysis_result – estado da análise (FINALIZADA, FAILED)

analysis_type – tipo de análise (QUALITY, BIOMETRY, DOCUMENTS)

resolution_status – estado da análise (SUCCESS, DECLINED)

company_id – identificador da empresa

oz_api_analyse_duration_seconds_sum

Número de análises cujas durações foram contabilizadas

contador

analysis_result – resolução da análise (FINALIZADA, FAILED)

analysis_type – tipo de análise (QUALITY, BIOMETRY, DOCUMENTS)

resolution_status – resolução da análise (SUCCESS, DECLINED)

company_id – identificador da empresa

oz_api_analyse_duration_seconds_created

Carimbo de data/hora do início da contagem da métrica de duração

django_http_requests_total_by_transport_total

Número de requisições por protocolo de transporte

contador

transport – protocolo (HTTP, HTTPS)

uid – identificador do usuário

django_http_responses_before_middlewares_total

Número de respostas do Django antes da execução dos middlewares

contador

uid – identificador do usuário

django_http_exceptions_total_by_type_total

Número de exceções do Django por tipo

contador

exception_type – tipo de exceção

uid – identificador do usuário

django_http_requests_latency_seconds_by_view_method_bucket

Histograma da latência de processamento de requisições por views

histograma

method – método HTTP

uid – identificador do usuário

view_name – nome da view

le – tamanho do bucket

django_http_requests_latency_seconds_by_view_method_count

Número de medições das durações de processamento de requisições por views

contador

method – método HTTP

uid – identificador do usuário

view_name – nome da view

django_http_requests_latency_seconds_by_view_method_sum

Soma das durações de processamento de requisições por views

contador

method – método HTTP

uid – identificador do usuário

view_name – nome da view

Capturas de tela ilustrativas:

Alertas do Grafana

groups:
  - name: Alertas da API
    rules:
      - alert: API fora do ar
        expr: probe_success{job="blackbox-api-healthcheck"} != 1
        for: 30s
        labels:
          severity: critical
        annotations:
          summary: "A Oz API está fora do ar ou apresentando erros há mais de 30 segundos!"
          description: "Crítico: o serviço Oz API está fora do ar no host {{ $labels.instance }}!"

      - alert: Métricas da API ausentes!
        expr: absent(oz_api_versions_total)
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "Métricas da API ausentes!!!"
          description: "Crítico: verifique os contêineres da API, a API pode não estar funcionando corretamente!!!"

      - alert: Muitas solicitações totais de análise da API
        expr: sum (rate(oz_api_analyses_total{}[1m])) > 1
        labels:
          severity: warning
        annotations:
          summary: "Muitas solicitações de análise da API por segundo!"
          description: "A taxa de requisições de análise da API é {{ $value }} rps."

      - alert: Alta taxa de falhas nas análises da API
        expr: sum by (analysis_result)(rate(oz_api_analyses_total{analysis_result="FAILED"}[1m])) > 0
        for: 1m
        labels:
          severity: warning
        annotations:
          summary: "Análises da API com falha detectadas"
          description: "A taxa de falhas nas análises da API é {{ $value }} rps no último minuto."

      - alert: Alta duração das análises da API
        expr: histogram_quantile(0.95,sum by (le, analysis_type) (rate(oz_api_analyse_duration_seconds_bucket{}[1m]))) > 7
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "As análises de {{ $labels.analysis_type }} estão lentas!"
          description: "A duração de 95% das análises {{ $labels.analysis_type }} é maior que {{ $value }} segundos nos últimos 10 minutos."

      - alert: Erros de exceção da API
        expr: sum by (exception_type)(rate(django_http_exceptions_total_by_type_total{exception_type!~"AuthCredentialsExpired|AuthCredentialsInvalid|AuthCredentialsIsNotProvided|AuthForbidden|InvalidBodyStructureError|InvalidParamValueErrorNotExistError|OSError|InvalidParamValueError|NotExistError"}[1m])) > 0
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.exception_type }} nos erros de exceção da API"
          description: "{{ $value }} rps na API retornou {{ $labels.exception_type }} nos últimos 5 minutos."

TFSS

Para habilitar as métricas, defina TFSS_PROMETHEUS="true" em /configs/env/tfss.env.

Para alterar o caminho padrão das métricas, descomente TFSS_METRICS_URI="/metrics/tfss" em /configs/env/tfss.env e defina o caminho.

Job do Prometheus

Em vez do placeholder, coloque o nome do seu contêiner.

  - job_name: "tfss"
    metrics_path: /metrics/tfss
    scheme: http
    static_configs:
      - targets: ["bio_container:8501"]
        labels:
          bio: ozforensics
          ozforensics: true

Visão geral das métricas

Métrica

Descrição

:tensorflow:serving:request_count

Número total de requisições ao TFSS

:tensorflow:serving:request_latency_bucket

Histograma do tempo de processamento da requisição

:tensorflow:serving:request_latency_sum

Soma das durações de processamento das requisições

:tensorflow:serving:request_latency_count

Número total de requisições cujas durações foram contabilizadas

:tensorflow:cc:saved_model:load_attempt_count

Modelos carregados

Capturas de tela ilustrativas:

Os alertas de TFSS são cobertos na Blackbox seção abaixo.

nginx

Job do Prometheus

Em vez do placeholder, coloque o nome do seu contêiner.

  - job_name: "nginx"
    static_configs:
      - targets: ["nginx_container:9113"]
        labels:
          nginx: ozforensics
          ozforensics: true

Visão geral das métricas

Métrica

Descrição

nginx_up

Mostra se o nginx está em execução: 1 – serviço está ativo, 0 – serviço está inativo

nginx_connections_accepted

Número de conexões aceitas pelo nginx

nginx_connections_handled

Número de conexões tratadas pelo nginx

nginx_connections_active

Conexões ativas do nginx

Capturas de tela ilustrativas:

Alertas do Grafana

groups:
  - name: Alertas do NGINX
    rules:
      - alert: nginx está fora do ar
        expr: nginx_up != 1
        for: 30s
        labels:
          severity: critical
        annotations:
          summary: "nginx está fora do ar há mais de 30 segundos!"
          description: "Crítico: o serviço nginx está fora do ar no host {{ $labels.instance }}!"

      - alert: o nginx não está tratando todas as conexões
        expr: rate (nginx_connections_handled[5m]) / rate (nginx_connections_accepted[5m]) <1
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "o nginx está com problemas ao tratar conexões"
          description: "Crítico: nem todas as conexões aceitas foram tratadas pelo nginx no host {{ $labels.instance }} há mais de 3 minutos!"

      - alert: "Alto número de conexões ativas no nginx"
        expr: nginx_connections_active > 3000
        for: 3m
        labels:
          severity: critical
        annotations:
          summary: "Alto número de conexões ativas no nginx"
          description: "Crítico: o nginx teve conexões ativas em excesso no host {{ $labels.instance }} por mais de 3 minutos!"

Blackbox

As sondas Blackbox verificam se a API e o TFSS estão respondendo corretamente. É necessário configurar os módulos, os arquivos de alvo de SD e os jobs do Prometheus conforme mostrado abaixo.

Configuração

modules:
  tfss_models_probe:
    prober: http
    timeout: 5s
    http:
      valid_status_codes: []  # Padrão: 2xx
      method: GET
      fail_if_ssl: false
      fail_if_not_ssl: false
      fail_if_body_not_matches_regexp:
        - "\"error_code\": \"OK\""
        - "\"state\": \"AVAILABLE\""
      tls_config:
        insecure_skip_verify: false
      preferred_ip_protocol: "ip4"

  tfss_predict_probe:
    prober: http
    timeout: 5s
    http:
      valid_status_codes: []  # Padrão: 2xx
      method: POST
      body: '{"inputs": {"images_bytes": [{"b64": "aaa"}]}}'
      follow_redirects: true
      fail_if_ssl: false
      fail_if_not_ssl: false
      fail_if_body_not_matches_regexp:
        - '\"outputs\": 1\.0'
      tls_config:
        insecure_skip_verify: false
      preferred_ip_protocol: "ip4"

  http_2xx:
    prober: http
    timeout: 5s
    http:
      valid_status_codes: []
      method: GET
      preferred_ip_protocol: "ip4"
      tls_config:
        insecure_skip_verify: false

  api_healthcheck:
    prober: http
    timeout: 5s
    http:
      method: GET
      valid_status_codes: []
      fail_if_body_not_matches_regexp:
        - '{"generally_healthy": true,(| "celery": (\{\}|\{(?:\s*"[^"]+": "ok",)* "[^"]+": "ok"\s*\}),) "db": "ok"(|, "jwt": {"status": "ok"})}'

Configuração dos arquivos SD para Blackbox (em vez dos placeholders, coloque os nomes dos seus contêineres)

blackbox_tfss_models.yml:

[
  {
    "targets": ["http://bio_container:8501/v1/models/inquisitor_c"],
    "labels":
      {
        "host": "bio:8501",
        "role": "oz-bio",
        "ssl_alert": "false",
        "http_code": "200",
        "model": "inquisitor_c",
        "ozforensics": "true",
      },
  },
]

blackbox_tfss_probe.yml:

[
  {
    "targets": ["http://bio_container:8501/v1/models/dummy:predict"],
    "labels":
      {
        "host": "bio:8501",
        "role": "oz-bio-balancer",
        "ssl_alert": "false",
        "http_code": "200",
        "model": "dummy",
        "ozforensics": "true",
      },
  },
]

blackbox-exporter-ozforensics.yml:

[
  {
    "targets": ["http://api_container:8000/api/version"],
    "labels":
      {
        "host": "blackbox_container:9115",
        "role": "API",
        "ssl_alert": "false",
        "http_code": "200",
        "ozforensics": "true",
      },
  },
]

blackbox-api-healthcheck.yml:

[
  {
    "targets": ["http://api_container:8000/api/healthcheck"],
    "labels":
      {
        "job": "blackbox-api-healthcheck",
        "host": "api:8000/api/healthcheck",
        "role": "oz-api",
        "ssl_alert": "false",
        "http_code": "200",
        "ozforensics": "true",
      },
  },
]

Job do Prometheus

Em vez dos placeholders, coloque os nomes dos seus contêineres e os endereços do host.

  - job_name: "BlackBox_tfss_models"
    scrape_interval: 30s
    metrics_path: /probe
    scheme: http
    params:
      module: [tfss_models_probe]
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: blackbox_container:9115
    file_sd_configs:
      - files:
          - sd/BlackBox_tfss_models.yml

  - job_name: "BlackBox_tfss_probe"
    scrape_interval: 30s
    metrics_path: /probe
    scheme: http
    params:
      module: [tfss_predict_probe]
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: blackbox_container:9115
    file_sd_configs:
      - files:
          - sd/BlackBox_tfss_probe.yml

  - job_name: 'BlackBox_exporter_ozforensics'
    scrape_interval: 60s
    metrics_path: /probe
    params:
      module: [http_2xx]
    relabel_configs:
     - source_labels: [__address__]
       target_label: __param_target
     - source_labels: [__param_target]
       target_label: instance
     - target_label: __address__
       replacement: blackbox_container:9115
    file_sd_configs:
      - files:
        - sd/blackbox-exporter-ozforensics.yml

  - job_name: 'BlackBox_api_healthcheck_ozforensics'
    scrape_interval: 60s
    metrics_path: /probe
    scheme: http
    params:
      module: [api_healthcheck]
    relabel_configs:
     - source_labels: [__address__]
       target_label: __param_target
     - source_labels: [__param_target]
       target_label: instance
     - target_label: __address__
       replacement: blackbox_container:9115
    file_sd_configs:
      - files:
        - sd/blackbox-api-healthcheck.yml

Visão geral das métricas

Métrica

Descrição

probe_success

Mostra se a chamada da URL foi concluída com sucesso (o Blackbox recebeu uma resposta com a expressão regular exigida)

Alertas do Grafana

Para a API:

groups:
  - name: Alertas da API
    rules:
      - alert: API fora do ar
        expr: probe_success{job="blackbox-api-healthcheck"} != 1
        for: 30s
        labels:
          severity: critical
        annotations:
          summary: "OZ API está fora do ar ou apresentando erros há mais de 30 segundos!"
          description: "Crítico: o serviço OZ API está fora do ar no host {{ $labels.instance }}!"

Para o TFSS:

groups:
  - name: alertas de TFSS
    rules:
      - alert: erro no modelo inquisitor_c
        expr: probe_success{model="inquisitor_c"} != 1
        for: 30s
        labels:
          severity: critical
        annotations:
          summary: "O modelo inquisitor_c retorna erro!"
          description: "Crítico: o modelo de serviço TFSS retorna erro no host {{ $labels.instance }}!"
      - alert: erro no modelo dummy
        expr: probe_success{model="dummy"} != 1
        for: 30s
        labels:
          severity: critical
        annotations:
          summary: "O modelo dummy retorna erro!"
          description: "Crítico: o modelo de serviço TFSS retorna erro no host {{ $labels.instance }}!"

PostgreSQL

Job do Prometheus

Em vez do placeholder, coloque o nome do seu contêiner.

 - job_name: "postgres"
    static_configs:
      - targets: ["postgres_container:9187"]
        labels:
          postgres: ozforensics
          ozforensics: true

Alertas do Grafana

groups:
  - name: alertas de POSTGRESQL
    rules:
      - alert: PostgreSQL fora do ar
        expr: pg_up != 1
        for: 30s
        labels:
          severity: critical
        annotations:
          summary: "PostgreSQL está fora do ar há mais de 30 segundos!"
          description: "Crítico: o serviço Postgres está fora do ar no host {{ $labels.instance }}!"
      - alert: erros do Postgres Exporter
        expr: pg_exporter_last_scrape_error == 1
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: "Postgres Exporter está fora do ar ou apresentando erros"
          description: "Crítico: o postgres-exporter não está em execução ou apresenta erros no host {{ $labels.instance }}"

Outros alertas

up exibe se a última coleta de métricas foi concluída com sucesso: 1 se sim, 0 se não.

groups:
  - name: alertas do exporter
    rules:
      - alert: Erro de coleta ou instância fora do ar
        expr: up != 1
        for: 30s
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.job }} {{ $labels.host }} erro de coleta ou instância fora do ar!"
          description: "Crítico: a última coleta em {{ $labels.instance }} terminou com erro!"

Jobs opcionais do Prometheus

Node-exporter

  - job_name: "node_exporter"
    metrics_path: /node_exporter/metrics
    scheme: http
    file_sd_configs:
      - files:
        - sd/node-exporter.yml

O node-exporter.yml arquivo (em vez do placeholder, informe o endereço do seu host):

[
  {
    "targets": ["node:9113"],
    "labels":
      {
        "job": "node_exporter",
        "host": "api",
        "role": "oz-api",
        "ozforensics": "true",
      },
  },
]

cAdvisor

  - job_name: cadvisor
    metrics_path: /metrics
    file_sd_configs:
      - files:
        - sd/cadvisor.yml

O cadvisor.yml arquivo (em vez do placeholder, informe o endereço do seu host):

[
  {
    "targets": ["cadvisor_container:8081"],
    "labels":
      {
        "job": "cadvisor",
        "host": "api",
        "role": "oz-api",
        "ozforensics": "true",
      },
  },
]