Instalação no Kubernetes

Para instalar o produto Oz via Kubernetes, considere usar Helm charts.

• Oz API e componentes relacionados: Helm chart.

  • API 5.2: versão 0.11.x,

  • API 5.3 (atualização regulatória para o Cazaquistão): 0.12.x.

• Web SDK: Helm chart. Observação: a versão do chart não está vinculada à versão do Web SDK.

Pré-requisitos

Helm chart da API

• Kubernetes 1.23+

• Helm 3+

• ingress-nginx e cert-manager com um ClusterIssuer

• kube-metrics-server (para HPA)

• Prometheus (para monitoramento/ServiceMonitors)

• Um banco de dados PostgreSQL (externo, para produção) com pgcrypto extensão habilitada

• Um ReadWriteMany (RWX) StorageClass para arquivos estáticos da API (ou S3)

Helm chart do Web SDK

• Kubernetes 1.23+

• Helm 3+

• controller ingress-nginx (ou Istio 1.16+)

• cert-manager com um ClusterIssuer

• kube-metrics-server (para HPA)

• Prometheus (para monitoramento/ServiceMonitors)

• Um ReadWriteMany (RWX) StorageClass para dados de sessão

Helm chart do Instant API

• Kubernetes 1.23+

• Helm 3+

• controller ingress-nginx (ou Istio 1.16+)

• cert-manager com um ClusterIssuer

• kube-metrics-server (para HPA)

• Prometheus (para monitoramento/ServiceMonitors)

Criação do banco de dados

Para fins de teste, o banco de dados instalado e criado automaticamente pelo chart é suficiente. No entanto, para produção, recomendamos fortemente o uso de um banco de dados separado, gerenciado por você.

Versão recomendada do PostgreSQL: 15.5.

Parâmetros do banco de dados PostgreSQL

• max_connections: 2000 (pode variar dependendo do número de chamadas da API),

• shared_buffers: 2 GB (quantidade de RAM dividida por 2),

• effective_cache_size: 6 GB (RAM – 2 GB),

• maintenance_work_mem: 512 MB,

• checkpoint_completion_target: 0.9,

• wal_buffers: 16 MB,

• default_statistics_target: 100,

• random_page_cost: 1.1,

• effective_io_concurrency: 200,

• work_mem: 16 MB,

• min_wal_size: 1 GB,

• max_wal_size: 4 GB,

• max_worker_processes: 4 (igual ao número de CPUs),

• max_parallel_workers_per_gather: 2 (número de CPUs dividido por 2),

• max_parallel_workers: 4 (igual ao número de CPUs),

• max_parallel_maintenance_workers: 2 (número de CPUs dividido por 2),

• Se o banco de dados estiver em Docker, defina shm_size: '1gb'.

Crie um banco de dados usando os scripts abaixo.

API

    CREATE ROLE <<USERNAME>> WITH LOGIN PASSWORD '<<PASSWORD>>'
      INHERIT
      CONNECTION LIMIT -1
      NOSUPERUSER
      NOCREATEDB
      NOCREATEROLE
      NOREPLICATION ;
    CREATE DATABASE <<DB_NAME>>
      WITH OWNER = <<USERNAME>>
          ENCODING = 'UTF8'
          TABLESPACE = pg_default
          CONNECTION LIMIT = -1
          LC_COLLATE='en_US.UTF-8'
          LC_CTYPE='en_US.UTF-8'
          TEMPLATE template0;
    \c <<DB_NAME>>
    CREATE EXTENSION IF NOT EXISTS pgcrypto;

1:N

    CREATE ROLE <<OnetoMany_USERNAME>> WITH LOGIN PASSWORD '<<OnetoMany_PASSWORD>>'
      INHERIT
      CONNECTION LIMIT -1
      NOSUPERUSER
      NOCREATEDB
      NOCREATEROLE
      NOREPLICATION ;
    CREATE DATABASE <<OnetoMany_DB_NAME>>
      WITH OWNER = <<OnetoMany_USERNAME>>
          ENCODING = 'UTF8'
          TABLESPACE = pg_default
          CONNECTION LIMIT = -1
          LC_COLLATE='en_US.UTF-8'
          LC_CTYPE='en_US.UTF-8'
          TEMPLATE template0;
    \c <<OnetoMany_DB_NAME>>
    CREATE EXTENSION IF NOT EXISTS pgcrypto;
    CREATE EXTENSION IF NOT EXISTS vector;

Para aumentar o desempenho, considere usar esta lista de índices:

Índices do Gateway

CREATE INDEX CONCURRENTLY gw_analyse_abstract_company_id_idx ON public.gw_analyse_abstract USING btree (company_id);
CREATE INDEX CONCURRENTLY gw_analyse_abstract_folder_id ON public.gw_analyse_abstract USING btree (folder_id);
CREATE INDEX CONCURRENTLY gw_analyse_abstract_time_updated_state_idx ON public.gw_analyse_abstract USING btree (time_updated) WHERE (state = 'PROCESSING'::analyse_state);
CREATE INDEX CONCURRENTLY idx_gw_analyse_abstract_state_time_updated ON public.gw_analyse_abstract USING btree (state, time_updated);
CREATE INDEX CONCURRENTLY gw_analyse_collection_collection_id_idx ON public.gw_analyse_collection USING btree (collection_id);
CREATE INDEX CONCURRENTLY gw_analyse_collection_person_media_association_person_id_idx ON public.gw_analyse_collection_person_media_association USING btree (person_id);
CREATE INDEX CONCURRENTLY gw_analyse_cpma_media_association_id_idx ON public.gw_analyse_collection_person_media_association USING btree (media_association_id);
CREATE INDEX CONCURRENTLY gw_analyse_result_group_image_analyse_id_idx ON public.gw_analyse_result_group_image USING btree (analyse_id);
CREATE INDEX CONCURRENTLY gw_analyse_result_group_image_image_id_idx ON public.gw_analyse_result_group_image USING btree (image_id);
CREATE INDEX CONCURRENTLY gw_analyse_result_image_media_association_id_idx ON public.gw_analyse_result_image USING btree (media_association_id);   
CREATE INDEX CONCURRENTLY gw_analyse_source_media_association_analyse_id_idx ON public.gw_analyse_source_media_association USING btree (analyse_id);
CREATE INDEX CONCURRENTLY gw_analyse_source_media_association_source_image_id_idx ON public.gw_analyse_source_media_association USING btree (source_image_id);   
CREATE INDEX CONCURRENTLY gw_analyse_source_media_association_source_shots_set_id_idx ON public.gw_analyse_source_media_association USING btree (source_shots_set_id);
CREATE INDEX CONCURRENTLY gw_analyse_source_media_association_source_video_id_idx ON public.gw_analyse_source_media_association USING btree (source_video_id);
CREATE INDEX CONCURRENTLY gw_collection_company_id_idx ON public.gw_collection USING btree (company_id);
CREATE INDEX CONCURRENTLY gw_collection_creator_id_idx ON public.gw_collection USING btree (creator_id);
CREATE INDEX CONCURRENTLY gw_collection_person_collection_id_idx ON public.gw_collection_person USING btree (collection_id);
CREATE INDEX CONCURRENTLY gw_collection_person_image_person_id_idx ON public.gw_collection_person_image USING btree (person_id);
CREATE INDEX CONCURRENTLY gw_folder_company_id_idx ON public.gw_folder USING btree (company_id) WHERE (NOT is_archive);
CREATE INDEX CONCURRENTLY gw_folder_event_session_id_idx ON public.gw_folder USING btree (((meta_data ->> 'event_session_id'::text))) WHERE (NOT is_archive);
CREATE INDEX CONCURRENTLY gw_folder_resolution_author_id_idx ON public.gw_folder USING btree (resolution_author_id);
CREATE INDEX CONCURRENTLY gw_folder_resolution_comment_fts_idx ON public.gw_folder USING gin (to_tsvector('english'::regconfig, (resolution_comment)::text));
CREATE INDEX CONCURRENTLY gw_folder_time_created_folder_id_idx ON public.gw_folder USING btree (time_created DESC, folder_id DESC);
CREATE INDEX CONCURRENTLY gw_folder_time_created_folder_id_nonarchive_idx ON public.gw_folder USING btree (time_created DESC, folder_id DESC) WHERE (is_archive = false);
CREATE INDEX CONCURRENTLY gw_folder_time_created_idx ON public.gw_folder USING btree (time_created DESC);
CREATE INDEX CONCURRENTLY gw_folder_time_created_nonarchive_idx ON public.gw_folder USING btree (time_created DESC) WHERE (is_archive = false);
CREATE INDEX CONCURRENTLY gw_folder_user_id_idx ON public.gw_folder USING btree (user_id);
CREATE INDEX CONCURRENTLY idx_gw_folder_transaction_id ON public.gw_folder USING btree (company_id, ((meta_data ->> 'transaction_id'::text))) WHERE (NOT is_archive);
CREATE INDEX CONCURRENTLY idx_gw_folder_user_id_time_created ON public.gw_folder USING btree (user_id, time_created);
CREATE INDEX CONCURRENTLY gw_folder_image_folder_id_idx ON public.gw_folder_image USING btree (folder_id);
CREATE INDEX CONCURRENTLY gw_folder_report_author_id_idx ON public.gw_folder_report USING btree (author_id);
CREATE INDEX CONCURRENTLY gw_folder_report_folder_id_idx ON public.gw_folder_report USING btree (folder_id);
CREATE INDEX CONCURRENTLY gw_folder_report_report_template_id_idx ON public.gw_folder_report USING btree (report_template_id);
CREATE INDEX CONCURRENTLY idx_gw_folder_shots_set_folder_id ON public.gw_folder_shots_set USING btree (folder_id);
CREATE INDEX CONCURRENTLY gw_folder_video_folder_id_idx ON public.gw_folder_video USING btree (folder_id);
CREATE INDEX CONCURRENTLY gw_logging_event_record_session_id_idx ON public.gw_logging_event_record USING btree (session_id);
CREATE INDEX CONCURRENTLY gw_logging_event_record_time_created_idx ON public.gw_logging_event_record USING btree (time_created);
CREATE INDEX CONCURRENTLY gw_logging_event_record_timemark_idx ON public.gw_logging_event_record USING btree (timemark);
CREATE INDEX CONCURRENTLY gw_logging_event_session_time_created_idx ON public.gw_logging_event_session USING btree (time_created);
CREATE INDEX CONCURRENTLY gw_logging_event_session_user_id_idx ON public.gw_logging_event_session USING btree (user_id);
CREATE INDEX CONCURRENTLY gw_logging_event_session_time_updated_idx ON gw_logging_event_session(time_updated);
CREATE INDEX CONCURRENTLY gw_report_template_company_id_idx ON public.gw_report_template USING btree (company_id);
CREATE INDEX CONCURRENTLY gw_report_template_name_company_id_idx ON public.gw_report_template USING btree (name, company_id);
CREATE INDEX CONCURRENTLY gw_report_template_attachment_filename_report_template_id_idx ON public.gw_report_template_attachment USING btree (filename, report_template_id);
CREATE INDEX CONCURRENTLY gw_report_template_attachment_report_template_id_idx ON public.gw_report_template_attachment USING btree (report_template_id);
CREATE INDEX CONCURRENTLY gw_role_abstract_user_company_id_idx ON public.gw_role_abstract_user USING btree (company_id);
CREATE INDEX CONCURRENTLY gw_role_email_restore_code_user_id_idx ON public.gw_role_email_restore_code USING btree (user_id);
CREATE INDEX CONCURRENTLY gw_role_session_old_access_token_idx ON public.gw_role_session USING btree (old_access_token);
CREATE INDEX CONCURRENTLY gw_role_session_user_id_idx ON public.gw_role_session USING btree (user_id);
CREATE INDEX CONCURRENTLY gw_role_user_photo_user_id_idx ON public.gw_role_user_photo USING btree (user_id);
CREATE INDEX CONCURRENTLY gw_shots_set_frame_shots_set_id_idx ON public.gw_shots_set_frame USING btree (shots_set_id);
CREATE INDEX CONCURRENTLY gw_utils_audit_actor_id_idx ON public.gw_utils_audit USING btree (actor_id);
CREATE INDEX CONCURRENTLY gw_utils_media_company_id_idx ON public.gw_utils_media USING btree (company_id);

Implantação do chart

Os charts da API e do Web SDK requerem SC RWX (CephFS, EFS, NFS, Longhorn etc.).

Exemplo de criação de SC usando AWS EFS

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: efs-sc-api
provisioner: efs.csi.aws.com
allowVolumeExpansion: true
#Use Retain se você for usar PVC para arquivos estáticos, ou seus arquivos estáticos serão excluídos ao desinstalar o chart
reclaimPolicy: Retain 
mountOptions:
  - tls
  - iam
parameters:
  provisioningMode: efs-ap
  fileSystemId: fs-____________
  directoryPerms: "770"
  uid: "1000"
  gid: "1000"
  basePath: ""

Para implantar em Kubernetes, baixe a versão do chart de que você precisa e ajuste o values.yaml arquivo. Este arquivo especifica parâmetros para implantação dos produtos Oz.

API

Este exemplo é baseado na versão 0.11.28 do chart.

Ajuste o values.yaml arquivo, definindo os seguintes parâmetros obrigatórios antes da implantação:

• ozDockerHubCreds: você os receberá do Oz Engineer.

• UserParams:

  • URLs:

    • apiURL: URL da API. Pode ser uma URL interna, se você usar apenas o Web SDK. Para Mobile SDKs, deve ser pública. Consulte este artigo para obter mais informações.

  • DB: deve ser definido se você usar um servidor PostgreSQL externo. Para detalhes, consulte Criação do banco de dados.

    • use_chart_postgres: false por padrão. Habilita o servidor PostgreSQL interno (não recomendado para produção).

    • postgresUser: igual a <<USERNAME>>.

    • postgresHost: o hostname do seu servidor PostgreSQL.

    • postgresDB: igual a <<DB_NAME>>.

    • postgresUserPassword: igual a <<PASSWORD>>.

    • postgresPort: 5432 por padrão.

    • o2nDB:

      • use_chart_o2nDB: false por padrão. Habilita o servidor PostgreSQL interno (não recomendado para produção).

      • startinit: true por padrão. Habilita scripts de inicialização do banco de dados. Defina como false após o chart ser implantado.

      • creds:

        • postgresHost: o hostname do seu servidor PostgreSQL com o banco de dados 1:N.

        • postgresPort: 5432 por padrão.

        • postgresDB: igual a <<OnetoMany_DB_NAME>>.

        • postgresUser: igual a <<OnetoMany_USERNAME>>.

        • postgresUserPassword: igual a <<OnetoMany_PASSWORD>>.

  • Creds:

    • apiAdminLogin: login para o novo usuário padrão da API. Será criado na primeira execução.

    • apiAdminPass: senha do usuário padrão.

    • webUILocalAdminLogin: Admin local para a Web UI. Deve ser diferente de apiAdminLogin.

    • webUILocalAdminPass: senha de webUILocalAdminLogin.

  • BIO:

    • licenseKey: você a receberá do Oz Engineer / Sales.

    • clientToken: você o receberá do Oz Engineer.

  • pvc:

    • api:

      • static:

        • storageClassName: RWX StorageClass.

        • size: tamanho esperado para o PV.

• Params:

  • Global:

    • startinits: false por padrão. Defina como true na primeira execução e, depois, após a implantação bem-sucedida, altere de volta para false.

Para ajustar o comportamento da API, talvez seja necessário alterar outros parâmetros. Consulte os comentários em values.yaml arquivo.

TFSS (BIO)

O BIO faz parte do chart da API. Os pods BIO exigem nós separados para cada pod. Para garantir que o BIO permaneça em nós dedicados, você pode usar afinidade e tolerations.

O comportamento do BIO pode ser personalizado por meio de Params -> global -> affinity em values.yaml.

Os parâmetros padrão estão listados abaixo:

# Recomendamos o uso de nós separados para os pods da API e do BIO,
# e de um nó separado para cada pod BIO.
 ## A afinidade padrão é:
 ## Tente iniciar os pods da API em nós com o rótulo "oz:api", e os pods BIO em nós com o rótulo "oz:bio"
affinity: 
  API:
  # Você pode adicionar chaves adicionais ou comentar a seção inteira para desativar a afinidade
    nodeAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        preference:
          matchExpressions:
          - key: oz
            operator: In
            values:
            - api
    # nodeName: "myNode" #O nome do nó pode ser alterado. Descomente para usar

    # nodeSelector: ##NodeSelector pode ser alterado. Descomente para usar
    #   oz: api

    # preencha as tolerations de acordo com os taints do nó, descomente para usar
    #tolerations:
    #- key: nodegroup
    #  operator: Equal
    #  value: api
    #  effect: NoSchedule

  BIO:
  # Você pode adicionar chaves adicionais ou comentar a seção inteira para desativar a afinidade
    nodeAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        preference:
          matchExpressions:
          - key: oz
            operator: In
            values:
            - bio

    # nodeName: "myNode" ## O nome do nó pode ser alterado. Descomente para usar.

    # nodeSelector: ##NodeSelector pode ser alterado. Descomente para usar.
    #   oz: bio

    # preencha as tolerations de acordo com os taints do nó, descomente para usar.
    #tolerations:
    #- key: nodegroup
    #  operator: Equal
    #  value: bio
    #  effect: NoSchedule

O exemplo de implantação do chart via Helm:

helm install oz-api https://chartmuseum.infra.ozforensics.ai/charts/oz-k8s-0.11.28.tgz --namespace oz-api --values custom-api-values.yaml

Web SDK

A instalação do Web SDK requer a API pré-instalada. Exceto em casos específicos, o Web SDK não pode funcionar sem a API.

Para uma implantação adequada, o Web SDK requer uma conta de serviço da API. Pré-crie um usuário para o Web SDK com o tipo CLIENT e is_service flag definida. Consulte Funções de usuário para mais detalhes.

Este exemplo é baseado na versão 1.5.1+onPremise do chart.

Ajuste o values.yaml arquivo, definindo os seguintes parâmetros obrigatórios antes da implantação:

• ozDockerHubCreds: você os receberá do Oz Engineer.

• UserParams:

  • URLs:

    • apiURL: URL da API. Pode ser uma URL interna da API.

    • webSDKURL: URL do WebSDK que será usada para acesso público.

  • Creds:

    • AdminLogin: login do usuário que deve ser pré-criado na API. Não use o login de administrador padrão.

    • AdminPass: senha do usuário pré-criado.

• PVC:

  • persistentStorage: false por padrão. Defina como true se você usar mais de 1 pod do Web SDK.

  • storageClassName: StorageClass RWX.

• Params:

  • websdk:

    • licença: deve conter a sua licença do Web SDK. Você a receberá do Oz Engineer / Sales.

# Formato:
# Observação: os recuos são críticos para yaml.
    license: |-
      {
          "payload_b64": "",
          "signature": "",
          "enc_public_key": ""
      }

Para ajustar o comportamento da API, talvez seja necessário alterar outros parâmetros. Consulte os comentários em values.yaml arquivo.

O exemplo de implantação do chart via Helm:

helm install oz-websdk https://chartmuseum.infra.ozforensics.ai/charts/oz-k8s-sdk-1.5.1+onPremise.tgz --namespace oz-websdk --values custom-websdk-values.yaml