Captura de vídeo e descrição do callback on_capture_complete

Neste artigo, você aprenderá a capturar vídeos e enviá-los pelo seu backend para o Oz API.

1. Visão geral

Aqui está o fluxo de dados para o seu cenário:

1. O Oz Web SDK captura um vídeo e o disponibiliza para a aplicação host como uma sequência de frames.

2. A aplicação host chama o seu backend usando um arquivo desses frames.

3. Após as etapas de pré-processamento necessárias, o seu backend chama o Oz API, que executa todas as análises necessárias e retorna os resultados das análises.

4. O seu backend responde de volta à aplicação host, se necessário.

2. Implementação

No lado do servidor, o Web SDK deve ser configurado para operar no Capture modo:

O architecture o parâmetro deve ser set como captura no arquivo app_config.json.

Na sua app Web, adicione um callback para processar a mídia capturada ao abrir o Web SDK plugin:

OzLiveness.open({
  ... // outros parâmetros
  on_capture_complete: function(result) {
         // Seu código para processar a mídia/enviá-la para sua API, este é o PASSO #2
  }
})

A estrutura do objeto de resultado depende de haver ou não qualquer câmera virtual detectada.

Nenhuma câmera virtual detectada

{
	"action": <action>,
	"best_frame": <bestframe>,
	"best_frame_png": <bestframe_png>,
	"best_frame_bounding_box": {
		"left": <bestframe_bb_left>,
		"top": <bestframe_bb_top>,
		"right": <bestframe_bb_right>,
		"bottom": <bestframe_bb_bottom>
		},
	"best_frame_landmarks": {
		"left_eye": [bestframe_x_left_eye, bestframe_y_left_eye],
		"right_eye": [bestframe_x_right_eye, bestframe_y_right_eye],
		"nose_base": [bestframe_x_nose_base, bestframe_y_nose_base],
		"mouth_bottom": [bestframe_x_mouth_bottom, bestframe_y_mouth_bottom],
		"left_ear": [bestframe_x_left_ear, bestframe_y_left_ear],
		"right_ear": [bestframe_x_right_ear, bestframe_y_right_ear]
		},
	"frame_list": [<frame1>, <frame2>],
	"frame_bounding_box_list": [
		{
		"left": <frame1_bb_left>,
		"top": <frame1_bb_top>,
		"right": <frame1_bb_right>,
		"bottom": <frame1_bb_bottom>
		},
		{
		"left": <frame2_bb_left>,
		"top": <frame2_bb_top>,
		"right": <frame2_bb_right>,
		"bottom": <frame2_bb_bottom>
		},
	],
	"frame_landmarks": [
		{
		"left_eye": [frame1_x_left_eye, frame1_y_left_eye],
		"right_eye": [frame1_x_right_eye, frame1_y_right_eye],
		"nose_base": [frame1_x_nose_base, frame1_y_nose_base],
		"mouth_bottom": [frame1_x_mouth_bottom, frame1_y_mouth_bottom],
		"left_ear": [frame1_x_left_ear, frame1_y_left_ear],
		"right_ear": [frame1_x_right_ear, frame1_y_right_ear]
		},
		{
		"left_eye": [frame2_x_left_eye, frame2_y_left_eye],
		"right_eye": [frame2_x_right_eye, frame2_y_right_eye],
		"nose_base": [frame2_x_nose_base, frame2_y_nose_base],
		"mouth_bottom": [frame2_x_mouth_bottom, frame2_y_mouth_bottom],
		"left_ear": [frame2_x_left_ear, frame2_y_left_ear],
		"right_ear": [frame2_x_right_ear, frame2_y_right_ear]
		}
	],
"from_virtual_camera": null,
"additional_info": <additional_info>
}

Qualquer câmera virtual detectada

{
	"action": <action>,
	"best_frame": null,
	"best_frame_png": null,
	"best_frame_bounding_box": null,
	"best_frame_landmarks": null
	"frame_list": null,
	"frame_bounding_box_list": null,
	"frame_landmarks": null,
	"from_virtual_camera": {
	"additional_info": <additional_info>,
		"best_frame": <bestframe>,
		"best_frame_png": <bestframe_png>,
		"best_frame_bounding_box": {
			"left": <bestframe_bb_left>,
			"top": <bestframe_bb_top>,
			"right": <bestframe_bb_right>,
			"bottom": <bestframe_bb_bottom>
			},
		"best_frame_landmarks": {
			"left_eye": [bestframe_x_left_eye, bestframe_y_left_eye],
			"right_eye": [bestframe_x_right_eye, bestframe_y_right_eye],
			"nose_base": [bestframe_x_nose_base, bestframe_y_nose_base],
			"mouth_bottom": [bestframe_x_mouth_bottom, bestframe_y_mouth_bottom],
			"left_ear": [bestframe_x_left_ear, bestframe_y_left_ear],
			"right_ear": [bestframe_x_right_ear, bestframe_y_right_ear]
			},
		"frame_list": [<frame1>, <frame2>],
		"frame_bounding_box_list": [
			{
			"left": <frame1_bb_left>,
			"top": <frame1_bb_top>,
			"right": <frame1_bb_right>,
			"bottom": <frame1_bb_bottom>
			},
			{
			"left": <frame2_bb_left>,
			"top": <frame2_bb_top>,
			"right": <frame2_bb_right>,
			"bottom": <frame2_bb_bottom>
			},
			],
		"frame_landmarks": [
			{
			"left_eye": [frame1_x_left_eye, frame1_y_left_eye],
			"right_eye": [frame1_x_right_eye, frame1_y_right_eye],
			"nose_base": [frame1_x_nose_base, frame1_y_nose_base],
			"mouth_bottom": [frame1_x_mouth_bottom, frame1_y_mouth_bottom],
			"left_ear": [frame1_x_left_ear, frame1_y_left_ear],
			"right_ear": [frame1_x_right_ear, frame1_y_right_ear]
			},
			{
			"left_eye": [frame2_x_left_eye, frame2_y_left_eye],
			"right_eye": [frame2_x_right_eye, frame2_y_right_eye],
			"nose_base": [frame2_x_nose_base, frame2_y_nose_base],
			"mouth_bottom": [frame2_x_mouth_bottom, frame2_y_mouth_bottom],
			"left_ear": [frame2_x_left_ear, frame2_y_left_ear],
			"right_ear": [frame2_x_right_ear, frame2_y_right_ear]
			}
		]
	}
}

Aqui está a lista de variáveis com descrições.

Variável	Tipo	Descrição
best_frame	String	O melhor frame, JPEG no formato data URL
best_frame_png	String	O melhor frame, PNG no formato data URL
best_frame_bounding_box	Array[Named_parameter: Int]	As coordenadas da caixa delimitadora onde o rosto está localizado no melhor frame
best_frame_landmarks	Array[Named_parameter: Array[Int, Int]]	As coordenadas dos pontos de referência faciais (olho esquerdo, olho direito, base do nariz, boca, orelha esquerda, orelha direita) no melhor frame
frame_list	Array[String]	Todos os frames no formato data URL
frame_bounding_box_list	Array[Array[Named_parameter: Int]]	As coordenadas das caixas delimitadoras onde o rosto está localizado nos frames correspondentes
frame_landmarks	Array[Named_parameter: Array[Int, Int]]	As coordenadas dos pontos de referência faciais (olho esquerdo, olho direito, nariz, boca, orelha esquerda, orelha direita) nos frames correspondentes
action	String	Um código de ação
additional_info	String	Informações sobre o ambiente do cliente

Observe:

• O vídeo do Oz Web SDK é uma sequência de frames, então, para enviá-lo ao Oz API, será necessário arquivar os frames e transmiti-los como um arquivo ZIP via o POST /api/folders solicitação (consulte nossas coleções do Postman).

• É possível recuperar o vídeo MP4 de uma pasta usando a /api/folders/{{folder_id}} solicitação com o ID dessa pasta. No JSON que você receber, procure o preview_url em source_media. O preview_url parâmetro contém o link para o vídeo. No plugin, vídeos MP4 não estão disponíveis (somente como sequências de frames).

• Além disso, na solicitação POST {{host}}/api/folders solicitação, é necessário adicionar o additional_info campo. Ele é obrigatório para o captura modo de arquitetura coletar as informações necessárias sobre o ambiente do cliente. Aqui está um exemplo de preenchimento do corpo da solicitação:

"VIDEO_FILE_KEY": VIDEO_FILE_ZIP_BINARY
"payload": "{
        "media:meta_data": {
           "VIDEO_FILE_KEY": {
              "additional_info": <additional_info>
              }
           }
}"

• Oz API aceita dados sem a codificação base64.