Dados egocêntricos para IA física

Trabalho real em primeira pessoa para treinar robôs.

Clipes com vídeo, pose das mãos, movimento da cabeça e anotação, gravados por quem faz o trabalho e licenciados por escrito. Profundidade medida nos aparelhos com LiDAR.

Pedir amostra Ver o que vem no clipe
  • Vídeo, mãos, IMU, pose e etapas
  • JSON, LeRobot ou MCAP
  • Consentimento por clipe

Dados de quem fazo trabalho de verdade

Robô aprende vendo mãos trabalhando: cortar, encaixar, dobrar, empilhar. A gente paga pessoas para filmar o que já fazem, no ritmo real do turno, e transforma isso em dados que um lab consegue usar na segunda-feira.

O que vem no clipe

Cinco camadas, do mesmo aparelho, sincronizadas no mesmo relógio. Cada clipe sai pronto para treinar.

  • Mãos cortando legumes numa tábua, vistas de quem corta
    Vídeo

    Primeira pessoa

    Câmera na cabeça, horizontal, sem corte. O que a pessoa vê é o que o robô vai ver.

  • Mãos encaixando uma peça, com os pontos das articulações desenhados por cima
    Pose

    Mãos e punhos

    Vinte e um pontos por mão, quadro a quadro, com o grau de certeza de cada um.

  • Mãos empilhando caixas num depósito, com a trajetória da cabeça traçada
    Movimento

    Cabeça e corpo

    Acelerômetro e giroscópio de 100 a 200 Hz conforme o celular, alinhados ao vídeo pelo mesmo relógio.

  • Bancada de oficina vista em mapa de profundidade, do perto ao longe
    Profundidade

    Distância por pixel

    Medida pelo LiDAR nos aparelhos que têm. Nos demais, estimada no processamento.

  • Mãos dobrando roupa, com a anotação da tarefa escrita ao lado
    Anotação

    Tarefa, passo e objeto

    Cada clipe diz o que foi feito, em que ordem e com o quê. Em JSON, LeRobot ou MCAP.

Anatomia de um clipe

Seis trilhas no mesmo relógio. Passe o mouse ou o dedo numa trilha para ver o arquivo e as colunas.

slice_onion · cozinha00:00,0

Metadados

Tudo o que acompanha o vídeo, no mesmo relógio. É isso que transforma uma gravação em dado de treino.

Vídeo
1920×1080, 30 quadros por segundo, horizontal, sem estabilização. Áudio junto.
Quadros
Carimbo de tempo do sensor, exposição e ISO reais de cada quadro.
Movimento
Acelerômetro, giroscópio, gravidade e atitude do aparelho, de 100 a 200 Hz conforme o celular, no relógio do vídeo.
Calibração
Intrínsecos da câmera, campo de visão, distorção e a rotação entre câmera e sensor de movimento.
Pose das mãos
21 pontos por mão em cada quadro, com o grau de certeza de cada ponto.
Pose da câmera
Posição e orientação da cabeça ao longo do clipe, em metros, com o estado do rastreio.
Profundidade
Medida pelo LiDAR nos aparelhos que têm, em 256×192. Nos demais, estimada no processamento.
Anotação
Tarefa, passo e objeto, com início e fim de cada passo.
Sessão
Tarefa, tipo de ambiente, país, modelo do aparelho e como ele estava preso.
Qualidade
Resultado da revisão de cada clipe.
Licença
Consentimento de quem gravou, privacidade e licença, anexados a cada clipe.
Exemplo ilustrativo de um clipe
eh_01JC8Z.../
  rgb.mp4            1920x1080, 30 fps
  frames.csv         timestamp_sensor_ns, exposure_ns, iso
  imu.csv            accel, gyro, gravity, q_wxyz
  pose.csv           camera-to-world, tracking_state
  calibration.json   intrinsics, distortion, camera_to_imu
  steps_marked.csv   t0, t1, source
  qc_live.json       hands, light, dropped_frames
  metadata.json
  depth/             LiDAR only (256x192, mm)

{
  "schema_version": "0.1.0",
  "task": "slice_onion",
  "environment": { "type": "kitchen", "indoor": true },
  "device": { "class": "smartphone", "mount": "head_strap" },
  "sensors": { "imu": { "rate_hz": 199.6, "sync": "video_locked" } },
  "camera": { "fx": 1450.1, "fy": 1450.1, "fov_h_deg": 68.2 },
  "consent": { ... }, "qc": { ... }, "license": { ... }
}

Onde filmamos

Trabalho manual de verdade, onde ele acontece. Cada setor com suas tarefas, ferramentas e bagunça.

  • Mãos porcionando carne numa cozinha profissional
    Cortar e porcionar

    Cozinha

    Pré-preparo, montagem de prato, louça.

  • Mãos apertando um parafuso com chave numa oficina
    Apertar e encaixar

    Oficina

    Montagem, troca de peça, aperto.

  • Mãos separando produtos numa prateleira de depósito
    Separar e embalar

    Depósito

    Picking, embalagem, etiqueta.

  • Mãos colhendo frutas numa lavoura
    Colher e selecionar

    Campo

    Colheita, seleção, caixa.

  • Mãos encaixando um conector numa linha de montagem
    Montar e conferir

    Montagem

    Encaixe, cabo, teste.

  • Mãos dobrando uma toalha sobre uma cama
    Dobrar e guardar

    Casa

    Roupa, louça, arrumação.

Como funciona

Do briefing à entrega em cinco etapas. A primeira amostra chega antes de qualquer contrato maior.

  1. Briefing

    Você diz a tarefa, o ambiente e o formato. A gente devolve um plano de captura em dois dias.

    • Tarefas
    • Ambientes
    • Volume
    • Formato
    Caderno com a lista de tarefas de uma captura, visto de cima

  2. Piloto

    Algumas horas gravadas, revisadas e entregues no seu formato. Você testa no seu pipeline antes de escalar.

    • Amostra
    • Revisão
    • Ajuste
    Celular na faixa de cabeça sobre a mesa, ao lado de um caderno

  3. Escala

    Coletores recrutados por setor, com treino, gravando no turno real. Centenas de horas por mês.

    • Recrutamento
    • Treino
    • Turno real
    Várias mãos de coletores em cozinhas e oficinas, em mosaico

  4. Revisão

    Cada minuto passa por checagem automática e humana antes de contar. Rosto e dado pessoal saem antes da entrega.

    • Luz
    • Mãos no quadro
    • Sensores
    • Privacidade
    Tela de revisão com um clipe e as marcações de checagem

  5. Entrega

    Clipes em JSON, LeRobot ou MCAP, no seu bucket ou no nosso. Licença escrita, por clipe, com o consentimento anexado.

    • JSON
    • LeRobot
    • MCAP
    • Bucket
    Pastas de um dataset abertas numa tela, com vídeo, pose e anotações lado a lado

Infraestrutura completa

Do celular de quem grava ao bucket do seu lab, o clipe anda por uma linha só, toda nossa: captura, enriquecimento, revisão e entrega. Infraestrutura completa, pronta para escalar em qualquer lugar do mundo.

  1. App web de quem grava

    No navegador

    Quem grava escolhe a atividade, garante a vaga e acompanha entregas e ganhos.

    Atividade aceita

  2. App de captura

    iOS e Android

    Grava 1080p30 em H.264 com IMU sincronizado e metadados do aparelho. Guia a tarefa por etapas e avisa ao vivo quando as mãos saem do quadro ou falta luz.

    Vídeo + IMU

  3. Servidor de enriquecimento

    Pipeline de processamento

    Acrescenta as camadas ao clipe bruto: pose das mãos, pose 6-DoF da câmera, profundidade, etapas e nota de qualidade. A etapa de privacidade borra rostos, placas e dados pessoais em texto.

    + pose, profundidade, etapas

  4. Backoffice de QA e operação

    Equipe EgoHands

    A nossa equipe revisa cada entrega antes do envio e decide os casos de privacidade em dúvida.

    Revisado por uma pessoa

  5. Portal do parceiro

    partnerdata.egohands.com

    O lab faz pedidos, acompanha o progresso por lote e recebe as entregas em LeRobot, MCAP ou JSON.

    Entregue ao lab

Uma pessoa revisa cada entrega antes do envio.

Pedir amostra

Diário de campo

Faixa de cabeça com celular, vista de lado, sobre uma bancada Quadro de um clipe com as mãos saindo do enquadramento Rosto de uma pessoa ao fundo, borrado, atrás de mãos trabalhando Três pastas de formato de dado lado a lado numa tela

  1. Método · · 4 min

    Por que gravamos em primeira pessoa, e não com tripé

    O robô não vai ter uma câmera no canto da sala. Ele vai ter a visão de quem faz a tarefa.

  2. Qualidade · · 5 min

    O que a revisão recusa, e por quê

    Luz, mãos fora do quadro, sensor faltando. Seis motivos fixos, sempre explicados a quem gravou.

  3. Privacidade · · 3 min

    Como protegemos quem aparece sem querer

    Rosto borrado antes da entrega, aviso no local e o direito de retirar um clipe a qualquer hora.

  4. Formato · · 6 min

    JSON, LeRobot ou MCAP: qual pedir

    Os três saem do mesmo clipe. A diferença está no que o seu pipeline já lê.

Perguntas

Quanto custa um dataset?

Depende do setor, do volume de horas e de ser exclusivo ou não. Mandamos a proposta depois do briefing, com a amostra junto.

Como começa um projeto?

Com um briefing de uma hora e um piloto de algumas horas gravadas no seu formato. Você testa no seu pipeline antes de assinar qualquer coisa maior.

Em que formato chega?

JSON, LeRobot ou MCAP, no seu bucket ou no nosso. Os três saem do mesmo clipe, com vídeo, mãos, movimento e etapas no mesmo relógio. A profundidade entra nos clipes gravados com LiDAR.

Quem aparece no vídeo autorizou?

Quem grava assina um termo no app, por campanha, e pode retirar o consentimento a qualquer hora. Rostos de terceiros são borrados antes da entrega e há aviso no local de gravação.

Onde vocês operam?

No mundo todo. Os coletores gravam onde o trabalho acontece e a entrega é remota, no seu bucket ou no nosso.

Vamos falar

Diga a tarefa que o seu robô precisa aprender. Uma pessoa lê cada mensagem e responde em dois dias úteis.

partner@egohands.com
EgoHands
Um produto da Codemart LLC
30 N Gould St # 39741
Sheridan, WY 82801, USA
Operação
Coletores onde o trabalho acontece
Entrega remota, no mundo todo