Saltearse al contenido
ARGUS User Manual

Fusión de sensores

La fusión de sensores son tres capas de visualización centradas en el dron que ingieren la telemetría en vivo de la aeronave seleccionada y la pintan directamente sobre la escena Cesium 3D. Usas la fusión de sensores para responder: ¿ha visto el dron realmente este trozo de suelo? / ¿dónde hemos obtenido más detecciones? / ¿qué proyecta la imagen térmica sobre el terreno?

La fusión de sensores es solo Cesium. Es distinta de Panoptic — Panoptic son feeds externos (ADS-B, terremotos, CCTV); la fusión de sensores son los datos de sensor de nuestro propio dron.

Las tres capas

Abre la barra lateral Layers → pestaña FUSION. Cada capa es un conmutador independiente:

1. Grilla de cobertura (verde / rojo)

Cuantiza el suelo en celdas de ~22 m × 22 m y colorea cada celda de verde cuando la cámara de la aeronave realmente la ha mirado. A medida que el dron vuela un patrón de grilla, el área cubierta se rellena en tiempo real.

Cuando hay un polígono SAR activo, las celdas no cubiertas dentro del límite SAR se tiñen adicionalmente de rojo, para que veas instantáneamente las lagunas de cobertura.

  • Las celdas usan una cuantización de 0,0002° (≈22 m) — lo bastante ajustada para rastrear cobertura puntual, lo bastante holgada para mantener la grilla visible al zoom por defecto de Cesium.
  • Las celdas cubiertas se persisten durante la operación; cambiar de dron no borra lo que ya cubrió el dron anterior.
  • Renderizada como superposición canvas sobre el globo mediante una primitiva personalizada de Cesium.

2. Heatmap de densidad de detecciones

Cada objeto detectado por IA (de YOLO o DJI SEI) tiene su bounding box en espacio de pantalla proyectada a través de la huella de cámara en vivo hasta coordenadas de suelo mediante interpolación bilineal. El punto de suelo resultante se estampa en una celda de grilla idéntica a la grilla de cobertura pero acumulando conteo.

Renderizada como un heatmap de scatter-plot (azul → amarillo → rojo a medida que crece el conteo). Ideal para:

  • Ver rápidamente dónde ha estado acumulando aciertos el dron.
  • Identificar puntos calientes durante SAR — los clusters de sellos PERSON_DETECTED apuntan a dónde podría estar una persona desaparecida.
  • Analítica post-misión — cuánto del esfuerzo de búsqueda realmente produjo detecciones.

3. Mosaico térmico

Solo disponible cuando el dron está en modo FLIR. A medida que la huella de la cámara térmica pinta el suelo, las celdas de cobertura se renderizan con una rampa térmica de negro → naranja → blanco basada en los valores de píxel térmico. Efectivamente un mosaico en vivo de la imagen térmica del área drapeada sobre el terreno.

Apaga el térmico en el dron y esta capa vuelve a verde plano para las celdas de cobertura.

Iniciar / detener

Los conmutadores están en la pestaña FUSION. Independientes — puedes tener cobertura activada sin heatmap, o viceversa. Por defecto al inicio de una operación: los tres desactivados.

Cuando una capa se activa:

  • El gestor empieza a escuchar el FlightStatus + stream de detecciones del dron seleccionado.
  • La superposición canvas se inicializa y registra un callback de renderizado por frame.

Cuando se desactiva:

  • La superposición se desmonta.
  • Los datos recopilados permanecen en memoria — vuelve a activar y mantienes tu historial.

Interacción con la selección de dron

La fusión de sensores sigue al dron seleccionado. Cuando seleccionas otro dron en el tile de flota:

  • La grilla de cobertura mantiene los datos recopilados por el dron anterior (la cobertura es acumulativa durante la operación).
  • El heatmap mantiene sus puntos.
  • El mosaico térmico se limpia — el nuevo dron puede no ser térmico, y la rampa horneada del dron antiguo no tiene sentido para el nuevo.

Modo de simulación

Con el modo debug activado en el panel de ajustes, puedes iniciar un simulador de fusión de sensores:

  • Genera celdas de cobertura sintéticas a lo largo de una ruta de vuelo guionada.
  • Produce detecciones falsas para ejercitar el heatmap.
  • Se auto-detiene cuando apagas el modo debug.

Usado para entrenamiento y para demostrar la fusión de sensores sin un dron en vivo.

Qué NO es la fusión de sensores

  • No es fusión AIS / ADS-B / radar. La fusión de sensores externos es algo separado y vive en Panoptic (ADS-B solo en la build actual — AIS + radar están planificados).
  • No es una grabación. La fusión de sensores está en vivo; cerrar el tile de mapa o cambiar de misión descarta el estado del canvas en memoria (aunque los registros subyacentes de detecciones en Firestore permanecen en la misión).
  • No es un reemplazo del vídeo. El mosaico térmico es una proyección; tiene artefactos donde la estimación de la huella de cámara está desviada. Para tomar decisiones, quédate en el stream del dron en vivo.

Notas de rendimiento

  • Cobertura + heatmap juntos añaden ~1 ms por frame en una GPU de portátil moderno — insignificante.
  • El mosaico térmico es más costoso — en hardware con limitaciones de GPU, puede que quieras desactivarlo durante pasadas de alto movimiento.
  • Las superposiciones canvas se cullean automáticamente cuando la cámara se aleja del área de datos.

Relacionado