Informe GSOC 2025: AprilTag, FAST y ORB

Este proyecto incorpora tres módulos de detección y extracción de características al ecosistema kornia-rs: un detector completo de AprilTag, un detector de esquinas FAST y un detector ORB. Las implementaciones están optimizadas para CPU, son modulares, están bien documentadas e incluyen ejemplos, pruebas y benchmarks. Además, aportamos una visión práctica de cómo estas piezas encajan en pipelines de visión por computadora reales y cómo se integran en soluciones de software a medida e inteligencia artificial orientadas a producción.

Objetivos

- Implementar el pipeline de detección y decodificación de AprilTag con configuración flexible y soporte multi family. - Implementar la versión más reciente y completa del detector de esquinas FAST. - Implementar el detector ORB, incluyendo extracción de descriptores y emparejamiento. - Proveer ejemplos, pruebas y benchmarks, comparando con bibliotecas comunes cuando es posible.

Detectores AprilTag

Un AprilTag es un marcador fiducial plano de forma cuadrada que codifica un pequeño código binario dentro de un borde blanco y negro. Una vez detectado y decodificado en una imagen, permite calcular la pose de la cámara respecto al tag si se conoce el tamaño físico del tag y las intrínsecas de la cámara. Son ampliamente usados para calibración de cámaras, localización de robots, marcadores AR y tareas donde es útil un anclaje 2D a 3D.

Por qué AprilTags son útiles

- Detección robusta bajo múltiples ángulos y condiciones de iluminación. - Proveen restricciones geométricas directas para estimación de pose. - Carga útil pequeña, fáciles de imprimir y desplegar.

Durante la primera mitad del periodo de desarrollo, se creó el crate kornia-apriltag centrado en la detección de AprilTag. El pipeline de decodificación se descompone en pasos claros: 1 Adaptative Threshold 2 Connected Components o Union Find 3 Clusters de gradiente 4 Ajuste de quads 5 Decodificación del tag. La API es sencilla de usar y altamente personalizable, permitiendo elegir familias de tags, configurar parámetros por familia y sustituir o ajustar cada etapa del pipeline. Un ejemplo completo se encuentra en examples apriltag del repositorio oficial.

PRs destacados AprilTag: 380 384 406 410 419 420 429 433 435 436 438 440 444 458. Issues: 408 450.

Recursos AprilTag

- Repositorio AprilRobotics apriltag - aprilgrid-rs - Olson 2011 - Wang 2016 - Krogius 2019

Detectores ORB

ORB Oriented FAST and Rotated BRIEF es un algoritmo de detección y descripción de características optimizado para velocidad y robustez. Combina FAST para la detección de puntos clave, asignación de orientación y descriptores binarios tipo BRIEF con consciencia de rotación. Se usa ampliamente en emparejamiento de características, odometría visual y como entrada para pipelines SLAM. La implementación en kornia-imgproc soporta un flujo claro de detectar, extraer descriptores y emparejar con funciones de conveniencia, además de integración con visualización en ejemplos.

El emparejamiento de descriptores se simplifica con utilidades que aceptan descriptores binarios, ofrecen opción de mutual check y devuelven índices emparejados listos para trazar o filtrar por geometría.

PR ORB: 457. Recursos: scikit image OpenCV Rublee et al 2011.

Detector de esquinas FAST

FAST Features from Accelerated Segment Test es un detector de esquinas de alta velocidad. Para cada píxel candidato, se comparan intensidades a lo largo de un círculo alrededor del centro. Si un arco contiguo es consistentemente más brillante o más oscuro que el centro por encima de un umbral, se clasifica como esquina. Durante el desarrollo de ORB se añadió una implementación completa y moderna de FAST en kornia-imgproc, incluyendo cálculo de respuesta, filtrado por distancia mínima y extracción de keypoints. Existe un ejemplo completo en examples fast detector.

PR FAST: 460. Recursos: scikit image Publicación original.

Línea temporal resumida

- Junio a julio AprilTag pipeline completo con thresholding adaptativo, componentes conectados, clustering de gradientes, ajuste de quads, decodificación y soporte multi family, además de ejemplos y benchmarks. - Agosto ORB detector con extracción de descriptores y matching, y nueva versión de FAST. - Tareas auxiliares actualización de dependencias, documentación y mejoras de rendimiento. Consulta los PRs clave en los enlaces anteriores para el detalle.

Retos afrontados

- Coincidencia con exámenes del primer tramo del periodo, resuelta reorganizando prioridades e incrementando progresivamente el foco en AprilTags. - Profundización en algoritmos de visión de bajo nivel, lectura de papers y revisión de implementaciones existentes para garantizar exactitud y rendimiento.

Aprendizajes

Trabajo en equipo con sincronizaciones semanales, diseño modular de pipelines de visión y prácticas sólidas de pruebas y benchmarking. La combinación de investigación aplicada y construcción de APIs usables fue clave para llevar estos detectores a un entorno de producción.

Cómo lo llevamos a producción en Q2BSTUDIO

En Q2BSTUDIO, empresa de desarrollo de software, aplicaciones a medida y especialistas en inteligencia artificial, integramos detectores como AprilTag, FAST y ORB en soluciones reales de software a medida, visión por computadora e ia para empresas. Diseñamos pipelines robustos, desplegables en edge o en la nube, y los combinamos con analítica avanzada e inteligencia de negocio. Si buscas impulsar un producto con visión por computadora y modelos de agentes IA, podemos ayudarte a convertirlo en un roadmap viable de desarrollo, pruebas y operación continua.

Descubre cómo aceleramos proyectos de inteligencia artificial y visión con arquitecturas escalables en la nube visitando nuestros servicios de inteligencia artificial, y si necesitas crear plataformas de análisis, cuadros de mando o reporting avanzado, exploramos datos con power bi dentro de nuestros servicios de inteligencia de negocio.

Posicionamiento y tecnología

Implementamos soluciones de aplicaciones a medida y software a medida que combinan visión por computadora, servicios cloud aws y azure, ciberseguridad y pentesting, y automatización de procesos. Trabajamos con pipelines MLOps, monitorización y observabilidad para que los modelos y detectores escalen de forma segura y eficiente.

Notas finales

La integración cuidada de AprilTag, FAST y ORB en kornia-rs confirma que la visión clásica sigue siendo esencial en productos con inteligencia artificial. Desde prototipos hasta producción, la clave está en el diseño modular, la documentación clara y la medición objetiva con benchmarks, todo alineado con objetivos de negocio y seguridad desde el primer día.