Puesta a tierra de DINO 1.5: un salto en rendimiento y eficiencia (Mayo)
El equipo lanzó Puesta a tierra DINO 1.5 en dos ediciones:

Profesional (máxima precisión) : Escaló el modelo y lo entrenó con más de 20 million Estableciendo puntos de referencia en la detección, alcanzó el estado del arte en la detección de vocabulario abierto. Fijó nuevos récords en modalidad cero‑shot en COCO, LVIS, entre otros, demostrando una sólida capacidad para reconocer objetos no vistos.

Borde (en el dispositivo, en tiempo real) : Revolucionó el despliegue en el borde, ejecutándose en NVIDIA Orin NX a 10 FPS, un habilitador clave para la IA incorporada, la conducción autónoma y otros escenarios sensibles a la latencia.

Grounding DINO fue aceptado como artículo destacado en ECCV 2024
El artículo original “Grounding DINO: Combinar DINO con el preentrenamiento Grounded para la detección de objetos en entornos abiertos” fue reconocido como uno de los mejores artículos en ECCV 2024 , recibiendo un alto reconocimiento académico.

De DINO a DINO‑X: un modelo unificado para “reconocer todo” (Noviembre)
Construyendo sobre el Puesta a tierra DINO 1.5 arquitectura, el equipo publicó DINO‑X – un modelo unificado que avanza hacia el “reconocimiento de todo”. Introduce un “prompt de objeto universal” que permite a los usuarios detectar casi cualquier objeto en una imagen sin necesidad de ningún tipo de indicación, destacándose especialmente en objetos poco frecuentes y de cola larga. Para hacerlo posible, el equipo desarrolló el… Puesta a tierra‑100M conjunto de datos con más de 100 million Muestras de alta calidad.

Despliegue primero: expansión rápida del ecosistema

Gracias a estos avances, Puesta a tierra DINO Se difundió rápidamente por diversas industrias en 2024:

Compañeros de IA y electrónica de consumo : El robot compañero "AI Nailong", impulsado por Puesta a tierra DINO , puede interactuar con niños en contextos de cuidado infantil en el hogar, lo que demuestra su potencial de comercialización.

Agricultura inteligente : Los investigadores combinaron Puesta a tierra DINO con el modelo de segmentación SAM para lograr una anotación automática eficiente en cero disparos en la detección de racimos de uva, reduciendo significativamente los costos de preparación de datos.

Conducción autónoma y seguridad : El desplegable en el borde Puesta a tierra DINO 1.5 Edge muestra un gran potencial para la detección de objetos en tiempo real alrededor de los vehículos y para el análisis en vivo de las transmisiones de videovigilancia.

Comercio electrónico y moderación de contenido : La sólida comprensión semántica multimodal del modelo Pro puede emplearse para el etiquetado automático de imágenes de productos y la moderación de imágenes en redes sociales, mejorando los sistemas de búsqueda y recomendación.

En qué se están centrando los investigadores: nuevas orientaciones para las variantes de CLIP

Mientras que Puesta a tierra DINO y sus derivados destacan en localización de objetos en imágenes , los investigadores también están trabajando en proporcionar CLIP ‑modelos similares con capacidades precisas de “fundamentación visual”:

Inyectando localización en CLIP : Clásico CLIP es excelente en la correspondencia global, pero débil en la comprensión de las relaciones entre objetos. Enfoques como Conexión a tierra de CLIP ,  PuntoDeLaRegión , y Q‑GroundCAM Mejorar la precisión de localización de CLIP a nivel de píxel, de región y de cuantización.

Evolución continua de GLIP : Como una vía técnica paralela a Puesta a tierra DINO ,  GLIP (Preentrenamiento basado en la correspondencia entre lenguaje e imagen) sigue evolucionando. Una variante, CT‑GLIP , incluso se ha aplicado a imágenes médicas de TC en 3D, lo que permite una alineación completamente automática a nivel de órgano y de la región afectada por la enfermedad.

Mirando hacia el futuro: más preciso, más rápido, más general

El progreso de 2024 de Puesta a tierra DINO y Conexión a tierra de CLIP Describe claramente el futuro de la IA en el ámbito de la visión:

Generalización más fuerte Los modelos están avanzando hacia un reconocimiento verdaderamente de “mundo abierto”, capaz de identificar y localizar cualquier objeto no visto, incluso sin indicaciones del usuario.

Inferencia más rápida Los modelos ligeros y el despliegue en el dispositivo son tendencias claras, lo que permite que la IA opere en interacciones del mundo físico con alta exigencia de latencia (robótica, conducción autónoma, drones).

Integración más profunda de la escena : Con modelos como DINO‑X, estamos avanzando hacia fundamentos unificados: un único modelo que aborda simultáneamente la detección, la segmentación, la estimación de la postura, la descripción de objetos y otras tareas de percepción y comprensión, sentando las bases perceptivas para una IA encarnada avanzada y la IA general.