Cohere for AI libera modelos de visión AYA de código abierto para tareas basadas en la visión por computadora

Cohere for AI, la división de investigación abierta de la firma, lanzó los nuevos modelos de visión de última generación (SOTA) el martes. Dobado Aya Imaginative and prescient, los modelos de inteligencia synthetic (AI) están disponibles en dos tamaños de parámetros. Los últimos modelos fronterizos de la compañía abordan el rendimiento inconsistente de los modelos de idiomas grandes existentes (LLM) en diferentes idiomas, especialmente para tareas multimodales. Los modelos AYA Imaginative and prescient pueden generar salidas en 23 idiomas y pueden realizar tareas basadas en texto y basadas en imágenes. Sin embargo, no puede generar imágenes. Cohere ha puesto a disposición los modelos AI en repositorios de código abierto, así como a través de WhatsApp.

Cohere se libera modelos AYA Imaginative and prescient AI

En blogla empresa de IA detalló los nuevos modelos de visión. AYA Imaginative and prescient está disponible en tamaños de parámetros 8B y 32B. Estos modelos pueden generar texto, traducir texto e imágenes a través de 23 idiomas, analizar imágenes y consultas de respuesta sobre ellos, así como imágenes de subtítulos. Se puede acceder a ambos modelos a través de la cara abrazada de Cohere página y en Kaggle.

Además, los usuarios generales pueden probar los modelos de Cohere a través de un chat dedicado de WhatsApp cuenta se puede acceder aquí. La compañía cube que los modelos AYA Imaginative and prescient son útiles para los casos en que las personas se encuentran con imágenes o obras de arte sobre las que les gustaría aprender más.

Basado en las pruebas internas de la compañía, el modelo AYA Imaginative and prescient 8B supera a QWEN2.5-VL 7B, Gemini Flash 1.5 8B y Modelos LLAMA 3.2 11B Imaginative and prescient en los puntos de vista AyavisionBench y M-WildVision. En specific, Cohere también desarrolló el punto de referencia AyavisionBench, y sus detalles se han compartido en el dominio público.

Al llegar al modelo AYA Imaginative and prescient 32B, la compañía afirmó que superó a LLAMA 3.2 90B Imaginative and prescient y los modelos QWEN2-VL 72B en los mismos puntos de referencia.

Para lograr el rendimiento fronterizo, Cohere afirmó que se desarrollaron varias innovaciones algorítmicas. Los modelos de visión AYA fueron alimentados con anotaciones sintéticas, los desarrolladores ampliaron los datos multilingües a través de la traducción y la reformulación, y se fusionaron múltiples modelos multimodales en pasos separados. Los desarrolladores observaron que en cada paso, el rendimiento mejoró significativamente.

En specific, los desarrolladores pueden acceder a los pesos abiertos de los modelos AYA Imaginative and prescient de Kaggle y abrazando la cara, sin embargo, estos modelos están disponibles con una licencia Inventive Commons Attribution Non Business 4.0. Permite el uso académico y basado en la investigación, pero prohíbe los casos de uso comercial.