El modelo de IA de código abierto de Meta no deja ningún idioma atrás

Con cada innovación, empresa del metaverso social, Meta, está cada vez más cerca de cumplir su misión de «dar a las personas el poder de construir una comunidad y unir al mundo». Hoy, la compañía anunció un gran avance en la investigación de su proyecto No Language Left Behind (NLLB), diseñado para desarrollar lenguajes de alta calidad. máquina traductora capacidades para la mayoría de los idiomas del mundo.

En palabras del fundador y CEO de Meta, Mark Zuckerburg, “Acabamos de crear un modelo de IA de código abierto que puede traducirse en 200 idiomas diferentes, muchos de los cuales no son compatibles con los sistemas de traducción actuales. Llamamos a este proyecto No Language Left Behind, y las técnicas de modelado de IA que utilizamos están ayudando a realizar traducciones de alta calidad para idiomas hablados por miles de millones de personas en todo el mundo”.

Más idiomas, menos comunicación

con un población digital mundial de más de cinco mil millones de personas que hablan 7.151 idiomas, no es de extrañar que los sistemas de traducción modernos tengan una gran demanda. Sin embargo, la escasez de datos lingüísticos limita el alcance de las tecnologías de traducción que intentan superar las barreras lingüísticas en el consumo de contenido digital. A pesar de la sofisticación de la oferta de traducción automática neuronal multilingüe de Google, Google Translatesus capacidades de traducción están limitadas a 133 idiomas.

Traductor de Microsoft Bing, otra herramienta de traducción de una de las empresas de tecnología más grandes del mundo, funciona en poco más de 100 idiomas. Considerando que más de la mitad de la población mundial habla solo 23 de los 7.151 idiomas del mundo que son muy común en Web, muchos idiomas de bajos recursos (especialmente en África y Asia) no son compatibles con estos sistemas. Esto indica un flujo interactivo atrofiado entre los hablantes de estos idiomas y el contenido que desean consumir.

IA y traducción en la empresa

De las muchas maneras inteligencia synthetic (AI) está redefiniendo la interacción humana y la eficiencia, la traducción es una de las más emocionantes. La traducción automática, la manifestación de la IA en la traducción, es un mercado valorado en $ 800 millones a partir de 2021con un valor proyectado de $ 7.5 mil millones para 2030.

Perspectivas del mercado world Que la creciente necesidad de las empresas de mejorar la experiencia del cliente es un importante impulsor del crecimiento de la industria de la traducción automática. Esto está fundamentado por de Gartner investigación, que revela que la traducción es una preocupación empresarial amplia, especialmente porque se vuelve cada vez más relevante en cuatro casos principales de uso síncrono y asíncrono: multimedia (p. ej., capacitación y seminarios), soporte y ventas al cliente en línea (p. ej., consultas y chatbots), actual -tiempo multimedia (reuniones, and so forth.) y documentos, textos y segmentos (por ejemplo, blogs e información de productos).

Por lo tanto, esa esperanza de impulsar un alcance más world requiere incluso soluciones de traducción que satisfagan las demandas cada vez más complejas de una base de consumidores world. Aquí es donde entra el proyecto de Meta.

Un avance en la traducción automática de alta calidad

El proyecto NLLB, lanzado hace más de seis meses, es el ambicioso intento de Meta de construir un traductor common de idiomas que pueda procesar todos los idiomas, independientemente de los datos lingüísticos disponibles para la IA. Meta ha anunciado hoy un gran avance en este proyecto denominado NLLB-200 — un único modelo de IA que traduce más de 200 idiomas diferentes con resultados de última generación.

Este modelo admite la traducción de alta calidad de idiomas menos utilizados, especialmente de Asia y África. Por ejemplo, el modelo admite la traducción de 55 idiomas africanos de bajos recursos, un aumento del 46 % con respecto a lo que se puede obtener con las herramientas de traducción existentes.

Meta afirma que, para algunos idiomas africanos e indios, este modelo mejora los sistemas de traducción existentes en más del 70 % y también logra un aumento promedio del 44 % en las puntuaciones generales de los estudiantes de evaluación bilingüe (BLEU) en las 10 000 direcciones del punto de referencia FLORES-101 .

Fuente: Meta

Para dar una thought de la escala., Zuckerburg revela que “el modelo de 200 idiomas tiene más de 50 mil millones de parámetros, [trained] usando [Meta’s] nuevo Supercúmulo de investigación (RSC), que es una de las supercomputadoras de IA más rápidas del mundo. Los avances aquí permitirán más de 25 mil millones de traducciones todos los días en nuestras aplicaciones”.

A pesar de este avance, Meta se da cuenta de que lograr los objetivos del proyecto de NLLB será imposible sin una colaboración innovadora. Para permitir que otros investigadores amplíen el alcance del lenguaje y construyan tecnologías más inclusivas, hizo que el modelo NLLB-200 fuera de código abierto y también otorgó subvenciones de hasta $200 000 a organizaciones sin fines de lucro para aplicar el NLLB-200 a sus operaciones.

Las implicaciones de gran alcance de este modelo para las más de 25 mil millones de traducciones en las plataformas de Meta acelerarán mejores colaboraciones y la creación de comunidades que desafían las barreras lingüísticas y geográficas. Según Zuckerburg, «La comunicación entre idiomas es un superpoder que proporciona la IA, pero a medida que avanzamos en nuestro trabajo de IA, está mejorando todo lo que hacemos, desde mostrar el contenido más interesante en Fb e Instagram hasta recomendar anuncios más relevantes y manteniendo nuestros servicios seguros para todos”.

Wikipedia también aprovechará esta tecnología para traducir sus piezas de medios en más de 20 idiomas de bajos recursos.

Para explorar cómo funciona este modelo, inicie el manifestación.