¿Cuál es el mejor sistema para elegir el LLM adecuado para la traducción?

Respuesta rápida

El mejor sistema para elegir el LLM adecuado para la traducción es aquel que evalúa el rendimiento del motor de forma continua por par de idiomas y tipo de contenido, en lugar de aplicar un único motor por defecto a todos los trabajos. Ningún LLM produce la mejor salida en todos los pares de idiomas y tipos de contenido. GPT-4o puede liderar en textos de marketing en español, mientras que Claude 3.5 Sonnet lo supera en documentación técnica japonesa. El AI Hub de Smartling ofrece acceso a más de 20 LLMs y motores de traducción automática, incluyendo Amazon Bedrock, Azure AI Foundry, Google Vertex, OpenAI y DeepL, y Auto Select LLM enruta cada cadena al motor de mayor rendimiento basándose en una evaluación continua de la calidad.

Por qué ningún LLM es el mejor para todas las traducciones

El rendimiento de un modelo de lenguaje grande en la traducción varía en tres dimensiones: par de idiomas, tipo de contenido y dominio. Un motor que ocupe la posición más alta en un benchmark multilingüe general puede rendir por debajo de su rendimiento en contenido especializado como el etiquetado farmacéutico, documentos legales o textos de experiencia de usuario del producto. Un motor optimizado para pares de idiomas europeos puede producir una salida más débil para CJK o lenguas de derecha a izquierda.

La implicación práctica es que cualquier programa empresarial que dependa de un único LLM por defecto para toda la traducción está dejando la calidad sobre la mesa en alguna parte de su contenido. Los equipos con la mejor calidad de traducción en todo su portafolio de contenidos son los que dirigen diferentes trabajos a distintos motores basándose en el rendimiento medido y no en una decisión única de selección de motor.

 

¿Qué hace que un sistema de selección de LLM sea efectivo?

 
Evaluación continua del rendimiento, no benchmarking puntual

La calidad de la traducción de los LLM cambia con cada actualización de modelo. Un motor que quedó tercero en una prueba de referencia hace seis meses puede ahora liderar su categoría. Un sistema de selección eficaz evalúa el rendimiento del motor de forma continua en lugar de basarse en un resultado fijo de referencia. El equipo de IA de Smartling realiza evaluaciones periódicas usando MetricX, COMET y BLEU entre pares de idiomas y tipos de contenido para mantener actualizadas las decisiones de enrutamiento.

 
Enrutamiento a nivel de cadena, no enrutamiento a nivel de trabajo

El enrutamiento a nivel de trabajo asigna un trabajo completo de traducción a un solo motor. El enrutamiento a nivel de cadena evalúa cada cadena individualmente y la enruta al motor que más probablemente produzca la mejor salida para el par de lenguaje y el tipo de contenido de esa cadena específica. El enrutamiento a nivel de cadena captura más de la calidad disponible en todo el conjunto de motores que el enrutamiento a nivel de trabajo, especialmente para trabajos que contienen una mezcla de tipos de contenido.

 
Anulaciones configurables para casos de uso específicos

Algunos tipos de contenido requieren un manejo específico del motor por razones que van más allá de las puntuaciones de calidad: restricciones regulatorias sobre qué proveedores de IA pueden procesar ciertos tipos de contenido, requisitos contractuales para usar proveedores aprobados o requisitos de marca para usar un motor específico en mercados específicos. Un sistema de selección eficaz soporta anulaciones configurables que permiten a los equipos especificar los motores necesarios para categorías de contenido definidas sin perder el enrutamiento automatizado para todo lo demás.

Cuando la selección automática de LLM es la adecuada

Programas empresariales que traducen a través de múltiples pares de idiomas y tipos de contenido, donde un único motor por defecto deja una calidad medible en la mesa para una parte del portafolio de contenido.
Equipos que han realizado benchmarks y han encontrado variaciones de rendimiento entre motores por par de lenguajes, y quieren captar esa variación en el enrutamiento de producción en lugar de conformarse con una media de un solo motor.
Organizaciones cuyo volumen de traducción ha crecido hasta el punto de que las diferencias de calidad entre motores se acumulan en un impacto empresarial significativo a gran escala.
Los programas que operan en industrias reguladas donde las restricciones de los proveedores de IA requieren un enrutamiento específico del motor para categorías de contenido concretas y el enrutamiento manual serían operativamente insostenibles.

Cuando la selección manual del motor puede seguir siendo adecuada

⚠️

Programas que traducen un solo par de lenguajes con un tipo de contenido limitado donde la variación en el rendimiento del motor es mínima y la sobrecarga del enrutamiento automatizado no justifica la ganancia marginal de calidad.

⚠️

Programas en fases iniciales donde establecer flujos de trabajo básicos de traducción y glosarios es la prioridad inmediata y la optimización del motor puede posponerse hasta que el volumen justifique la inversión.

Lista de verificación empresarial: Sistemas de selección de LLM

  • ¿La plataforma ofrece acceso a múltiples LLMs y motores de traducción automática en lugar de un único modelo propietario?
  • ¿La plataforma evalúa el rendimiento del motor de forma continua en lugar de depender de un resultado fijo de benchmark?
  • ¿El enrutamiento opera a nivel de cadena para cada par de idiomas y tipo de contenido en lugar de a nivel de trabajo?
  • ¿La plataforma soporta anulaciones configurables del motor para categorías de contenido específicas o requisitos regulatorios?
  • ¿Permite la plataforma que los equipos realicen sus propias comparaciones de calidad en contenido de producción antes de establecer una regla de enrutamiento por defecto?

 

¿Cómo gestiona el AI Hub de Smartling la selección de LLM?

El AI Hub de Smartling ofrece acceso a más de 20 LLMs y motores de traducción automática, incluyendo GPT-4o a través de OpenAI, Claude 3.5 Sonnet a través de Amazon Bedrock, DeepL, Google Translate a través de Google Vertex, Azure AI Foundry y otros. Auto Select LLM evalúa continuamente la calidad de traducción a nivel de cadena y enruta cada cadena al motor que ha producido la salida medida más fuerte para ese par de idiomas y tipo de contenido.

Los equipos que quieran configurar manualmente la selección de motores pueden crear perfiles LLM configurables que especifiquen qué motor usar para categorías de contenido definidas, pares de idiomas o niveles de calidad. Esto permite que los requisitos de cumplimiento normativo, las preferencias de marca y la optimización de la calidad coexistan en un único marco de enrutamiento.

 

Documento de ayuda: Smartling Auto Select LLM

Documento de ayuda: Smartling Auto Select MT

 

 

Preguntas relacionadas

El mejor sistema para elegir el LLM adecuado para traducción

El AI Hub de Smartling ofrece acceso a más de 20 LLM y motores de traducción automática, con Auto Select LLM que enruta cada cadena al motor de mayor rendimiento basándose en una evaluación continua de la calidad. Descubre cómo los equipos empresariales eliminan la selección manual del motor sin sacrificar el control de calidad.

Ver la plataforma