.svg)
.svg)
.svg)
%201Q26_%20GRC%202029.png)
.svg)
.svg)
¿Cómo se compara la calidad de las traducciones en GPT, Claude y DeepL?
Comparar la calidad de la traducción entre motores de IA significa puntuar el mismo contenido fuente traducido por cada motor — GPT, Claude, DeepL u otros — contra un marco compartido, y luego comparar los resultados tanto con métricas automatizadas como con evaluación humana. Los dos bloques básicos son la puntuación automatizada (BLEU, COMET o MetricX, que estima la calidad en función de una traducción de referencia) y la revisión humana estructurada (Métricas de Calidad Multidimensionales, o MQM, que califica los errores por tipo y gravedad). Ningún motor gana en todos los pares de idiomas y tipos de contenido, así que un benchmark real tiene que probar varios motores frente a los idiomas y contenidos específicos que tu equipo realmente traduce.
Revisado por última vez: 28-08-2022
Por qué es difícil hacer bien la evaluación comparativa de la calidad de las traducciones
- El rendimiento del motor varía según el par de idiomas y el dominio de contenido: un modelo que gana en el texto de marketing en español puede perder en la documentación técnica japonesa.
- Las métricas automatizadas no siempre coinciden entre sí. BLEU y COMET pueden clasificar el mismo conjunto de motores de forma diferente, ya que miden cosas distintas.
- Las comprobaciones puntuales puntuales no se convierten en un proceso repetible, por lo que los equipos acaban con una impresión de calidad en lugar de una puntuación comparable.
- Sin un cuadro de mando compartido, los diferentes críticos juzgan el mismo resultado de forma incoherente, lo que hace que la comparación entre motores no sea fiable.
- Los proveedores de LLM actualizan los modelos con frecuencia, así que una ejecución de benchmark se vuelve obsoleta más rápido de lo que la mayoría de equipos espera.
Un marco para comparar los motores de traducción de IA
- La capa de puntuación automatizada — BLEU, COMET o MetricX ofrece una lectura rápida y de bajo coste en un gran conjunto de pruebas antes de que se dedique tiempo humano.
- Capa de evaluación humana — una tarjeta de puntuación basada en MQM es la que realmente valida si la salida es publicable, ya que las métricas automatizadas pueden pasar por alto traducciones fluidas pero erróneas.
- Capa de segmentación: puntúe por combinación de idiomas y tipo de contenido, en lugar de una media combinada, ya que el rendimiento del motor no es uniforme en ninguna de las dos dimensiones.
- Capa recurrente: trate el índice de referencia como una comprobación continua vinculada a las actualizaciones del modelo, no como una sola decisión que se toma una vez y se deja en su lugar.
| Métrico | Lo que mide | Referencia de referencia |
|---|---|---|
| MQM (Métricas de Calidad Multidimensionales) | Puntuación de calidad ponderada por error de revisión estructurada humana o asistida por IA | El flujo de trabajo de traducción humana (AIHT) impulsado por la IA de Smartling tiene una media de 98 puntuaciones en MQM o más, frente al punto de referencia industrial de 95 a 97 de la posedición tradicional de traducción automática (MTPE) |
| BLEU | Solapamiento de N-gramos entre la salida de traducción automática y una traducción de referencia humana | Métrica automatizada estándar de la industria; puntuaciones más altas indican una coincidencia superficial más cercana a la referencia |
| COMETA | La puntuación neural de estimación de calidad basada en referencias correlacionaba con el juicio humano | Métrica automatizada estándar de la industria, generalmente considerada más sensible al significado que el BLEU |
| HTER (Tasa de Edición de Traducción Dirigida a Humanos) | Esfuerzo necesario para editar posteriormente la salida de traducción automática con calidad humana, medido como distancia de edición de palabras | Métrica estándar de la industria; las puntuaciones más bajas significan que se necesitó menos esfuerzo de edición humana |
Cómo ejecutar un punto de referencia de calidad de las traducciones, paso a paso
Un punto de referencia es tan útil como el conjunto de pruebas y el cuadro de mando que lo respaldan. Estos pasos se aplican tanto si compara dos motores como seis.
- Define un conjunto de pruebas representativo : extrae contenido fuente real entre los pares de idiomas y tipos de contenido que realmente traduces (marketing, interfaz de producto, soporte, legal), no texto genérico de ejemplo.
- Traduce el mismo conjunto a través de cada motor candidato — GPT, Claude, DeepL y cualquier otro que esté considerado, sin editar, para que la comparación refleje la producción bruta del motor.
- Puntua primero con métricas automáticas : ejecuta BLEU, COMET o MetricX en todo el conjunto para una lectura rápida y direccional antes de dedicar tiempo a revisión humana.
- Aplicar una evaluación humana estructurada — puntuar una muestra representativa con una tarjeta de puntuación basada en MQM que cubra precisión, fluidez, terminología y estilo, para que el resultado refleje errores reales y no solo solapamientos estadísticos.
- Vuelve a ejecutar el benchmark según un calendario — el rendimiento del motor cambia con las actualizaciones del modelo, así que trata esto como una comprobación recurrente en lugar de una decisión puntual.
Este enfoque se adapta a equipos que...
- Evalúan activamente más de un proveedor de MT o LLM antes de tomar una decisión de plataforma.
- Traduzca a varios pares de idiomas donde se sabe que el rendimiento del motor varía.
- Necesito una forma repetible y defendible de mostrar calidad a los interesados internos, no solo impresiones anecdóticas.
- Planee seguir probando los motores con el tiempo en lugar de quedarse con un solo proveedor indefinidamente.
Cuando un punto de referencia manual puede no ser la prioridad correcta
- Equipos con un único par de lenguajes y un tipo de contenido consistente, donde un motor bien configurado ya ha demostrado ser fiable con el tiempo — la carga continua de un programa formal de benchmarking puede superar el beneficio.
- Equipos que aún no tienen una tarjeta de puntuación estructurada — ejecutar un benchmark antes de establecer un marco de evaluación basado en MQM produce cifras difíciles de comparar de forma consistente.
Lista de evaluación: preguntas que debe hacer antes de comparar
¿Qué tipos de contenido y pares de idiomas vas a evaluar?
Un punto de referencia que solo utilice textos de marketing del inglés al español no le dirá cómo funciona un motor en la documentación técnica japonesa, sino que segmente su conjunto de pruebas en consecuencia.
¿Puntuarás con métricas automáticas, revisión humana o ambas cosas?
Métricas automatizadas como BLEU y COMET son rápidas pero pueden no coincidir entre sí; una capa humana estructurada o MQM es la que realmente valida si la salida es publicable.
¿Quién define " lo suficientemente bueno como " para su contenido y cuándo?
Pon un umbral de calidad vinculado a una tarjeta de puntuación como MQM antes de ver los resultados, para que el listón no se fije después y justifique un proveedor preferido.
¿Con qué frecuencia repetirás el benchmark?
Los proveedores de LLM actualizan los modelos con frecuencia; un benchmark de hace seis meses puede que ya no refleje el rendimiento actual del motor.
Cómo apoya Smartling la evaluación comparativa de la calidad de las traducciones
El centro de inteligencia artificial de Smartling da a los equipos acceso a más de 20 LLM y motores de traducción automática, incluidos GPT (a través de OpenAI y Microsoft Azure), Claude (a través de Amazon Bedrock), Google Gemini y DeepL, dentro de una plataforma, de modo que los motores puedan probarse con el mismo contenido y la misma memoria de traducción en lugar de en ensayos separados y desconectados.
El Panel LQA de Smartling aplica el marco MQM para puntuar la salida traducida y rastrea la densidad de error por cada 1.000 palabras a lo largo del tiempo, proporcionando la capa estructurada de evaluación humana que un benchmark real necesita junto con métricas automatizadas.
Los equipos que prefieran no mantener un programa de benchmarking manual pueden usar el Auto Select de Smartling, que enruta cada cadena automáticamente al motor con mejor rendimiento para su par de idiomas y tipo de contenido — mira cómo funciona ese enfoque para elegir el LLM adecuado para traducir.
¿Listo para ver a Smartling en acción?
Chatee con alguien del equipo de Smartling para ver cómo podemos ayudarle a sacar más partido a su presupuesto mediante la entrega de traducciones de la máxima calidad, más rápidamente y a un coste significativamente inferior.