OpenAI ha publicado dos evaluaciones para medir si sus modelos programan en lenguajes con menos datos disponibles y preservan el comportamiento al migrar COBOL. Las mejoras declaradas son muy grandes, pero la consecuencia responsable no es automatizar una modernización: es disponer de un punto de partida más exigente para probarla.
En MultiLangBench, GPT-6 Astra alcanza según OpenAI un 87,4 % medio de pruebas superadas en veinte lenguajes, frente al 26,8 % de GPT-5.6 Sol. En COBOL pasa del 10,9 % al 72,1 %; en Fortran, del 21,4 % al 83,5 %. La empresa ha publicado el montaje y los resultados en GitHub, lo que permite inspeccionar la evaluación, aunque las cifras siguen sin una reproducción independiente publicada.
Construir una base compatible con SQLite no es mantener tu sistema
El benchmark pide crear desde cero un motor compatible con SQLite y usa archivos de base de datos como interfaz común. Es una forma útil de comparar lenguajes: obliga a organizar un proyecto, conservar estado, manejar errores y añadir funciones. Aun así, no contiene décadas de reglas de negocio, trabajos por lotes, formatos heredados ni dependencias de una instalación concreta.
| Resultado anunciado | Qué mide | Qué no demuestra |
|---|---|---|
| 87,4 % medio | Pruebas adaptadas en 20 lenguajes | Corrección completa de una aplicación real |
| 97,9 % en migración COBOL | Paridad byte a byte en casos ocultos | Cobertura de reglas que no están en las pruebas |
| Menor coste API | Consumo estimado por muestra | Coste de inventario, revisión y despliegue |
La prueba COBOL acierta al exigir paridad observable
La segunda evaluación migra programas COBOL a C++, Java, Kotlin, Python o Rust. Solo cuenta como éxito cuando todas las pruebas ocultas producen salidas idénticas byte a byte. Ese criterio captura diferencias peligrosas, como redondear donde el programa original truncaba decimales.
La aportación útil para un equipo no es copiar el porcentaje, sino adoptar el principio: antes de traducir, congelar ejemplos representativos, registros de entrada, reglas de redondeo, errores esperados y resultados de procesos completos. El modelo puede proponer código; la especificación ejecutable debe decidir si conserva el contrato.
Tres filtros antes de tocar producción
- Separar módulos con pruebas suficientes de aquellos cuya única especificación es el código.
- Comparar salidas y efectos laterales con datos históricos desensibilizados, incluidos límites y errores.
- Mantener revisión experta del lenguaje origen y una reversión por etapas.
OpenAI advierte expresamente que una migración de producción necesita revisión experta y pruebas contra reglas y dependencias del sistema. No hemos encontrado una reproducción independiente sustancial de estos dos benchmarks. El nivel de evidencia es, por tanto, documentación y resultados del fabricante; Texploto no ha ejecutado MultiLangBench.
Transparencia: artículo elaborado con asistencia de IA a partir de las fuentes enlazadas. No se han ejecutado los modelos ni los repositorios descritos.
