Property Finder descubrió que el 96,8 % de las etiquetas usadas para comparar modelos de visión procedían directamente de las predicciones de su sistema anterior. El supuesto patrón de verdad premiaba al modelo que lo había escrito: cualquier alternativa parecía peor cuando se alejaba de sus aciertos, pero también de sus errores. El caso, publicado por el equipo de la empresa junto a AWS, muestra un fallo más básico que escoger un mal modelo: medir con una respuesta circular.
La aplicación revisa decenas de miles de imágenes inmobiliarias al día en Oriente Medio y el norte de África. Evalúa once atributos, entre ellos marcas de agua, tipo de estancia, mobiliario, rotación y calidad. En las etiquetas heredadas había textos alucinados marcados como correctos y fotografías con varias habitaciones forzadas a una sola clase.
La reparación empezó antes del prompt
Un especialista de estrategia y analítica anotó desde cero 356 imágenes de Emiratos Árabes Unidos sin ver las salidas del modelo previo. Las primeras 256 se usaron para desarrollar y ajustar; otras 100 se añadieron después para la comparación final. Un segundo conjunto de 230 imágenes de Egipto sirvió como comprobación regional, pero sus resultados no se publican en el artículo. Ese matiz importa: no debe sumarse al conjunto de 356 ni presentarse como una réplica independiente.
El equipo pasó además de una sola etiqueta a clasificación múltiple cuando una foto contenía, por ejemplo, un pasillo y parte de un dormitorio. Midió Micro F1 para el comportamiento global, Macro F1 para que las clases raras no desaparecieran en el promedio, precisión y exhaustividad por etiqueta, intersección sobre unión por imagen y coincidencia exacta en nueve atributos de una sola respuesta.
El modelo elegido no ganó todas las casillas
Tras 27 versiones del prompt, Property Finder eligió Llama 4 Maverick 17B Instruct. En el conjunto de 356 imágenes alcanzó al menos un 90 % de coincidencia exacta en seis de nueve atributos de respuesta única y, según los autores, igualó o superó al modelo propietario A en los once atributos. La extracción de texto de marcas de agua quedó en un 55 % y la estimación del tamaño de habitación en un 65 %: dos recordatorios de que una media favorable no convierte todos los campos en fiables.
| Elemento | Dato publicado | Límite |
|---|---|---|
| Etiquetas heredadas | 96,8 % del modelo anterior | Explica el sesgo, no la precisión real |
| Conjunto final EAU | 356 imágenes | Clases raras tienen pocas muestras |
| Coste estimado | 2,35 USD por 1.000 imágenes | Precios de diciembre de 2025 en Ohio |
| Reducción declarada | 86 % | Frente al cálculo previo, no a cualquier alternativa |
La reducción de coste usa 9.000 tokens de entrada y 200 de salida por imagen como estimación superior; el prompt de producción ronda 7.500–8.000 tokens. La latencia cayó entre un 40 % y un 60 % en la monitorización interna. Son resultados operativos de Property Finder y AWS, no una prueba independiente ni una garantía para otro catálogo.
Qué copiar sin copiar el modelo
La lección reutilizable es el orden: auditar de dónde salieron las etiquetas, rehacer una muestra representativa sin enseñar las respuestas anteriores, reservar casos que nunca entren en el ajuste y elegir métricas que correspondan al negocio. Solo después tiene sentido comparar modelos y optimizar prompts. Si el patrón de verdad procede del mismo sistema evaluado, un ranking muy estable puede estar midiendo fidelidad al error.
Transparencia: artículo elaborado con asistencia de IA a partir del caso técnico cofirmado por Property Finder y AWS. Texploto no accedió a las imágenes ni reprodujo la evaluación.
