Qué le pasa a un PDF cuando se lo das a una IA
Arrastras un PDF de sesenta páginas, escribes “resúmemelo” y en dos segundos tienes una respuesta impecable. Da la sensación de que lo ha leído.
A veces sí. A veces no ha visto ni una página.
Lo sabemos porque lo hemos medido: montamos un pliego de licitación de prueba y se lo pasamos, uno por uno, a los modelos que decimos usar. Lo que salió no está en la documentación de nadie.
Un PDF no entra como un PDF
Lo primero que conviene entender es que ningún modelo “abre” tu documento como lo abre tu ordenador. Hay dos formas de que le llegue, y no dan el mismo resultado:
Como texto. Alguien —el programa que hay entre tú y el modelo— extrae las letras del PDF y le manda solo eso. Es rápido y barato. El problema es lo que se queda por el camino: un diagrama de arquitectura, una tabla en imagen, un plano, un organigrama. Todo eso no son letras, así que desaparece. La IA responde con seguridad sobre un documento del que no ha visto la mitad.
Como páginas. El documento se convierte en imágenes, una por página, y el modelo las mira. Ve los diagramas, las tablas y la maquetación. Es fiel, y es bastante más caro.
Casi nunca te dicen cuál de las dos te están aplicando. Y determina qué es capaz de responderte.
El límite del que nadie avisa
Aquí está el hallazgo que más nos sorprendió. Cuando el documento va como páginas, cada página cuenta como una imagen — y los proveedores tienen un tope de imágenes por consulta.
En el caso de OpenAI ese tope son 50. Con dos pliegos que sumaban 51 páginas, la respuesta fue literal:
Too many images in request: 51, maximum allowed: 50.
Ni un aviso amable, ni “he leído las primeras 50”: la petición entera se rechaza. Una página de más y no hay respuesta.
Otros modelos tienen topes distintos, y sobre todo no publican cuáles son. Uno que leía sin problema un documento de veintisiete páginas devolvió un escueto “no se pudo convertir la petición” con los pliegos de verdad. Ninguno de esos límites aparece en su ficha técnica.
Lo peor: el que contesta sin leer
Los errores anteriores son molestos pero honestos: te dicen que no han podido. Hay algo peor.
Le dimos el mismo PDF a varios modelos con una pregunta cuya respuesta estaba en la primera página: ¿cuál es el objeto del contrato?
- Unos lo leyeron y contestaron bien.
- Otros rechazaron el archivo con un error claro.
- Y dos aceptaron la petición, ignoraron el documento y respondieron igualmente, con una redacción impecable sobre “la prestación de servicios” que se habían inventado entera.
Sin error. Sin aviso. Una respuesta con el tono de quien lo ha leído todo.
Si esa respuesta te llega sola, no tienes forma de distinguirla de una buena. Suena igual.
Cómo comprobarlo tú, en diez segundos
No hace falta nada técnico. Antes de fiarte de un resumen, pregunta por un detalle que solo esté en el documento y que puedas verificar de un vistazo:
- “¿Qué dice exactamente el punto 4.2?”
- “¿Qué cifra aparece en la tabla de la página 12?”
- “¿Cuántos apartados tiene el capítulo 3?”
Si acierta, lo ha leído. Si te contesta con generalidades —“el punto 4.2 desarrolla los requisitos técnicos del servicio”— no lo ha visto: te está describiendo lo que suele haber en un documento así.
Y una segunda comprobación, si el documento lleva imágenes: pregúntale por el diagrama. “¿Qué se ve en el esquema de la página 8?” Si le llegó solo el texto, ahí se cae.
Qué hacemos nosotros con esto
The Judge convoca a varias IAs para la misma consulta, así que este problema nos aparece multiplicado por el número de vocales. Estas son las tres reglas que hemos acabado aplicando, y las contamos porque cualquiera puede aplicarlas por su cuenta:
El documento viaja entero, con sus imágenes. Probamos a extraer solo el texto: era mucho más barato y abría el jurado a más modelos. Lo revertimos. Un pliego lleva diagramas y tablas en imagen, y eso es documentación que hay que analizar — un jurado que no la ve está juzgando otro documento.
No se convoca a quien va a rechazarlo. Si el documento tiene más páginas de las que un modelo admite, ese modelo no entra en el jurado. Mejor no llamarlo que llamarlo para que falle y dejarte con un vocal menos.
La lista de quién puede leer un archivo se hace probando, no leyendo fichas. Que un modelo declare que acepta documentos no significa que los acepte, y que una llamada no dé error no significa que los haya leído. La única prueba válida es preguntarle por el contenido y comprobar que acierta.
Lo que te llevas
Cuando le das un documento importante a una IA —un contrato, unos pliegos, un informe— y te responde rápido y bien, hay tres posibilidades: que lo haya leído entero, que haya leído solo las letras y se haya perdido los gráficos, o que no lo haya abierto y te esté contando lo que suele poner en documentos así.
Las tres suenan exactamente igual. La diferencia la marca una pregunta de control de diez segundos.
Y si la decisión que hay detrás del documento es cara, esa comprobación no es opcional.