Experiencia en nuestro proyecto de I+D: desarrollo de una IA para la validación automática de documentos y justificantes solicitados
Imagínese esta situación: sus clientes deben enviar justificantes para acceder a un servicio adicional. Facturas, certificados, acreditaciones... Estos documentos llegan en todos los formatos posibles, PDF escaneados, fotos tomadas con el móvil, capturas de pantalla, y contienen información clave que verificar: nombre del solicitante, fecha, empresa, sello, firma, códigos de producto. El reto: automatizar esta validación, que consumía un tiempo considerable de sus equipos, manteniendo un nivel de fiabilidad impecable. El problema: nuestro primer intento de automatización con IA no dio los resultados esperados. En lugar de rendirnos, lanzamos un proyecto de I+D metódico para entender por qué y cómo mejorar nuestro enfoque.
Antes de medir el rendimiento de nuestra IA, necesitábamos establecer qué era una "respuesta correcta". Este es el principio de la ground truth o "verdad sobre el terreno". En la práctica: un experto humano analizó manualmente una treintena de documentos representativos, documentando meticulosamente para cada uno: ✅ ¿Nombre del solicitante presente? ¿Ausente? ✅ ¿Fecha del documento visible? ¿Ilegible? ✅ ¿Empresa mencionada? ¿Falta? ✅ ¿Sello oficial presente? ¿Ausente? ✅ ¿Firma identificable? ¿No detectada? ✅ ¿Código de producto correcto? ¿Erroneo? Esta etapa puede parecer tediosa, pero es absolutamente crítica. Sin esta referencia fiable, ¡es imposible saber si nuestra IA avanza o retrocede!
En lugar de apostar por una única solución, desarrollamos dos pipelines de análisis distintos, cada uno capaz de combinar varios modelos de IA especializados. Cada pipeline se probó manualmente con nuestros documentos de referencia, ajustando diferentes parámetros y combinaciones de modelos para identificar las configuraciones más prometedoras.
Una vez configurados nuestros pipelines, los ejecutamos sobre el conjunto de nuestros 30 documentos de referencia. Todos los resultados se almacenaron automáticamente en la base de datos para su análisis comparativo.
Llega el momento de la verdad: contrastar las predicciones de nuestras IA con la ground truth establecida por el experto humano. Para cada documento y cada información buscada, ahora sabemos si nuestro sistema acertó o se equivocó.
Para evaluar nuestros resultados de forma objetiva, utilizamos cuatro indicadores clásicos en inteligencia artificial. Esto es lo que significan en la práctica:
"De 100 verificaciones, ¿cuántas son correctas?". Si nuestra IA examina 100 elementos y identifica correctamente 85, la exactitud es del 85 %. Es el indicador más intuitivo, pero no siempre el más relevante.
"Cuando la IA dice 'presente', ¿con qué frecuencia tiene razón?". Si la IA detecta 20 sellos y 18 están efectivamente presentes, la precisión es del 90 %. Este indicador mide la fiabilidad de las detecciones positivas.
"De todos los elementos realmente presentes, ¿cuántos ha encontrado la IA?". Si 25 documentos contienen efectivamente un sello y la IA detecta 20, la recuperación es del 80 %. Este indicador mide la capacidad de no pasar por alto nada importante.
"¿Cuál es el equilibrio global entre precisión y recuperación?". El F1-score combina precisión y recuperación en una sola métrica. Cuanto más cerca esté del 100 %, mejor. Suele ser el indicador de referencia para comparar diferentes enfoques.
Calculamos estos indicadores desde dos perspectivas:
¿Qué pipeline obtiene los mejores resultados generales? ¿Pipeline A o Pipeline B?
Para cada elemento buscado (nombre, fecha, sello, etc.), ¿qué pipeline es más fiable? ¿Cuáles son nuestros puntos débiles a vigilar? Este doble análisis nos permitió elegir la mejor configuración e identificar las áreas que requerían especial atención en producción.
Gracias a este enfoque metódico, logramos construir y validar un pipeline lo suficientemente robusto como para implementarlo en producción. Nuestro sistema automatiza ahora la primera fase de validación de justificantes, con un nivel de conformidad que nos permite gestionar la mayoría de los casos de forma autónoma. No obstante, mantenemos una supervisión estrecha sobre uno o dos aspectos específicos identificados durante nuestro análisis, garantizando así una calidad de servicio óptima. ¿El beneficio? Un procesamiento más rápido para sus clientes, menos tareas repetitivas para sus equipos y una fiabilidad avalada científicamente.
Este enfoque metódico, desde el análisis del problema hasta la validación en producción, ilustra nuestra forma de concebir la inteligencia artificial al servicio de su relación con el cliente. ¿Tiene una idea? ¿Un proyecto? ¡Háblenos! En fAibrik, transformamos sus desafíos técnicos en soluciones concretas, con el rigor de un método científico y la simplicidad de un servicio que funciona.
