Relato de experiência sobre o nosso projeto de I&D: desenvolvimento de uma IA para validação automática de documentos e comprovativos solicitados
Imagine esta situação: os seus clientes precisam de enviar comprovativos para usufruírem de um serviço complementar. Faturas, declarações, certificados... Estes documentos chegam em todos os formatos possíveis, PDF digitalizados, fotos tiradas com telemóvel, capturas de ecrã, e contêm informações cruciais para verificar: nome do requerente, data, empresa, carimbo, assinatura, códigos de produto. O desafio? Automatizar esta validação, que consumia um tempo considerável das suas equipas, mantendo um nível de fiabilidade irrepreensível. O problema? A nossa primeira tentativa de automatização com IA não tinha alcançado os resultados esperados. Em vez de desistir, lançámos um projeto de I&D metódico para perceber porquê e como melhorar a nossa abordagem.
Antes de podermos medir o desempenho da nossa IA, precisávamos de estabelecer o que é uma "boa resposta". É este o princípio da _ground truth_, ou "verdade do terreno". Na prática: um especialista humano analisou manualmente cerca de trinta documentos representativos, documentando meticulosamente, para cada um deles: ✅ Nome do requerente presente? Ausente? ✅ Data do documento visível? Ilegível? ✅ Empresa mencionada? Em falta? ✅ Carimbo oficial presente? Ausente? ✅ Assinatura identificável? Não detetada? ✅ Código de produto correto? Errado? Esta etapa pode parecer morosa, mas é absolutamente crítica. Sem esta referência fiável, é impossível saber se a nossa IA está a evoluir ou a regredir!
Em vez de apostar numa única solução, desenvolvemos dois pipelines de análise distintos, cada um podendo combinar vários modelos de IA especializados. Cada pipeline foi testado manualmente nos nossos documentos de referência, com diferentes parâmetros e combinações de modelos, para identificar as configurações mais promissoras.
Depois de configurados os nossos pipelines, fizemo-los correr sobre o conjunto dos nossos 30 documentos de referência. Todos os resultados foram automaticamente armazenados em base de dados para análise comparativa.
Chega então o momento da verdade: confrontar as previsões das nossas IAs com a ground truth estabelecida pelo especialista humano. Para cada documento e cada informação pesquisada, sabemos agora se o nosso sistema acertou ou falhou.
Para avaliar objetivamente os nossos resultados, utilizamos quatro indicadores clássicos em inteligência artificial. Eis o que significam, na prática:
"Em 100 verificações, quantas estão corretas?" Se a nossa IA examinar 100 elementos e identificar corretamente 85, a exatidão é de 85%. É o indicador mais intuitivo, mas nem sempre o mais relevante.
"Quando a IA diz 'presente', com que frequência está certa?" Se a IA detetar 20 carimbos e 18 estiverem efetivamente presentes, a precisão é de 90%. Este indicador mede a fiabilidade das deteções positivas.
"De todos os elementos realmente presentes, quantos é que a IA encontrou?" Se 25 documentos contiverem efetivamente um carimbo e a IA detetar 20, a revocação é de 80%. Este indicador mede a capacidade de não deixar escapar nada importante.
"Qual é o equilíbrio global entre precisão e revocação?" O F1-score combina precisão e revocação numa única métrica. Quanto mais próximo de 100%, melhor. É muitas vezes o indicador de referência para comparar diferentes abordagens.
Calculámos estes indicadores segundo dois ângulos:
Qual pipeline obtém os melhores resultados gerais? Pipeline A ou Pipeline B?
Para cada elemento pesquisado (nome, data, carimbo, etc.), qual pipeline é o mais fiável? Quais são os nossos pontos fracos a monitorizar? Esta dupla análise permitiu-nos escolher a melhor configuração e identificar as áreas que requerem atenção especial em produção.
Graças a esta abordagem metódica, conseguimos construir e validar um pipeline suficientemente eficaz para ser implementado em produção. O nosso sistema automatiza agora a primeira etapa de validação dos comprovativos, com um nível de conformidade que nos permite tratar a maioria dos casos de forma autónoma. Mantemos, no entanto, uma atenção especial sobre um ou dois aspetos específicos identificados durante a nossa análise, garantindo assim uma qualidade de serviço ótima. O ganho? Um processamento mais rápido para os seus clientes, menos tarefas repetitivas para as suas equipas e uma fiabilidade medida cientificamente.
Esta abordagem metódica, desde a análise do problema até à validação em produção, ilustra a nossa forma de conceber a inteligência artificial ao serviço da sua relação com o cliente. Tem uma ideia? Um projeto? Entre em contacto connosco! Na fAibrik, transformamos os seus desafios técnicos em soluções concretas, com o rigor de uma abordagem científica e a simplicidade de um serviço que funciona.
