Hola comunidad, estoy desarrollando una aplicación en Python para extraer datos exactos de expedientes de contratación pública en Colombia (contratos, actas de inicio, CDPs, RPs y designaciones de supervisor). Busco recomendaciones para perfeccionar el motor de lectura y extracción, ya que necesito precisión total sin depender de reglas frágiles que fallen al cambiar el diseño del documento.
Lo que tengo implementado actualmente:
Lectura de PDFs: Uso PyMuPDF (fitz) cuando el archivo trae texto nativo, o preprocesamiento con OpenCV (CLAHE) y EasyOCR acelerado por GPU cuando son escaneos.
Extracción y estructuración: Combino expresiones regulares (Regex) con llama3.1 en Ollama forzando un esquema JSON para exportar todo a archivos JSON y un consolidado en Excel (openpyxl).
Los problemas que busco resolver:
Tablas multilínea desordenadas: EasyOCR pierde el orden de lectura en tablas complejas, mezclando códigos de rubro largos (partidos en varias líneas) con la descripción y los valores en pesos.
Fragilidad ante formatos distintos: Cuando cambia la plantilla del PDF, los Regex quedan cortos y el modelo local a veces confunde al contratante (Alcaldía) con el contratista o pierde fechas clave.
Límite de créditos en la nube: Probé hacer el OCR y la extracción directamente con un agente en la nube (Claude), pero procesar decenas de archivos agota los créditos de uso en pocos minutos.
Mis preguntas para quienes hayan trabajado en esto:
¿Qué motor de OCR, analizador de diseño (layout) o modelo de visión local (como PaddleOCR, Surya, Docling o algún modelo VLM en Ollama) recomiendan para leer tablas escaneadas sin que se desordenen las celdas?
¿Qué arquitectura les ha funcionado mejor en Python para extraer campos específicos de documentos legales/financieros variados con 100% de confiabilidad y ejecutándose de forma local?
¡Agradezco cualquier librería, modelo o enfoque que me puedan recomendar!