Benchmarks abiertos, reproducibles y publicados con DOI. CACE-Bench audita agentes de IA en pipelines de crédito; Faro anticipa la solvencia de patrocinadores de pensión.
Investigación aplicada, código abierto y metodología citable.
Código abierto (MIT) · datos y método reproducibles · DOI en Zenodo
Cada cifra de esta página sale de una corrida que usted puede repetir: código bajo licencia MIT, datos sintéticos y método publicados con DOI.
Evaluación independiente de sus agentes de IA con benchmarks abiertos. Usted corre el harness en su propia infraestructura y recibe un informe firmado: no recibo, no proceso y no almaceno datos de sus clientes. Es la configuración que mantiene el trabajo fuera del perímetro de tratamiento y almacenamiento de datos que regulan las normas de externalización.
Diagnóstico de preparación antes de una certificación o de un control interno.
El harness y el protocolo quedan en su equipo, con documentación para repetir la medición.
CACE-Bench bajo licencia MIT: cualquiera puede reproducir el resultado sin creerme.
BACEN/COAF, CNBV/UIF, SFC/UIAF, SEPS/UAFE, SBS, CMF y BCRA en un mismo marco.
Metodologías abiertas y citables (DOI). Se transfieren a bancos, fintechs y fondos de América Latina para que las corran ellos mismos, sobre sus propios datos y en su propia infraestructura.
Benchmark que audita agentes LLM en pipelines de crédito bajo reglas de compliance. Reduce los falsos positivos de compliance del 22,51% al 4,96% con un bucle de auto-evolución — corrida de referencia reproducible del repositorio, regenerable con un comando. En el 15,57% de los casos no respondieron todas las fuentes consentidas: el agente sin auto-evolución decide igual en el 55,11% de ellos; con el bucle, en el 6,53%. v0.7.0 · 23.000 casos sintéticos · 7 jurisdicciones · IC 95% de Wilson.
Anticipa dos trimestres la fragilidad financiera del patrocinador de un plan de pensiones. Índice SVI (AUC 0.887), VaR con estrés climático y límites de autoinversión dinámicos.
Publico lo que mido: el código, los datos sintéticos y el método salen con licencia MIT y DOI, para que cualquiera repita la corrida y llegue al mismo número. Es la única forma de auditar sin pedir que me crean.
Perfil completo, publicaciones y divulgación de afiliación →
Prototipo de investigación abierto: hoy no se ofrecen pilotos ni servicios comerciales. Cauce es la capa que verifica el cumplimiento y deja traza auditable dentro del flujo actual, sin reemplazar el score ni al oficial de crédito.
| País | Regulador · UIF | Verifica antes de la decisión |
|---|---|---|
| Brasil | BACEN / COAF | Evaluación periódica de modelos, incluido backtesting, por una unidad distinta de la que los desarrolla, y documentación de pruebas de estrés (Res. CMN 4.557/2017, arts. 9 y 12; segmentos S1–S4); derecho a solicitar la revisión de decisiones tomadas únicamente con base en tratamiento automatizado, no necesariamente por una persona (LGPD art. 20) |
| México | CNBV / UIF | Bancos: Disposiciones del art. 115 de la LIC. Otorgantes de crédito no financieros (actividades vulnerables): KYC y expediente 10 años; clasificación de clientes por riesgo con reevaluación semestral y mecanismos automatizados de monitoreo y alertas (Reglas de la LFPIORPI, mod. Acuerdo 115/2026, DOF 07.08.2026; vigencia escalonada 30.11.2026 · 01.03.2027 · 01.06.2027) |
| Colombia | SFC · SES / UIAF | DD basada en riesgo y reporte a través del sistema de la UIAF (SARLAFT 4.0 — Circular Externa 027/2020); sistema de finanzas abiertas obligatorio para entidades vigiladas por la SFC, en implementación (Decreto 0368 del 07.04.2026) |
| Ecuador | SEPS · SB / UAFE | DD, listas y PEP, consentimiento y límites; derecho a no ser objeto de decisiones basadas total o parcialmente en valoraciones automatizadas (LOPDP art. 20); norma específica sobre IA y datos personales con evaluación de impacto previa y auditoría del sistema (Resolución SPDP-SPD-2026-0009-R, RO 240, 10.03.2026; reformada por la Resolución SPDP-SPD-2026-0037-R) |
| Argentina | BCRA / UIF | DD basada en riesgo (Res. UIF 14/2023 y modificatorias), listas y PEP; inventario de modelos, explicabilidad, validación independiente y evaluación de proveedores externos de IA (Guía de supervisión del BCRA sobre el uso responsable y seguro de IA, junio de 2026 — expectativas de supervisión, no norma obligatoria) |
| Perú | SBS / UIF-Perú | DD y régimen reforzado, listas y PEP (Res. SBS 2660-2015); supervisión humana y documentación de la lógica y de las fuentes de datos en sistemas de alto riesgo (Ley 31814 y DS 115-2025-PCM, vigente desde el 22.01.2026; la evaluación crediticia es de alto riesgo; el plazo de adecuación para el sector economía y finanzas venció en septiembre de 2026) |
| Chile | CMF / UAF | DD, listas y PEP (Ley 19.913); derecho a oponerse a decisiones basadas únicamente en tratamiento automatizado y, cuando operan las excepciones, garantías de intervención humana, expresión del punto de vista y revisión (Ley 21.719, art. 8° bis; vigencia plena prevista para el 01.12.2026; un proyecto de ley en trámite propone postergarla al 01.12.2027) |
python examples/benchmark_your_pipeline.py --demo --n 3000
Ver el adaptador (Case → Narrative) →
Cauce no reemplaza el score del prestamista ni toma la decisión de crédito. La decisión y las obligaciones regulatorias — PLD/FT, supervisión y reporte — permanecen íntegramente en el prestamista. Cauce verifica el cumplimiento y deja traza auditable.
Metodología abierta y citable. Resultados medidos sobre CACE-Bench v0.7.0 (datos sintéticos), no sobre cartera de un cliente. Las cifras de esta sección provienen de la corrida de referencia 100% reproducible del repositorio (N = 23.000, seed 0): falsos positivos de 22,51% a 4,96%, decisiones silenciosas de 55,11% a 6,53%, alucinación de 2,55% a 0,62%. El experimento de reinterpretación regulatoria se describe en el preprint arXiv:2610.10629 (v0.6.0): en 90 corridas, la compuerta de admisión aceptó 144 de 7.449 cambios propuestos y ninguno empeoró el error sobre el historial reservado; con la comprobación que aplica un sistema sin límites, se admitieron 309 cambios dañinos. La versión v0.7.0 repite la prueba sobre 1.000 solicitantes reales (German Credit), con brechas de error por sexo y edad, y con un modelo de lenguaje como generador de propuestas. Cifras ilustrativas del método, no del desempeño en producción: la validación con datos de producción no se ha realizado. Orientación general, no asesoría legal. Cauce es un proyecto del mismo autor que CACE-Bench: el benchmark no evalúa implementaciones de Cauce en cliente y el laboratorio no audita despliegues de Cauce.
Dos grupos distintos: documentos de investigación archivados con DOI, y notas de análisis. Haga clic en un título para leer el texto completo.
Documentos de trabajo archivados con DOI en Zenodo, con código bajo licencia MIT. Reproducibles de forma independiente.
Análisis del ecosistema digital latinoamericano. No son documentos de investigación y no llevan DOI.
Artículos disponibles en español; traducción al portugués en preparación.
El análisis se ejecuta en su entorno: usted corre el harness y recibe el informe. No recibimos ni almacenamos datos de sus clientes.
Reciba el benchmark abierto de evaluación de agentes de IA y el aviso de cada versión nueva. Sin spam.
Evaluación independiente, transferencia de metodología o colaboración de investigación: escriba y respondo en español o portugués.
Trabajo remoto, con foco en Brasil, México, Colombia y Argentina. El análisis se ejecuta en el entorno del cliente: no recibo ni almaceno datos de sus clientes.
Síganos en LinkedIn y en Telegram para contenido.
Un plan de pensiones de beneficio definido es tan sólido como la empresa que lo patrocina, y la crisis del patrocinador se vigila peor que el propio plan.
El preprint construye un índice de vulnerabilidad del patrocinador (SVI): un modelo de gradient boosting sobre los estados trimestrales de SEC EDGAR y dos series macroeconómicas, que anticipa el estado de crisis con uno o dos trimestres de antelación.
36 patrocinadores de EE. UU., cinco grupos sectoriales y 1.418 trimestres-empresa (2015–2025). Fuera de muestra, con validación cruzada que excluye cada empresa completa: AUC-ROC 0,887 y PR-AUC 0,711, con un 11,9% de trimestres en crisis. En un VaR de Monte Carlo con estrés de tipo climático, el efecto es casi nulo para un plan diversificado, pero con un 22,5% de activos en títulos del patrocinador el VaR anual al 95% sube entre un 20% y un 43%. El límite dinámico de autoinversión baja del 8% a menos del 1% en la crisis aguda y se recupera con el patrocinador (PG&E en 2019, Boeing).
Las etiquetas basadas en el patrimonio contable también se activan con eventos no crediticios, como escisiones; los casos positivos se concentran en una empresa y los parámetros de estrés son estilizados. El artículo lo muestra junto a los resultados.
Un agente LLM que se reescribe a sí mismo destruye lo que revisa el supervisor: un cambio con nombre, una prueba registrada y una aprobación.
El preprint sostiene que la autoevolución es revisable solo si se limita a la arquitectura de ejecución (texto de instrucciones, lógica de llamadas a herramientas y composición de primitivas) mientras los pesos del modelo quedan fijos. Así, cada adaptación es un cambio con causa y prueba. Una única compuerta de admisión escribe un registro encadenado por hash antes del despliegue.
En simulación, con un agente simulado y un generador de propuestas por búsqueda con semilla (no con modelos de lenguaje): tres familias de reinterpretación supervisora, tres niveles de severidad, diez semillas. La compuerta aceptó 144 de 7.449 cambios candidatos y ninguno empeoró el error sobre el historial reservado. Con la comprobación que aplica un sistema sin límites, se admitieron 309 cambios dañinos y los casos no señalados quedaron por encima del 10% en 49 de 90 corridas.
El código, la configuración y los resultados de cada corrida están en CACE-Bench v0.6.0.
La banca de la región acelera su inversión en IA; el eslabón que falta es la auditoría de los agentes que ya deciden crédito.
Los bancos brasileños invertirán R$50,4 mil millones en tecnología en 2026, un 8% más que el año anterior; la IA generativa figura entre las prioridades del 84% de las instituciones, empatada con la nube (Pesquisa Febraban de Tecnologia Bancária, 34.ª edición, Febraban y Deloitte). Colocar agentes de IA en decisiones de crédito y compliance sin poder auditarlos es un riesgo de mercado y regulatorio.
Un agente de IA generativa no falla como un modelo estadístico: "alucina", inventa un dato o ignora una sanción, y lo explica de forma convincente. Cuando el Banco Central de Brasil asuma su rol de regulador sectorial de IA financiera (previsto en el PL 2338/2023), la pregunta "¿su agente es auditable?" dejará de ser teórica.
Auditar significa medir, paso a paso, alucinación, consistencia, recuperación de error y adherencia a las reglas. En la corrida de referencia de CACE-Bench v0.7.0 —100% sintética, 23.000 casos, siete jurisdicciones— un bucle de autoevolución con juez verificador baja los falsos positivos de compliance de 22,51% a 4,96% (-77,9%) y la alucinación de 2,55% a 0,62%. El hallazgo que más importa es otro: en el 15,57% de los casos no respondieron todas las fuentes consentidas y lo correcto es escalar; el agente sin autoevolución decide igual en el 55,11% de ellos, con el bucle en el 6,53%. Cualquiera regenera estas cifras con un comando y la misma semilla (seed 0).
La lección no es el número (los datos son sintéticos), sino el método: el comportamiento de un agente puede medirse y corregirse bajo restricciones de auditabilidad.
Ver el proyecto CASE en GitHub ->
Documento de trabajo · DOI: 10.5281/zenodo.21394049
El ahorro previsional crece; vigilar hacia adelante la solvencia de quien lo respalda es la próxima frontera.
El sistema de Afores de México administra 8,3 billones de pesos (~US$488 mil millones), cerca del 23,8% del PIB, en unas 70 millones de cuentas, y la aportación obligatoria sube a 10,5% en 2026 rumbo al 15% en 2031. Pero una pensión vale lo que vale la solvencia de quien está detrás de los activos que la respaldan, y esa solvencia cambia trimestre a trimestre.
El proyecto PensionGuard propone un índice de vulnerabilidad del patrocinador (SVI) que anticipa dos trimestres la fragilidad financiera, entrenado sobre datos públicos reales (SEC EDGAR y FRED). Con validación firma-por-firma alcanza un AUC de 0,887 y marca cada episodio real de distress de la última década, manteniendo estables a compañías sólidas.
Un motor de Valor en Riesgo combina la concentración de la autoinversión con el estrés de transición climática: en un escenario desordenado, el VaR a un año de una cartera con exposición energética sube 43%. Los límites de autoinversión se ajustan solos: se aprietan cuando el patrocinador se debilita. En México, donde la IA financiera se regula vía CNBV, un modelo transparente y auditable es lo que un fondo o regulador puede explicar línea por línea.
Ver el proyecto PensionGuard en GitHub ->
Documento de trabajo · DOI: 10.5281/zenodo.21394088
Preprint ampliado (36 patrocinadores de EE. UU.) · arXiv:2610.14120 ->
En Argentina, uno de cada cuatro créditos ya nace en una fintech; los modelos de IA que los deciden aún no se auditan.
La participación de las fintech en el crédito pasó de 19% en marzo de 2024 a 25% en febrero de 2026, con 9,8 millones de asistencias crediticias activas (ITBA y Cámara Argentina Fintech). Detrás de ese crecimiento hay, cada vez más, agentes de IA que deciden a quién prestar. Es una gran noticia para la inclusión, pero abre una pregunta incómoda: ¿quién audita esa IA?
Un agente de IA generativa "alucina": inventa un dato, ignora una restricción, aprueba lo que debería frenar. En crédito, eso se traduce en discriminación silenciosa, fraude que pasa el filtro y decisiones que nadie puede reconstruir. A medida que el crédito fintech gana peso sistémico, la falta de auditoría deja de ser un detalle técnico.
El benchmark CASE (CACE-Bench) muestra que el comportamiento de un agente se puede medir y corregir: un bucle de autoevolución con juez verificador reduce los falsos positivos de compliance en un 77,9% en la corrida de referencia reproducible del repositorio y detecta cuándo el agente decide sin los datos que dice haber consultado. El camino para las fintech: auditabilidad desde el diseño, medir alucinación y consistencia, y un retro-test para cuando cambian las reglas.
Ver el proyecto CASE en GitHub ->
Documento de trabajo · DOI: 10.5281/zenodo.21394049