CACE-Bench v0.7.0 | benchmark abierto de agentes de IA en pipelines de crédito — código MIT y DOI
Escribir
🇧🇷 🇲🇽 🇨🇴 🇨🇱 🇵🇪 🇦🇷 🇪🇨

Un laboratorio que <span class='b'>mide la IA</span> en el crédito de América Latina.

Benchmarks abiertos, reproducibles y publicados con DOI. CACE-Bench audita agentes de IA en pipelines de crédito; Faro anticipa la solvencia de patrocinadores de pensión.

Investigación aplicada, código abierto y metodología citable.

Código abierto (MIT) · datos y método reproducibles · DOI en Zenodo

Ravil Akhtyamov
Ravil Akhtyamov
Fundador · Digital Economy Lab
El diferencial

Cada cifra de esta página sale de una corrida que usted puede repetir: código bajo licencia MIT, datos sintéticos y método publicados con DOI.

Python puro sobre Pyodide: 800 casos sintéticos, seed 0, en su navegador y sin servidor.
Cifras ilustrativas del método sobre datos sintéticos, no del desempeño en producción.
23.000
casos sintéticos en la corrida de referencia (CACE-Bench)
0.887
AUC — alerta de solvencia (Faro)
2
documentos con DOI (Zenodo)
7
jurisdicciones LatAm mapeadas
Español Portugués Reproducible Código abierto
ES · PTde México a Brasil
DOI + GitHubinvestigación abierta y citable
PhDen Economía
MITlicencia del benchmark
7 paísesBR MX CO CL PE AR EC
Colaboración

El análisis se ejecuta en su entorno

Evaluación independiente de sus agentes de IA con benchmarks abiertos. Usted corre el harness en su propia infraestructura y recibe un informe firmado: no recibo, no proceso y no almaceno datos de sus clientes. Es la configuración que mantiene el trabajo fuera del perímetro de tratamiento y almacenamiento de datos que regulan las normas de externalización.

🔍

Evaluación previa

Diagnóstico de preparación antes de una certificación o de un control interno.

📐

Transferencia de metodología

El harness y el protocolo quedan en su equipo, con documentación para repetir la medición.

📊

Benchmarks abiertos

CACE-Bench bajo licencia MIT: cualquiera puede reproducir el resultado sin creerme.

🌐

Mapeo regulatorio

BACEN/COAF, CNBV/UIF, SFC/UIAF, SEPS/UAFE, SBS, CMF y BCRA en un mismo marco.

Investigación aplicada

Productos de investigación aplicada

Metodologías abiertas y citables (DOI). Se transfieren a bancos, fintechs y fondos de América Latina para que las corran ellos mismos, sobre sus propios datos y en su propia infraestructura.

Cauce
IA · Crédito · Compliance

CASE — Evaluación de agentes de crédito con IA

Benchmark que audita agentes LLM en pipelines de crédito bajo reglas de compliance. Reduce los falsos positivos de compliance del 22,51% al 4,96% con un bucle de auto-evolución — corrida de referencia reproducible del repositorio, regenerable con un comando. En el 15,57% de los casos no respondieron todas las fuentes consentidas: el agente sin auto-evolución decide igual en el 55,11% de ellos; con el bucle, en el 6,53%. v0.7.0 · 23.000 casos sintéticos · 7 jurisdicciones · IC 95% de Wilson.

  • Auditoría de agentes LLM paso a paso
  • Métricas de alucinación y consistencia
  • datos sintéticos y públicos, reproducible
Ver demo en vivo — cauceia.com
Documento de trabajo · DOI
Preprint · arXiv:2610.10629
Faro
Pensiones · Riesgo · IA

PensionGuard AI — Alerta temprana de solvencia

Anticipa dos trimestres la fragilidad financiera del patrocinador de un plan de pensiones. Índice SVI (AUC 0.887), VaR con estrés climático y límites de autoinversión dinámicos.

  • Índice de vulnerabilidad del patrocinador (SVI)
  • VaR con estrés de transición climática
  • Sobre datos públicos (SEC EDGAR + FRED)
Ver demo en vivo — Faro
Documento de trabajo · DOI
Preprint · arXiv:2610.14120
Ravil Akhtyamov
Quién está detrás

Quién mide, y con qué se le puede discutir

Publico lo que mido: el código, los datos sintéticos y el método salen con licencia MIT y DOI, para que cualquiera repita la corrida y llegue al mismo número. Es la única forma de auditar sin pedir que me crean.

PhD en Economía2 DOI en ZenodoPonente · SOA Symposium (Vancouver, 2003)CACE-Bench v0.7.0 · MITGitHub · @rav11l

Perfil completo, publicaciones y divulgación de afiliación →

Cauce
IA · Crédito · Compliance
Prototipo de investigación · 2026
Caso

Cumplimiento auditable antes de cada decisión de crédito

Prototipo de investigación abierto: hoy no se ofrecen pilotos ni servicios comerciales. Cauce es la capa que verifica el cumplimiento y deja traza auditable dentro del flujo actual, sin reemplazar el score ni al oficial de crédito.

1
Ingesta
2
Perfilado
3 · Cauce
Cumplimiento
4
Emisión
5
Desembolso
  • Verifica KYC, listas de sanciones/PEP, consentimiento, límites y partes vinculadas antes del desembolso.
  • Deja traza auditable de cada decisión — la respuesta ante el supervisor o el comité queda lista en segundos.
  • Mapeado paso a paso a las obligaciones del prestamista: riesgo de crédito, protección de datos y prevención de lavado (PLD/FT).
No es fintech No custodia fondos No presta El prestamista decide No enruta solicitudes
−77,9%
falsos positivos de cumplimiento — de 22,51% a 4,96% (CACE-Bench · corrida reproducible)
55,11% → 6,53%
decisiones silenciosas en casos indecidibles (CACE-Bench · corrida reproducible)
100%
de las decisiones con traza auditable
Riesgo de crédito · expediente, límites y partes vinculadas PLD/FT · debida diligencia, listas y reportes · UAFE Prestamistas regulados · bancos, fintechs y cooperativas · SEPS/SB (Ecuador) Benchmark abierto · datos sintéticos y públicos, reproducible
Verificación lista para su regulador — y comprobable en el navegador
Cada control, mapeado a la norma de cada país — empezando por Brasil (BACEN/LGPD), donde la demanda es normativamente obligada. El benchmark que lo mide se ejecuta en la portada, en su navegador y sin backend.

Verificación por regulador

PaísRegulador · UIFVerifica antes de la decisión
BrasilBACEN / COAFEvaluación periódica de modelos, incluido backtesting, por una unidad distinta de la que los desarrolla, y documentación de pruebas de estrés (Res. CMN 4.557/2017, arts. 9 y 12; segmentos S1–S4); derecho a solicitar la revisión de decisiones tomadas únicamente con base en tratamiento automatizado, no necesariamente por una persona (LGPD art. 20)
MéxicoCNBV / UIFBancos: Disposiciones del art. 115 de la LIC. Otorgantes de crédito no financieros (actividades vulnerables): KYC y expediente 10 años; clasificación de clientes por riesgo con reevaluación semestral y mecanismos automatizados de monitoreo y alertas (Reglas de la LFPIORPI, mod. Acuerdo 115/2026, DOF 07.08.2026; vigencia escalonada 30.11.2026 · 01.03.2027 · 01.06.2027)
ColombiaSFC · SES / UIAFDD basada en riesgo y reporte a través del sistema de la UIAF (SARLAFT 4.0 — Circular Externa 027/2020); sistema de finanzas abiertas obligatorio para entidades vigiladas por la SFC, en implementación (Decreto 0368 del 07.04.2026)
EcuadorSEPS · SB / UAFEDD, listas y PEP, consentimiento y límites; derecho a no ser objeto de decisiones basadas total o parcialmente en valoraciones automatizadas (LOPDP art. 20); norma específica sobre IA y datos personales con evaluación de impacto previa y auditoría del sistema (Resolución SPDP-SPD-2026-0009-R, RO 240, 10.03.2026; reformada por la Resolución SPDP-SPD-2026-0037-R)
ArgentinaBCRA / UIFDD basada en riesgo (Res. UIF 14/2023 y modificatorias), listas y PEP; inventario de modelos, explicabilidad, validación independiente y evaluación de proveedores externos de IA (Guía de supervisión del BCRA sobre el uso responsable y seguro de IA, junio de 2026 — expectativas de supervisión, no norma obligatoria)
PerúSBS / UIF-PerúDD y régimen reforzado, listas y PEP (Res. SBS 2660-2015); supervisión humana y documentación de la lógica y de las fuentes de datos en sistemas de alto riesgo (Ley 31814 y DS 115-2025-PCM, vigente desde el 22.01.2026; la evaluación crediticia es de alto riesgo; el plazo de adecuación para el sector economía y finanzas venció en septiembre de 2026)
ChileCMF / UAFDD, listas y PEP (Ley 19.913); derecho a oponerse a decisiones basadas únicamente en tratamiento automatizado y, cuando operan las excepciones, garantías de intervención humana, expresión del punto de vista y revisión (Ley 21.719, art. 8° bis; vigencia plena prevista para el 01.12.2026; un proyecto de ley en trámite propone postergarla al 01.12.2027)

Compruébelo contra su propio pipeline

La corrida interactiva — Pyodide, 800 casos sintéticos, seed 0, sin servidor — está en la portada. El paso siguiente es medir su propio sistema con el mismo juez y las mismas métricas.
▲ Ejecutar el benchmark en la portada
Qué hay que cambiar
Cambia dos funciones y lo corre en ~una hora:
python examples/benchmark_your_pipeline.py --demo --n 3000 Ver el adaptador (Case → Narrative) →

Cauce no reemplaza el score del prestamista ni toma la decisión de crédito. La decisión y las obligaciones regulatorias — PLD/FT, supervisión y reporte — permanecen íntegramente en el prestamista. Cauce verifica el cumplimiento y deja traza auditable.

Metodología abierta y citable. Resultados medidos sobre CACE-Bench v0.7.0 (datos sintéticos), no sobre cartera de un cliente. Las cifras de esta sección provienen de la corrida de referencia 100% reproducible del repositorio (N = 23.000, seed 0): falsos positivos de 22,51% a 4,96%, decisiones silenciosas de 55,11% a 6,53%, alucinación de 2,55% a 0,62%. El experimento de reinterpretación regulatoria se describe en el preprint arXiv:2610.10629 (v0.6.0): en 90 corridas, la compuerta de admisión aceptó 144 de 7.449 cambios propuestos y ninguno empeoró el error sobre el historial reservado; con la comprobación que aplica un sistema sin límites, se admitieron 309 cambios dañinos. La versión v0.7.0 repite la prueba sobre 1.000 solicitantes reales (German Credit), con brechas de error por sexo y edad, y con un modelo de lenguaje como generador de propuestas. Cifras ilustrativas del método, no del desempeño en producción: la validación con datos de producción no se ha realizado. Orientación general, no asesoría legal. Cauce es un proyecto del mismo autor que CACE-Bench: el benchmark no evalúa implementaciones de Cauce en cliente y el laboratorio no audita despliegues de Cauce.

Análisis

Publicaciones recientes

Dos grupos distintos: documentos de investigación archivados con DOI, y notas de análisis. Haga clic en un título para leer el texto completo.

Investigación

Documentos de trabajo archivados con DOI en Zenodo, con código bajo licencia MIT. Reproducibles de forma independiente.

IAPensionesPreprint

Detección temprana de la fragilidad del patrocinador de pensiones a partir de informes públicos

9 de octubre de 2026 · arXiv:2610.14120 · en inglés
Un plan de beneficio definido es tan sólido como su patrocinador. Índice de vulnerabilidad sobre informes de SEC EDGAR, VaR bajo estrés y un límite dinámico de autoinversión (PensionGuard).
Leer resumen ->
IACréditoPreprint

La arquitectura de ejecución como única superficie mutable

7 de octubre de 2026 · arXiv:2610.10629 · en inglés
Autoevolución de agentes LLM en el pipeline de crédito, acotada por el cumplimiento y con una compuerta de admisión medida (CACE-Bench v0.6.0).
Leer resumen ->
IACrédito

Auditar la IA que ya decide el crédito

Julio 2026 - 5 min de lectura
Por qué la banca de la región necesita auditar a sus agentes de IA, y cómo se mide (benchmark CASE).
Leer completo ->
PensionesIA

Alerta temprana para la solvencia de las pensiones

Julio 2026 - 5 min de lectura
Cómo la IA anticipa la fragilidad de quien respalda el ahorro previsional (PensionGuard).
Leer completo ->

Notas y columnas

Análisis del ecosistema digital latinoamericano. No son documentos de investigación y no llevan DOI.

FintechIA

El crédito ya es fintech; su auditoría de IA, todavía no

Julio 2026 - 5 min de lectura
El auge del crédito fintech en Argentina y la auditoría pendiente de sus modelos de IA.
Leer completo ->

Artículos disponibles en español; traducción al portugués en preparación.

Mida su IA antes de que lo haga el regulador

El análisis se ejecuta en su entorno: usted corre el harness y recibe el informe. No recibimos ni almacenamos datos de sus clientes.

Gratis

Descargue el benchmark CACE-Bench

Reciba el benchmark abierto de evaluación de agentes de IA y el aviso de cada versión nueva. Sin spam.

Hablemos

Contacto

Evaluación independiente, transferencia de metodología o colaboración de investigación: escriba y respondo en español o portugués.

Digital Economy Lab | LATAM

Trabajo remoto, con foco en Brasil, México, Colombia y Argentina. El análisis se ejecuta en el entorno del cliente: no recibo ni almaceno datos de sus clientes.

📧 latam@digitaleconomylab.org
🌐 Atención en español y portugués
🕑 Horario flexible (husos LATAM)

Síganos en LinkedIn y en Telegram para contenido.

Early Detection of Pension-Sponsor Distress from Public Filings

Preprint · arXiv:2610.14120 [q-fin.RM] · 9 de octubre de 2026 · en inglés

Un plan de pensiones de beneficio definido es tan sólido como la empresa que lo patrocina, y la crisis del patrocinador se vigila peor que el propio plan.

El preprint construye un índice de vulnerabilidad del patrocinador (SVI): un modelo de gradient boosting sobre los estados trimestrales de SEC EDGAR y dos series macroeconómicas, que anticipa el estado de crisis con uno o dos trimestres de antelación.

Qué se midió

36 patrocinadores de EE. UU., cinco grupos sectoriales y 1.418 trimestres-empresa (2015–2025). Fuera de muestra, con validación cruzada que excluye cada empresa completa: AUC-ROC 0,887 y PR-AUC 0,711, con un 11,9% de trimestres en crisis. En un VaR de Monte Carlo con estrés de tipo climático, el efecto es casi nulo para un plan diversificado, pero con un 22,5% de activos en títulos del patrocinador el VaR anual al 95% sube entre un 20% y un 43%. El límite dinámico de autoinversión baja del 8% a menos del 1% en la crisis aguda y se recupera con el patrocinador (PG&E en 2019, Boeing).

Límites

Las etiquetas basadas en el patrimonio contable también se activan con eventos no crediticios, como escisiones; los casos positivos se concentran en una empresa y los parámetros de estrés son estilizados. El artículo lo muestra junto a los resultados.

Leer en arXiv ->

Código, datos y resultados · DOI: 10.5281/zenodo.21394088

The Harness as the Only Mutable Surface

Preprint · arXiv:2610.10629 [cs.AI] · 7 de octubre de 2026 · en inglés

Un agente LLM que se reescribe a sí mismo destruye lo que revisa el supervisor: un cambio con nombre, una prueba registrada y una aprobación.

El preprint sostiene que la autoevolución es revisable solo si se limita a la arquitectura de ejecución (texto de instrucciones, lógica de llamadas a herramientas y composición de primitivas) mientras los pesos del modelo quedan fijos. Así, cada adaptación es un cambio con causa y prueba. Una única compuerta de admisión escribe un registro encadenado por hash antes del despliegue.

Qué se midió

En simulación, con un agente simulado y un generador de propuestas por búsqueda con semilla (no con modelos de lenguaje): tres familias de reinterpretación supervisora, tres niveles de severidad, diez semillas. La compuerta aceptó 144 de 7.449 cambios candidatos y ninguno empeoró el error sobre el historial reservado. Con la comprobación que aplica un sistema sin límites, se admitieron 309 cambios dañinos y los casos no señalados quedaron por encima del 10% en 49 de 90 corridas.

El código, la configuración y los resultados de cada corrida están en CACE-Bench v0.6.0.

Leer en arXiv ->

CACE-Bench v0.6.0 · DOI: 10.5281/zenodo.23207546

Auditar la IA que ya decide el crédito

Julio 2026 · 5 min de lectura · IA - Crédito

La banca de la región acelera su inversión en IA; el eslabón que falta es la auditoría de los agentes que ya deciden crédito.

Los bancos brasileños invertirán R$50,4 mil millones en tecnología en 2026, un 8% más que el año anterior; la IA generativa figura entre las prioridades del 84% de las instituciones, empatada con la nube (Pesquisa Febraban de Tecnologia Bancária, 34.ª edición, Febraban y Deloitte). Colocar agentes de IA en decisiones de crédito y compliance sin poder auditarlos es un riesgo de mercado y regulatorio.

El error que habla bonito

Un agente de IA generativa no falla como un modelo estadístico: "alucina", inventa un dato o ignora una sanción, y lo explica de forma convincente. Cuando el Banco Central de Brasil asuma su rol de regulador sectorial de IA financiera (previsto en el PL 2338/2023), la pregunta "¿su agente es auditable?" dejará de ser teórica.

Cómo se mide

Auditar significa medir, paso a paso, alucinación, consistencia, recuperación de error y adherencia a las reglas. En la corrida de referencia de CACE-Bench v0.7.0 —100% sintética, 23.000 casos, siete jurisdicciones— un bucle de autoevolución con juez verificador baja los falsos positivos de compliance de 22,51% a 4,96% (-77,9%) y la alucinación de 2,55% a 0,62%. El hallazgo que más importa es otro: en el 15,57% de los casos no respondieron todas las fuentes consentidas y lo correcto es escalar; el agente sin autoevolución decide igual en el 55,11% de ellos, con el bucle en el 6,53%. Cualquiera regenera estas cifras con un comando y la misma semilla (seed 0).

La lección no es el número (los datos son sintéticos), sino el método: el comportamiento de un agente puede medirse y corregirse bajo restricciones de auditabilidad.

Ver el proyecto CASE en GitHub ->

Documento de trabajo · DOI: 10.5281/zenodo.21394049

Análisis de Digital Economy Lab. Fuentes: Febraban/Deloitte y PL 2338/2023 · datos a julio de 2026.

Alerta temprana para la solvencia de las pensiones

Julio 2026 · 5 min de lectura · Pensiones - IA

El ahorro previsional crece; vigilar hacia adelante la solvencia de quien lo respalda es la próxima frontera.

El sistema de Afores de México administra 8,3 billones de pesos (~US$488 mil millones), cerca del 23,8% del PIB, en unas 70 millones de cuentas, y la aportación obligatoria sube a 10,5% en 2026 rumbo al 15% en 2031. Pero una pensión vale lo que vale la solvencia de quien está detrás de los activos que la respaldan, y esa solvencia cambia trimestre a trimestre.

Mirar hacia adelante, no hacia atrás

El proyecto PensionGuard propone un índice de vulnerabilidad del patrocinador (SVI) que anticipa dos trimestres la fragilidad financiera, entrenado sobre datos públicos reales (SEC EDGAR y FRED). Con validación firma-por-firma alcanza un AUC de 0,887 y marca cada episodio real de distress de la última década, manteniendo estables a compañías sólidas.

Concentración y clima, juntos

Un motor de Valor en Riesgo combina la concentración de la autoinversión con el estrés de transición climática: en un escenario desordenado, el VaR a un año de una cartera con exposición energética sube 43%. Los límites de autoinversión se ajustan solos: se aprietan cuando el patrocinador se debilita. En México, donde la IA financiera se regula vía CNBV, un modelo transparente y auditable es lo que un fondo o regulador puede explicar línea por línea.

Ver el proyecto PensionGuard en GitHub ->

Documento de trabajo · DOI: 10.5281/zenodo.21394088

Preprint ampliado (36 patrocinadores de EE. UU.) · arXiv:2610.14120 ->

Análisis de Digital Economy Lab. Fuentes: Consar y CNBV · datos a julio de 2026.

El crédito ya es fintech; su auditoría de IA, todavía no

Julio 2026 · 5 min de lectura · Fintech - IA

En Argentina, uno de cada cuatro créditos ya nace en una fintech; los modelos de IA que los deciden aún no se auditan.

La participación de las fintech en el crédito pasó de 19% en marzo de 2024 a 25% en febrero de 2026, con 9,8 millones de asistencias crediticias activas (ITBA y Cámara Argentina Fintech). Detrás de ese crecimiento hay, cada vez más, agentes de IA que deciden a quién prestar. Es una gran noticia para la inclusión, pero abre una pregunta incómoda: ¿quién audita esa IA?

El riesgo no es que se equivoque, es no saberlo

Un agente de IA generativa "alucina": inventa un dato, ignora una restricción, aprueba lo que debería frenar. En crédito, eso se traduce en discriminación silenciosa, fraude que pasa el filtro y decisiones que nadie puede reconstruir. A medida que el crédito fintech gana peso sistémico, la falta de auditoría deja de ser un detalle técnico.

Auditar es medible

El benchmark CASE (CACE-Bench) muestra que el comportamiento de un agente se puede medir y corregir: un bucle de autoevolución con juez verificador reduce los falsos positivos de compliance en un 77,9% en la corrida de referencia reproducible del repositorio y detecta cuándo el agente decide sin los datos que dice haber consultado. El camino para las fintech: auditabilidad desde el diseño, medir alucinación y consistencia, y un retro-test para cuando cambian las reglas.

Ver el proyecto CASE en GitHub ->

Documento de trabajo · DOI: 10.5281/zenodo.21394049

Análisis de Digital Economy Lab. Fuentes: ITBA y Cámara Argentina Fintech · datos a julio de 2026.