Backtesting de estrategias de crédito: de la intuición a la evidencia

En la gestión crediticia, modificar una política puede generar efectos significativos sobre aprobación, riesgo, rentabilidad y crecimiento. Sin embargo, muchas organizaciones todavía evalúan estos cambios principalmente a partir de resultados observados después de su implementación.

El desafío consiste en cambiar el paradigma: ¿qué pasaría si una nueva estrategia pudiera evaluarse antes de llevarla a producción?

El backtesting permite responder esta pregunta utilizando información histórica para reconstruir escenarios alternativos y estimar cómo se habría comportado una política, modelo o estrategia diferente sobre una cartera real.

Pero su verdadero valor no está únicamente en “probar una regla”. Está en incorporar evidencia cuantitativa al proceso de diseño de estrategias y convertir la experimentación en una práctica controlada, trazable y recurrente.

El costo de experimentar directamente en producción

Una estrategia de crédito es el resultado de múltiples componentes que interactúan entre sí: políticas, reglas de negocio, modelos predictivos, segmentaciones, variables, condiciones comerciales, límites y procesos de excepción.

Modificar uno de estos elementos puede generar consecuencias que no siempre son evidentes.

Un cambio en el punto de corte de un score, por ejemplo, puede incrementar la tasa de aprobación. Pero ese incremento puede venir acompañado de:

• mayor pérdida esperada;
• cambios en la composición de la cartera;
• variaciones en el monto promedio otorgado;
• modificaciones en la rentabilidad por segmento;
• aumento de excepciones o intervenciones manuales;
• alteraciones en la concentración de riesgo;
• cambios en el comportamiento posterior de los clientes.

Por esta razón, evaluar una estrategia exclusivamente a partir de una métrica aislada puede conducir a conclusiones incompletas.

Una política que incrementa la aprobación no necesariamente mejora el resultado económico. Del mismo modo, una política que reduce el riesgo observado puede estar restringiendo oportunidades comerciales de manera innecesaria.

La pregunta relevante no es únicamente cuánto cambia una métrica, sino cómo cambia el equilibrio entre riesgo, rentabilidad y crecimiento.

¿Qué es realmente el backtesting crediticio?

En términos generales, el backtesting consiste en aplicar una estrategia, política o modelo alternativo sobre información histórica para estimar qué resultados habría producido si hubiera estado vigente durante ese período.

En crédito, esto permite construir escenarios contrafactuales.

La organización puede tomar una cartera histórica y preguntarse:

¿Qué habría ocurrido si hubiéramos aplicado esta estrategia en lugar de la estrategia vigente?

La comparación puede realizarse sobre diferentes dimensiones:

Aprobación → Riesgo → Rentabilidad → Crecimiento → Segmentación

El objetivo no es predecir exactamente el futuro. El objetivo es disponer de evidencia histórica que permita reducir la incertidumbre antes de tomar una decisión estratégica.

Esta distinción es fundamental.

El backtesting no reemplaza la validación de modelos ni garantiza que una estrategia futura tendrá exactamente el mismo comportamiento. Los mercados cambian, las características de los clientes evolucionan y las condiciones macroeconómicas pueden modificar las relaciones observadas en los datos.

Su valor está en proporcionar un entorno controlado para comparar alternativas y comprender sus consecuencias potenciales.

Del backtesting de modelos al backtesting de estrategias

Existe una diferencia importante entre evaluar el desempeño de un modelo y evaluar una estrategia crediticia completa.

Un modelo puede presentar un buen poder predictivo y, sin embargo, no generar necesariamente la mejor decisión económica.

Por ejemplo, una organización podría contar con un modelo de probabilidad de default con buen desempeño estadístico. Pero la estrategia que utiliza ese modelo también debe determinar:

• qué cutoff utilizar;
• qué segmentos tratar de manera diferenciada;
• qué monto ofrecer;
• qué plazo asignar;
• qué condiciones aplicar;
• cuándo solicitar información adicional;
• cuándo derivar el caso a un analista;
• qué excepciones admitir;
• qué tratamiento asignar a cada perfil.

Por lo tanto, el objeto de evaluación no debería limitarse al modelo.

Debe analizarse la interacción entre datos + modelos + políticas + reglas + condiciones + procesos + objetivos de negocio.

En este sentido, el backtesting de estrategias representa una capa superior de análisis: no busca solamente determinar si un modelo funciona, sino evaluar qué decisión genera mayor valor dentro de las restricciones de la organización.

Diseñar escenarios antes de modificar la política

Una de las aplicaciones más relevantes consiste en construir múltiples escenarios y compararlos sobre una misma población histórica.

Por ejemplo:

Estrategia A — Política vigente

Mantener los criterios actuales de segmentación, scoring, cutoff, monto y condiciones.

Estrategia B — Nuevo cutoff

Modificar únicamente el umbral de aprobación para analizar cuánto volumen adicional podría generarse y cuál sería el impacto sobre el riesgo.

Estrategia C — Nuevo modelo

Mantener la política vigente, pero reemplazar el modelo predictivo utilizado en determinados segmentos.

Estrategia D — Nueva estrategia integral

Combinar un nuevo modelo con segmentación diferenciada, nuevas reglas y condiciones de otorgamiento.

Estrategia E — Estrategia optimizada

Incorporar optimización matemática para determinar la combinación de monto, plazo y condiciones que maximice el objetivo definido por la entidad dentro de sus restricciones de riesgo y negocio.

El valor de este enfoque reside en que todas las alternativas pueden evaluarse bajo condiciones comparables.

La discusión deja de ser:

“Creemos que esta política podría funcionar mejor.”

Y comienza a ser:

“Sobre esta población histórica, esta estrategia habría producido este resultado bajo estas condiciones.”

Ese cambio es significativo porque transforma una discusión basada en hipótesis en una discusión sustentada por evidencia.

¿Qué debería medir un backtesting de estrategia?

Una evaluación robusta debería considerar múltiples dimensiones simultáneamente.

1. Impacto sobre la aprobación

¿Cuántas operaciones adicionales o menos se habrían aprobado?

Pero también:

• ¿en qué segmentos?
• ¿con qué perfil de riesgo?
• ¿con qué monto promedio?
• ¿con qué distribución geográfica o comercial?

2. Impacto sobre el riesgo

La variación de la aprobación debe analizarse junto con las métricas de riesgo.

Dependiendo de la estrategia y del producto, pueden evaluarse indicadores como:

• probabilidad de default;
• pérdida esperada;
• tasa de mora;
• vintage;
• First Payment Default;
• concentración;
• exposición por segmento.

3. Impacto económico

Una estrategia crediticia no existe únicamente para minimizar riesgo.

También debe contribuir a los objetivos económicos de la organización.

Por ello, resulta necesario analizar variables como:

• margen;
• ingreso financiero;
• costo de riesgo;
• rentabilidad ajustada por riesgo;
• contribución por segmento;
• retorno sobre capital.

4. Impacto sobre el crecimiento

Una política más restrictiva puede reducir el riesgo, pero también limitar el crecimiento.

Una política más expansiva puede incrementar colocaciones, pero deteriorar la calidad de la cartera.

El backtesting permite observar ambos efectos dentro de un mismo escenario.

5. Impacto sobre la composición de la cartera

No basta con saber cuánto se aprueba.

También es necesario comprender a quién se está aprobando.

Una estrategia puede modificar significativamente la composición de la cartera por:

• segmento;
• producto;
• región;
• actividad económica;
• antigüedad;
• comportamiento;
• nivel de riesgo.

Esta dimensión es especialmente importante cuando la entidad administra diferentes estrategias para personas, microempresarios, pymes o empresas.

Backtesting, monitoreo y benchmarking: tres funciones diferentes

Un error frecuente consiste en utilizar estos conceptos como si fueran equivalentes.

No lo son.

Backtesting: ¿qué habría ocurrido?

Permite evaluar una estrategia alternativa utilizando información histórica.

Su función principal es experimentar antes de implementar.

Monitoreo: ¿qué está ocurriendo?

Permite observar el comportamiento real de la estrategia una vez que se encuentra en producción.

Su función es detectar desviaciones y cambios de desempeño.

Benchmarking: ¿dónde existe una oportunidad?

Permite incorporar referencias externas para identificar posibles oportunidades de mejora que no necesariamente aparecen al observar únicamente los datos internos.

Su función es ampliar el contexto de la decisión.

La relación entre los tres puede resumirse de la siguiente manera:

Backtesting → evaluar antes.

Monitoreo → controlar después.

Benchmarking → comparar para evolucionar.

Una estrategia madura necesita las tres capacidades.

El verdadero desafío: gobernar el cambio

La capacidad de simular una estrategia pierde parte de su valor si la organización no puede explicar posteriormente qué versión fue evaluada, qué cambios se realizaron y bajo qué criterios se tomó la decisión.

Por eso, la simulación debe formar parte de un esquema más amplio de gobierno.

Una estrategia de crédito debería poder responder preguntas como:

• ¿Qué versión de la política estaba vigente?
• ¿Qué modelos intervenían en la decisión?
• ¿Qué reglas se aplicaban?
• ¿Qué variables fueron utilizadas?
• ¿Qué cambios se introdujeron?
• ¿Qué escenario fue simulado?
• ¿Sobre qué población?
• ¿Qué resultados produjo?
• ¿Quién autorizó el cambio?
• ¿Cuándo pasó a producción?
• ¿Qué resultados generó posteriormente?

La trazabilidad convierte la estrategia en un objeto gestionable y auditable.

Sin ella, la organización puede tener capacidad tecnológica para ejecutar decisiones, pero no necesariamente capacidad para explicar y gobernar cómo se toman esas decisiones.

De la simulación aislada al ciclo de mejora continua

El mayor valor aparece cuando el backtesting deja de ser una actividad puntual y pasa a formar parte de un ciclo permanente.

Diseñar → Simular → Ejecutar → Monitorear → Comparar → Evolucionar

Diseñar

Definir políticas, modelos, reglas, segmentos, condiciones, excepciones y objetivos.

Simular

Evaluar alternativas sobre información histórica y estimar sus posibles impactos.

Ejecutar

Implementar la estrategia seleccionada en producción.

Monitorear

Medir su desempeño real y detectar desviaciones.

Comparar

Contrastar resultados frente a otras estrategias, períodos y referencias relevantes.

Evolucionar

Ajustar políticas, modelos y procesos utilizando nueva evidencia.

Este ciclo permite pasar de una gestión crediticia reactiva a una gestión basada en experimentación controlada y aprendizaje continuo.

La estrategia como activo competitivo

En mercados donde múltiples organizaciones tienen acceso a fuentes de datos, modelos analíticos y tecnologías similares, la ventaja competitiva no necesariamente reside en disponer de un modelo más sofisticado.

Puede residir en la capacidad de la organización para convertir conocimiento en decisiones mejores y hacerlo de manera más rápida, controlada y consistente.

Una estrategia de crédito propia permite definir cómo la organización quiere crecer, qué riesgos está dispuesta a asumir, qué clientes quiere priorizar y cómo quiere asignar su capital.

La tecnología debe permitir expresar esa estrategia, probarla y evolucionarla; no imponer las limitaciones de su propia arquitectura.

Por eso, el verdadero objetivo del backtesting no es simplemente demostrar que una nueva política “funciona”.

Es crear las condiciones para que la organización pueda experimentar con rigor antes de comprometer su cartera.

Conclusión: decidir antes de ejecutar

La transformación digital del crédito no consiste únicamente en automatizar decisiones.

La siguiente frontera consiste en desarrollar la capacidad de diseñar, evaluar, ejecutar y evolucionar estrategias de manera sistemática.

El backtesting proporciona una pieza fundamental de ese proceso: permite analizar escenarios alternativos utilizando evidencia histórica antes de introducir cambios en producción.

Pero su máximo potencial aparece cuando se integra con versionado, trazabilidad, monitoreo, benchmarking y una arquitectura capaz de llevar rápidamente una estrategia desde el diseño hasta la operación.

En definitiva, una organización no debería preguntarse solamente:

“¿Qué estrategia estamos ejecutando?”

También debería poder responder:

“¿Qué otras estrategias evaluamos, por qué elegimos esta y qué evidencia sustentó la decisión?”

Ese es el punto en el que la gestión crediticia comienza a evolucionar desde la ejecución de políticas hacia una verdadera gestión estratégica de las decisiones.

Y en un negocio donde cada decisión impacta simultáneamente sobre riesgo, rentabilidad y crecimiento, contar con evidencia antes de cambiar puede ser tan importante como la decisión misma.

Diseñe. Simule. Ejecute. Monitoree. Compare. Evolucione.

El valor de cada decisión comienza mucho antes de que la decisión llegue a producción.

¿Puede evaluar una nueva estrategia antes de llevarla a producción?

Diseñar mejores estrategias de crédito requiere más que modelos predictivos. Requiere la capacidad de simular escenarios, comparar alternativas, medir impactos y tomar decisiones sustentadas en evidencia.

En Addalitica ayudamos a las entidades financieras de América Latina a diseñar, simular y ejecutar sus estrategias de crédito, integrando datos, modelos, políticas, reglas y procesos en una arquitectura diseñada para operar con trazabilidad, control y escala.

Conozca cómo transformar el análisis en decisiones de crédito más inteligentes.