Iluminando la caja negra del aprendizaje automático

Gerente senior de cartera, Man Numeric

Hasta la fecha se han logrado pocos avances para aprovechar los modelos de aprendizaje automático para la atribución de carteras de factores. Explicamos dónde y cómo los inversores sistemáticos pueden encontrar explicaciones granulares y locales del rendimiento.

agosto 2023

Si bien los modelos de aprendizaje automático pueden haber mejorado los rendimientos, actualmente los inversores no saben de dónde provienen esos rendimientos.

La gestión de carteras moderna ha adoptado cada vez más modelos de aprendizaje automático (ML) para predecir rentabilidades debido a su capacidad para capturar interacciones complejas entre factores. El inconveniente es que el resultado final suele ser algo parecido a un modelo de caja negra con resultados altamente optimizados. Esto significa que a menudo resulta complicado comprender las predicciones y la toma de decisiones de un modelo. Para contrarrestar esto, se utilizan técnicas de interpretación o atribución de modelos para intentar explicar el fundamento detrás de las predicciones del modelo y descubrir las características que más contribuyen al resultado. Sin embargo, hasta ahora se ha avanzado poco para aprovechar los modelos de ML para la atribución de carteras de factores, que es un componente crítico de la inversión sistemática de cartera. Sin esta evolución, es difícil entender con precisión qué factores están afectando los rendimientos de las carteras. Si bien los modelos de ML pueden haber mejorado los rendimientos, los inversores actualmente están algo ciegos sobre de dónde provienen esos rendimientos.

Las metodologías de atribución de factores lineales existentes adolecen de limitaciones, como la falta de capacidad para capturar los efectos de la interacción local y la suposición implícita de una beta global singular. En lugar de ello, argumentaríamos que los inversores sistemáticos necesitan mirar más allá de los modelos de atribución lineal existentes para encontrar explicaciones granulares y locales del desempeño.

Una solución es utilizar el valor de Shapley. En este artículo, profundizamos en qué es el valor de Shapley, cómo se puede aplicar para explicar los resultados del modelo y cómo calculamos los valores de Shapley utilizando explicaciones aditivas de SHApley (SHAP), una implementación específica del valor de Shapley. También explicamos cómo se puede utilizar un marco de atribución de desempeño basado en SHAP para la atribución de cartera local y global e introducimos un sistema de atribución de cartera innovador que utiliza el valor de Shapley y SHAP para explicar tanto el proceso de toma de decisiones como la variación transversal del rendimiento a nivel local y nivel global. También demostramos el poder explicativo mejorado de la atribución SHAP incorporando modelos de ML no lineales como XGBoost.

Si los modelos de aprendizaje automático siguen proporcionando rendimientos razonables, ¿por qué preocuparse por perfeccionar las metodologías de atribución? En definitiva, porque son inadecuados. Las metodologías de atribución de factores existentes, como la regresión de series temporales, la atribución de rendimiento transversal y la atribución basada en tenencias, se basan en modelos lineales, lo que les impide capturar los efectos de interacción local con el supuesto de beta lineal global.

Por ejemplo, la regresión de series de tiempo está limitada por el problema de dimensionalidad y el supuesto de beta constante a lo largo del tiempo, lo que la hace menos útil para la gestión dinámica de carteras. Por el contrario, la atribución de rendimiento transversal con un conjunto de factores de riesgo, como la utilizan comúnmente los proveedores de modelos de riesgo, supone que la generación de rendimiento puede atribuirse a un modelo de factor global lineal. Su prima cercana, la atribución basada en tenencias, estima la exposición de las tenencias de la cartera a un conjunto de carteras de factores personalizados. Aunque las tres metodologías se basan en la misma estructura de retorno de factores lineales, difieren en términos de sofisticación y flexibilidad de personalización. Sin embargo, estas metodologías no son capaces de capturar los efectos de la interacción debido a la relación no lineal entre esas variables independientes.

El valor de Shapley es un concepto de la teoría de juegos cooperativos que mide la contribución de cada jugador al pago de un juego de coalición.

El valor de Shapley es un concepto de la teoría de juegos cooperativos que mide la contribución de cada jugador al pago de un juego de coalición. Los cuatro axiomas del valor de Shapley1 garantizan que la distribución de pagos sea justa cuando los jugadores pueden formar coaliciones y los pagos dependen del desempeño de la coalición. El valor de Shapley es el único método de pago que satisface estos cuatro axiomas. La distribución de pagos se calcula en función de la contribución marginal de un jugador permutando todas las combinaciones de los jugadores.

La idea básica detrás de la atribución SHAP es explicar el resultado de cada valor (peso y rendimiento) como la suma de la contribución de cada factor (también conocido como característica en el lenguaje ML). El conjunto de factores utilizados lo definen los usuarios. Los ejemplos incluyen factores fundamentales como factores de Barra, puntuaciones de modelos o cualquier métrica que pueda usarse como entradas para un modelo que ayude a predecir el resultado. El valor SHAP de una característica es el cambio en el valor esperado que se genera al incluir esa característica. Este enfoque nos permite desacoplar la atribución de los modelos subyacentes utilizados para explicar las tenencias de cartera o los rendimientos de las acciones, brindando la flexibilidad de utilizar cualquier modelo que consideremos adecuado para explicar el peso de la cartera y los rendimientos transversales.

La atribución SHAP puede capturar efectos de interacción local y otras relaciones no lineales que están más allá del alcance de los modelos lineales empleados en las metodologías de atribución existentes.

Con este enfoque, deberíamos poder explicar el proceso de toma de decisiones y la variación transversal del rendimiento para cada valor de una cartera, es decir, una explicación local. Por lo tanto, la atribución SHAP puede capturar efectos de interacción local y otras relaciones no lineales que están más allá del alcance de los modelos lineales empleados en las metodologías de atribución existentes.

Calcular un valor de Shapley exacto es computacionalmente costoso e intratable cuando el número de características es grande. Por tanto, es necesaria una solución aproximada. Una de esas formas de calcular un valor de Shapley aproximado es mediante muestreo estadístico. SHAP es una implementación popular del valor de Shapley y proporciona varios algoritmos de aproximación. Incluye Kernel SHAP, una implementación independiente del modelo del valor de Shapley y algunos algoritmos rápidos y eficientes específicos del modelo, como TreeSHAP, para calcular los valores de Shapley. Para todos nuestros estudios, utilizamos el paquete SHAP con la API de Python para calcular el valor aproximado de Shapley. Específicamente, utilizamos TreeSHAP cuando los modelos subyacentes se basan en árboles de decisión.

Proponemos un marco de atribución de cartera basado en la implementación SHAP del valor Shapley. La atribución es el proceso de explicar el desempeño de una cartera. El rendimiento es la suma del producto del peso de cada valor y el rendimiento mantenido en la cartera. Los inversores tienen control sobre las ponderaciones de la cartera pero no sobre el rendimiento. Por lo tanto, la atribución de cartera debe explicar cómo se toman las decisiones de inversión y qué impulsa los rendimientos. En general, los inversores utilizan sus propios modelos y un conjunto de factores (estilo, industria o país) para explicar las ponderaciones de la cartera de inversiones y la variación transversal del rendimiento.

La propiedad independiente del modelo del valor de Shapley nos permite separar los modelos utilizados para predecir el resultado y la atribución de los factores utilizados para explicar el valor predicho. Los modelos de ML no lineales se pueden utilizar para explicar tanto la toma de decisiones como las fuentes de retorno transversales. Los modelos lineales imponen una estructura global estricta e incorporan un supuesto de causalidad, mientras que los modelos ML no lineales solo requieren correlación y asociación.

Para una interpretación global a nivel de cartera o grupo, podemos agregar los valores SHAP de abajo hacia arriba a partir de los valores Shapley del valor. Además de la coherencia entre la explicación local y global, este enfoque ofrece flexibilidad y agregación personalizada.

El siguiente diagrama muestra el marco para la atribución SHAP. Ajustamos dos modelos basados ​​en factores proporcionados por el usuario, uno para explicar el proceso de toma de decisiones (es decir, el peso de un valor en la cartera) y otro para explicar las fuentes de rendimiento transversales. Los modelos empíricos basados ​​en árboles ofrecen una explicación mucho mejor, consistente con nuestras observaciones de que la interacción no lineal entre factores juega un papel importante tanto en la toma de decisiones de inversión (ya que la cartera está sujeta a diversas restricciones de inversión y liquidez incluso cuando el pronóstico de rendimiento proviene de factores lineales). modelos) y fuentes de retorno transversales.

Fuente: Man Numeric. Con fines ilustrativos.

El rendimiento de la cartera es simplemente la suma del peso de cada valor multiplicado por su rendimiento. La Figura 1 muestra que el peso ajustado al modelo se puede escribir como la suma de los valores SHAP de los factores utilizados para ajustar el modelo de peso. De manera similar, el rendimiento previsto del modelo se puede escribir como la suma de los valores SHAP de los factores utilizados para ajustar el rendimiento. Por lo tanto, la atribución de rendimiento para cada valor es simplemente el peso SHAP del valor multiplicado por su rendimiento SHAP; este es un producto de división de caras en términos matriciales. La atribución del rendimiento global se realiza agregando valores SHAP desde el nivel de seguridad. Vale la pena señalar que el valor de Shapley mide la contribución marginal, lo que implica que el valor SHAP para el rendimiento es una atribución del exceso de rendimiento cuando el modelo se ajusta a un universo amplio; y para el peso, se prefiere el peso activo ya que es más consistente con el concepto marginal.

En la sección anterior, demostramos un marco de atribución de desempeño general utilizando valores SHAP para atribuir el peso de la cartera y el rendimiento de los valores. Esto lleva a la siguiente ecuación a nivel de cartera:

si usamosmetrocaracterísticas para explicar el peso ykcaracterísticas para explicar la devolución, habrám*k Valores SHAP para explicar el desempeño de cada acción como resultado de la expansión total. Si el residual, que es la diferencia entre el valor explicado por el modelo y el valor real, también se incluye en el cálculo, entonces hay(metro+1)*(k+1) elementos de atribución de desempeño para cada valor. Esto puede volverse difícil de manejar e ininterpretable, incluso con un número pequeño de características y, por lo tanto, es necesaria cierta agregación. Este marco ofrece a los usuarios control total sobre cómo se deben agregar e interpretar los datos. Sugerimos dos enfoques intuitivos y destacamos su conexión con la atribución de cartera de factores lineales existente:

Un beneficio de la expansión total de los valores SHAP de peso y rendimiento es responder preguntas como, para la acción A, ¿cuánta contribución proviene del peso impulsado por el factor Momentum y el rendimiento de la acción debido al factor Valor? Este es el peso SHAP de la acción A para Momentum multiplicado por su retorno SHAP para Valor. Podemos acumular este término en todos los valores para obtener una respuesta a nivel de cartera.

La Figura 2 ilustra los dos métodos. En este ejemplo estilizado, se utiliza Valor para explicar tanto el peso como el retorno, y la agregación se realiza desde el lado del peso (líneas grises) o del retorno (líneas amarillas). Terminamos con explicaciones muy diferentes sobre cuánto rendimiento podemos atribuir al Valor. Nos gustaría señalar que la atribución desde el lado de la ponderación es equivalente a la atribución basada en tenencias (HBA) cuando el modelo de ponderación subyacente es lineal (con el residual en el rendimiento de los valores incluido). La atribución desde el lado del rendimiento es equivalente a la atribución transversal basada en el rendimiento cuando el modelo de rendimiento subyacente es lineal (con ponderación residual incluida). Conceptualmente, la atribución SHAP que proponemos aquí es un marco más general que puede adaptarse a los métodos actuales de atribución de factores.

En este marco general, hemos conciliado la observación empírica, a menudo desconcertante, de que el mismo factor puede tener una atribución muy diferente utilizando HBA versus atribución basada en retornos. Contrariamente a lo que algunos afirman, no existe ninguna ventaja inherente de la HBA sobre la atribución basada en el rendimiento. Ambas son explicaciones basadas en modelos lineales globales con diferentes perspectivas; uno utiliza factores para explicar la decisión de ponderación e ignora las fuentes de rendimiento y el otro enfoque desde el lado del rendimiento e ignora los factores que impulsan las decisiones de inversión. Dependiendo del caso de uso, uno de los dos métodos de agregación puede preferirse al otro o, a veces, los términos de interacción también pueden ser de interés, como lo demuestra nuestro ejemplo anterior utilizando Momentum como fuente de ponderación y Valor como fuente de retorno. Podemos ver en el diagrama que el desempeño total “explicado” permanece sin cambios sin importar de qué lado agreguemos. Dejamos de lado el residual, que es la parte "inexplicable" y, por tanto, es una de las ideas que ofrece el marco de atribución SHAP.

Fuente: Man Numeric. Con fines ilustrativos.

La combinación de potentes modelos de aprendizaje automático no lineal, como XGBoost, con la atribución basada en SHAP mejora la atribución del rendimiento de la cartera.

Como se mencionó anteriormente, las metodologías de atribución de factores existentes no son capaces de capturar los efectos de la interacción entre diferentes variables independientes y las relaciones no lineales entre ellas. Nuestro estudio de caso muestra que la combinación de potentes modelos de aprendizaje automático no lineales, como XGBoost, con la atribución basada en SHAP mejora la atribución del rendimiento de la cartera al capturar los efectos de interacción entre variables y permitirnos cuantificar la relación no lineal de "caja negra" entre factores. En nuestras pruebas de atribuir el rendimiento de una cartera global diversificada con unos pocos cientos de valores a un conjunto de características que incluyen las puntuaciones de nuestro modelo y algunas variables comunes del mercado, podemos lograr un R cuadrado de más del 95 % utilizando modelos basados ​​en árboles como XGBoost. frente a alrededor del 60% que utiliza modelos lineales para explicar el peso de la cartera. De manera similar, los modelos basados ​​en árboles han logrado consistentemente un R cuadrado mucho más alto al explicar los rendimientos transversales con un número limitado de características en comparación con la regresión lineal. La mejora proviene principalmente de la capacidad de capturar efectos de interacción local y otros patrones no lineales a nivel de seguridad.

Cabe señalar que los modelos basados ​​en árboles tienden a “sobreajustar” los datos en comparación con la regresión lineal, por lo que la regularización es importante para equilibrar el poder explicativo adicional con resultados sin sentido y sobreajustados. En general, el mayor poder explicativo y la flexibilidad de la atribución SHAP nos permiten mejorar nuestra comprensión de la gestión de carteras y la toma de decisiones de inversión al nivel más granular.

La atribución del desempeño de la cartera es crucial para comprender y confiar en el proceso de inversión.

La atribución del desempeño de la cartera es crucial para comprender y confiar en el proceso de inversión. Es una tarea desafiante para las carteras administradas sistemáticamente, ya que la naturaleza de "caja negra" de los modelos y la construcción altamente optimizada de la cartera hacen que el resultado sea menos interpretable. Los valores de Shapley combinados con modelos de aprendizaje automático no lineales son herramientas poderosas para interpretar modelos de caja negra y comprender las contribuciones de modelos o factores, proporcionando información sobre los procesos de toma de decisiones y las fuentes de retorno realizadas. Finalmente, la técnica utilizada aquí puede ofrecer áreas potenciales de investigación más allá de la atribución de desempeño, como la posible construcción de modelos de riesgo con no linealidad incorporada utilizando valores SHAP para rendimientos transversales.

1. Los cuatro axiomas incluyen: eficiencia, nulidad, simetría y aditividad.