Influence Sensitivity Plots

7 de febrero de 2023

Influence Sensitivity Plots: Una Herramienta Efectiva de Medición de Modelos de IA

La cantidad de información que se produce en el mundo actual aumenta a una tasa exponencial, lo que plantea desafíos para los modelos de inteligencia artificial (IA) para ser útiles y efectivos. La elección adecuada de métricas de rendimiento de modelos puede proporcionar una visión realista de la capacidad del modelo para predecir resultados en un conjunto de datos estático, pero el mundo cambia constantemente. La explicabilidad es un pilar fundamental de la calidad del modelo y es esencial para garantizar la confianza en los resultados.

Valores de Kapley y Plot de Sensibilidad a la Influencia (ISP)

Los valores de Kapley son una herramienta general que ayuda a atribuir la salida de una función a sus entradas y se utilizan ampliamente para explicar por qué un modelo de IA hizo una determinada predicción. Una forma de ver cómo un modelo de IA está respondiendo internamente a una característica para hacer predicciones es a través de un Plot de Sensibilidad a la Influencia (ISP). Además de los ISPs, existen otros métodos de visualización para la explicabilidad, como los gráficos de dependencia parcial (PDP) y los gráficos de efectos locales acumulados (ALE).

Ventajas de los ISPs en comparación con PDPs y ALEs

Los ISPs superan algunos de los desafíos de los PDPs y ALEs y pueden aportar valor a la mejora del modelo. Los PDPs varían una característica mientras independientemente aleatorizan el resto para calcular el efecto marginal de una característica dada. Por otro lado, los ALEs calculan los efectos de la perturbación de la característica localmente y, por lo tanto, no se pueden interpretar confiablemente en múltiples intervalos.

Los ISPs, por otro lado, muestran la influencia de cada punto en el conjunto de datos y no requieren un concepto de vecindario para su interpretación. Los valores de QII detrás de los ISPs atribuyen cuánta de la diferencia entre la salida de un punto dado y el grupo de comparación se debe a esa característica. Además, el ISP permite comprender la influencia de la característica de manera imparcial, incluso para características que interactúan.

ISPs para Características Categóricas

Los ISPs también pueden utilizarse para características binarias y proporcionar la misma información que para las características continuas. Los ISPs pueden diferenciarse en subconjuntos de puntos para transmitir información adicional utilizando una técnica llamada ISPs agrupados. Estos ISPs agrupados a menudo descubren patrones divergentes de influencia, que pueden ser diferenciados por segmentación de datos o por la incorporación de un segundo modelo.

ISPs Agrupados para Comparar Influencias en Diferentes Segmentos y Modelos

La comprensión del comportamiento de la característica en un subconjunto significativo de un conjunto de datos puede ser tan importante como comprenderlo en el conjunto de datos completo. Los ISPs agrupados son útiles para comparar la influencia de las características en diferentes segmentos y modelos. Al poder observar la influencia de las observaciones individuales, se pueden hacer comparaciones de cómo diferentes modelos divergen en su tratamiento de una observación particular, además de los cambios en la influencia de la característica en la puntuación del modelo en general.

Gráficos de Densidad de Influencia y Ocurrencias de Valores de Datos

Los gráficos de densidad de influencia y las ocurrencias de valores de datos pueden acompañar al ISP para enriquecer nuestra comprensión de una característica dada. Esta combinación proporciona un trío dinámico para aprovechar para comprender nuestro modelo, garantizar la solidez conceptual y mejorar la calidad.