Conceptos estadísticos fundamentales en ciencia de datos (I)

Iniciamos una serie de conceptos para que seas un experto en ciencia de datos, y lo iniciamos con cuatro conceptos estadísticos con ejemplos fundamentales en ciencia de datos.

1. Teorema del límite central

Este teorema establece que, dado un tamaño de muestra suficientemente grande, la distribución de las medias de la muestra se aproximará a una distribución normal, independientemente de la forma de la distribución de la población subyacente. Este es un concepto importante en la inferencia estadística, ya que nos permite usar métodos basados ​​en distribución normal para hacer inferencias sobre una población basada en una muestra.

Ejemplo: Supongamos que tenemos una población de alturas de personas y queremos hacer inferencias sobre la media de alturas de la población. Si tomamos una muestra aleatoria de tamaño suficientemente grande (por ejemplo, más de 30 elementos), podemos usar el teorema del límite central para aproximar la distribución de las medias de la muestra a una distribución normal. Esto nos permite utilizar técnicas de inferencia basadas en distribución normal, como el intervalo de confianza, para hacer inferencias sobre la media de alturas de la población.

2. Correlación y causalidad.

La correlación se refiere a una relación estadística entre dos variables, donde un aumento o disminución en una variable se asocia con un aumento o disminución en la otra. Sin embargo, el hecho de que dos variables estén correlacionadas no significa necesariamente que una sea la causa de la otra. Establecer la causalidad requiere pruebas y experimentación adicionales.

Ejemplo: Supongamos que se lleva a cabo un estudio para investigar si hay una correlación entre el nivel de ingresos y el nivel de educación. Se encuentra que, en general, las personas con más educación tienen mayores ingresos. Sin embargo, esto no necesariamente significa que la educación cause aumentos en los ingresos. Otros factores, como la habilidad natural, la dedicación y la experiencia laboral, también pueden afectar tanto la educación como los ingresos. Para establecer una relación causal, se necesitan más pruebas, como experimentos o análisis de datos de observación controlados.

3. Valores p

Los valores P se utilizan para determinar la importancia estadística de un resultado. Representan la probabilidad de que el resultado observado ocurra por casualidad, dada la hipótesis nula (es decir, la hipótesis de que no existe relación entre las variables que se estudian). Un valor p bajo indica que es poco probable que el resultado observado haya ocurrido por casualidad, lo que respalda la hipótesis alternativa (es decir, la hipótesis de que existe una relación entre las variables).

Ejemplo: Supongamos que se lleva a cabo un estudio para investigar si hay una diferencia significativa en la tasa de éxito en exámenes entre dos grupos de estudiantes que reciben diferentes métodos de enseñanza. Se encuentra que el grupo que recibió el método de enseñanza A tuvo una tasa de éxito del 60%, mientras que el grupo que recibió el método de enseñanza B tuvo una tasa de éxito del 70%. Se realiza una prueba estadística para determinar si esta diferencia es significativa y se obtiene un valor p de 0.03.

Este valor p indica que es poco probable que la diferencia en las tasas de éxito se deba al azar, por lo que podemos concluir que el método de enseñanza B tiene una tasa de éxito significativamente mayor que el método de enseñanza A.

4. Errores tipo I y tipo II

En las pruebas estadísticas, se produce un error de tipo I cuando rechazamos la hipótesis nula cuando en realidad es verdadera (falso positivo). Un error de tipo II ocurre cuando no podemos rechazar la hipótesis nula cuando en realidad es falsa (falso negativo). La compensación entre los dos tipos de errores se puede controlar mediante el umbral del valor p para rechazar la hipótesis nula.

Ejemplo: Supongamos que se lleva a cabo un estudio para investigar si hay una diferencia significativa en el tiempo de reacción entre dos grupos de personas de diferentes edades. Se establece un umbral del valor p de 0.05 para rechazar la hipótesis nula (es decir, que no hay diferencia en el tiempo de reacción entre los dos grupos). Se encuentra que el grupo de personas mayores tiene un tiempo de reacción significativamente más lento que el grupo de personas más jóvenes, con un valor p de 0.01.

En este caso, rechazamos la hipótesis nula y concluimos que hay una diferencia significativa en el tiempo de reacción entre los dos grupos. Si el valor p hubiera sido mayor que el umbral de 0.05, no habríamos podido rechazar la hipótesis nula y habríamos concluido que no hay una diferencia significativa en el tiempo de reacción entre los dos grupos. Si el valor p hubiera sido menor que 0.05, pero no lo suficientemente bajo como para justificar un rechazo de la hipótesis nula, habríamos incurrido en un error de tipo II.