Mis grupos son diferentes ¿Cuán diferentes? El tamaño del efecto

Estimados todos, nos vemos de nuevo, para una aventura más en Stats SOS. Espero que estén muy bien y tengan los cinturones bien abrochados y estén preparados para la aventura de hoy.

Quizás se habrán preguntado, “Ok, mis grupos son diferentes en una T-student (ver post) o U de Mann Whitney (ver post), pero ¿cómo se cuán diferentes son?” Bueno, para ello existen ciertas técnicas para averiguarlo. No basta solo con mirar los promedios y decir “¡Ah, hay una gran diferencia entre un promedio o una mediana y otra entonces deben ser muy diferentes”. Para ello veremos un análisis llamado el tamaño del efecto que nos permite comprender con mayor profundidad la diferencia entre dos grupos.

Entonces, la aventura de hoy requiere estar con la mente abierta y bien animados, para lograr cruzar por el camino del tamaño del efecto para que al final de la travesía podamos describir de manera sencilla qué es este análisis.

En ese caso, el tamaño del efecto en sencillo es la magnitud de la diferencia entre los puntajes promedio o medio de un grupo y otro. En sencillo, cuán diferentes son los puntajes promedios (o las medianas de los puntajes) de  dos grupos. Los que no recuerdan qué son promedios o medianas siempre pueden ir a este post para refrescar la memoria.

En este caso, el tamaño del efecto es un complemento de nuestra significación estadística en las comparaciones de medias o medianas. Ahora nos preguntamos, ¿Por qué se necesita esto? Por dos razones muy sencillas: a) Por ejemplo, la T-Student o los análisis de U de Mann Whitney te dicen exactamente que hay diferencias entre dos grupos pero no cuán diferentes son.  b) Cuando tenemos grupos muy pequeños (por ejemplo: grupo uno con 10 personas y grupo dos con otras 10  personas) las pruebas de significancia (el valor p) no funcionan de manera adecuada porque estos análisis están diseñados para muestras más grandes. Los que no recuerdan qué es la significancia siempre pueden volver a este post. 

¡Perfecto! ¿Hasta ahí todo bien? No se angustien, vamos con calma. Creo que dos ejemplos nos podrán ayudar a pasar exitosamente por esta travesía. En este caso, tomaremos ejemplos pasados, para ello, veremos por un lado al ejemplo del post de T-student con muestras independientes y por otro al de U de Mann Whitney.

¡Muy bien vamos al primer ejemplo! En esa aventura comparamos si existía diferencias entre los puntajes de una prueba de bienestar entre hombres y mujeres. Ahí comparamos dos grupos (50 hombres y 50 mujeres) y les tomamos una prueba de bienestar. Finalmente, los resultados salieron significativos y por ende se mostró una diferencia entre hombres y mujeres ¡y fuimos felices! Los que quieren recordar esto siempre pueden volver a este post. 

Pero ahora iremos un poco más lejos y averiguaremos cuán grande son estas diferencias. Para ello veremos primero la tabla que muestra algunos resultados.

Tabla 1:

Untitled

¡Excelente! Ahora que tenemos estos resultados, necesitamos calcular el tamaño del efecto. Para ello, necesitaremos nuestra calculadora de mano o alguna hoja de cálculo como Excel o Numbers (Mac). Pero no nos asustemos, no es una fórmula imposible ni mucho menos. ¿Están preparados? ¡Aquí va!

Fórmula 1: Esta fórmula es la llamada d de cohen, porque Jacob Cohen fue el primero que la propuso para poder calcular cuán diferentes eran dos grupos.

 d de Cohen

Fórmula 2: Esta fórmula muestra cómo calcular la desviación estándar ponderada. Esta se utiliza cuando las desviaciones estándar (o típicas) de nuestros grupos son diferentes.

desviacionstandard

Listo! Aquí tenemos las dos fórmulas, se que pueden verse horribles y espantosas, pero no lo son, nosotros somos valientes aventureros y podemos enfrentar exitosamente este reto. Como ven, para calcular la d de cohen que nos muestra la magnitud del efecto es necesario primero calcular la desviación estándar ponderada. Esta es una especie de desviación estándar general para nuestros dos grupos.

En este caso, asumiremos que el grupo t son hombres y el grupo c son mujeres. Por ello, podemos ver los siguientes valores que sacamos de la Tabla 1:

nt = 50,

nc = 50

st = 4.23031

sc = 5.02975

xt = 14.32

xc = 11.74

Paso 1: Calcula la desviación estándar ponderada

Muy bien, si reemplazamos todos esos valores primero en la fórmula 2 vemos que la desviación estándar ponderada es: 

S ponderada = √((50-1)(4.230312)) + ((50 -1)(5.029752))/50 + 50 = 4.601

No se asusten si ponen estos valores en Excel o Numbers la computadora puede hacer el cálculo por ustedes.

Paso 2: Calcular la de d de Cohen.

¡Listo! Ya que tenemos la primera parte que es la desviación estándar ponderada vamos a la otra fórmula que es la d de cohen que nos dará los tamaños del efecto. Para ello hacemos el siguiente cálculo:

d = (14.32 – 11.74)/4.601 = 0.5607

Ahora, ¿qué diablos significa este número? ¡Muy sencillo Cohen propuso algunas reglas para determinar si una diferencia es pequeña, moderada o grande. El autor planteaba que .20 hacia arriba, es una diferencia pequeña, .50 hacia arriba es una diferencia moderada y .80 hacia arriba es una diferencia grande (Cohen, 1988).

Ojo, pestaña y ceja (1): En cierta literatura es posible que se encuentre otra fórmula donde no se debe calcular una desviación estándar ponderada. Esto se debe a que la primera fórmula que utilizó Cohen asumía que ambos grupos tenían desviaciones estándar iguales. Sin embargo, como vemos en nuestro ejemplo, (y en la mayoría de casos de la vida real) esto no se da. Aparte, en la literatura existen una serie de diferentes fórmulas como la delta de Glass y la g de Hedges que son extensiones o mejorías de la fórmula original de Cohen. Los que tienen curiosidad sobre estas fórmulas siempre pueden dejar un genial comentario al final para poder conversar sobre ello. Por el momento, utilizaremos esta fórmula que suele ser la más convencional pero que además propone una alternativa cuando los puntajes de nuestros grupos tienen desviaciones estándar distintas.

¡Perfecto! Luego de haber hecho el preámbulo, podemos ver que nuestra d = 0.5607, lo cual muestra una diferencia moderada entre los puntajes de bienestar entre hombres y mujeres. 

Ojo, pestaña y ceja (2): El tamaño del efecto está muy relacionado con el poder estadístico. Sin embargo, en esta aventura no veremos este tema. De todos modos, los que están interesados en surcar por esos senderos, siempre pueden dejar un maravilloso comentario en este post.

¿Siguen aquí? ¿Está todo bien? ¡Seguro que sí! Ahora vamos a nuestro segundo ejemplo. En este veremos la diferencia de dos grupos utilizando la U de Mann Whitney y luego de ello calcularemos el tamaño del efecto cuando utilizamos análisis no paramétricos. 

¡Excelente! En este caso, recabamos 27274 personas y comparamos entre hombres y mujeres la percepción de cuánto dinero se necesita para vivir en un mes. En este análisis comparamos 14711 mujeres contra  12563 hombres. En ello vimos que los puntajes no tenían una distribución normal por lo que tuvimos que utilizar la U de Mann Whitney. Al final, encontramos que los hombres mostraban un mediana de 1200 mientras que las mujeres una mediana de 1000 (pongamos dólares) para vivir durante un mes y estas diferencias eran significativas (Ver tabla 3).  Los que quieren recordar este ejemplo siempre pueden volver a este post. 

Tabla 3

significancia

Ahora, ¿Cómo saber si es que esa diferencia es efectivamente grande?

¡Muy sencillo! Tenemos que calcular una nueva fórmula. Dejamos a Cohen descansar y en esta ocasión invocamos la r de Rosenthal (Rosenthal, 1991). ¿Están listo? ¡Aquí va!

Formula 1:

Rosenthal

Como ven, esta fórmula se ve mucho más sencilla. Para ella, necesitamos el valor Z de nuestra U de Mann Whitney y la cantidad de gente (N) del cual se basa todo el análisis.

Ojo, pestaña y ceja (3): Se usa la cantidad de gente de todo el análisis y no de cada uno de los grupos.

En este caso, tenemos una Z = -9.666 y una N = 27274. Si realizamos el cálculo obtenemos lo siguiente:

r= -9.666/√27274 = -0.058

Este valor, según los criterios de Cohen (o también la extensión que hizo Rosenthal) que vimos previamente, muestra que existe un efecto pequeño (Rosenthal, 1991) en las diferencias de puntajes de percepción de dinero necesario para vivir un mes entre hombres y mujeres.

Ojo, pestaña y ceja (4): La r de Rosenthal es muy sensible a la cantidad de gente que se tiene en el estudio (la cantidad de muestra, mientras más grande la muestra menor será el tamaño entre un grupo y otro). ¡No hay que temer con esto! Esto es normal, muestras muy grandes (grupos con cantidades muy grandes de gente), por un lado pueden tener la posibilidad de incluso representar a la población (dependiendo de otros factores como por ejemplo, el tipo de muestreo que se utilice). Por otro, agregar por ejemplo 10 personas más a dos grupos de 28 mil personas y obtener las medianas no generará una diferencia muy potente por eso el efecto suele ser pequeño cuando tienes muestras demasiado grandes.

¡Perfecto! Creo que esto sería todo por hoy, hemos llegado a la meta sanos y salvos :). Espero que esta aventura haya sido agradable para ustedes valientes lectores. Como siempre los invito a dejar un comentario en el post de hoy compartiendo sus impresiones.

Para la siguiente aventura volveremos a las regresiones y nos extenderemos un poco más y veremos temas como mediación y moderación. Ha sido un placer compartir esta aventura con ustedes y los invito a poner “Me gusta” (Like) en la página de Facebook de Stats SOS, así como seguirnos en Twitter.

¡Hasta la próxima aventura! ¡Buenas vibras!

Referencias

Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd. edit., Hillsdale, N.J., Erlbaum (primera edición, 1977 New York: Academic Press).

Field, A. Discovering statistics using SPSS. Sage. UK.

Ledesma, R., Macbeth, G., Cortada de Kohan, N. (2008). Tamaño del efecto: revisión teórica y aplicaciones con el sistema estadístico vista. Revista Latinoamericana de Psicología, 40(3), 425-239.

Rosenthal, R. (1991). Meta- analytic procedures for social research (2nd ed.). Newbury Park, CA: Sage.

Thalheimer, W., & Cook, S. (2002, August). How to calculate effect sizes from published research articles: A simplified methodology. Retrieved November 31, 2002 from http://work-learning.com/effect_sizes.htm.

Anuncios

Acerca de Juan Carlos Saravia Drago

Magister de Estadistica aplicada a las ciencias sociales (Quantitative analysis for the social science). Katholieke University of Leuven (KUL). Magister en psicología clinica y de la salud de la Pontificia Universidad Católica del Perú (PUCP). Especialista en análisis cuantitativos en promoción de la salud, estrés, salud ocupacional y en jóvenes.
Esta entrada fue publicada en Básico 1.0 y etiquetada , , , , , . Guarda el enlace permanente.

46 respuestas a Mis grupos son diferentes ¿Cuán diferentes? El tamaño del efecto

  1. VIRGILIA dijo:

    Muy interesante tu post. Sin embargo, sería muy provechoso y complementaría la idea un post sobre poder del efecto.

    Me gusta

    • Estimada Virgilia,
      Muchas gracias por comentar en Stats SOS. Estoy de acuerdo contigo, creo que si hablas de tamaño del efecto, el siguiente paso lógico sería hablar de poder estadístico. Tengo algunos posts en cola, sin embargo aplazaré algunos y escribiré uno sobre poder estadístico. Luego del de Mediación y Moderación plantearé este tema.
      Muchas gracias por el aporte y que todo vaya muy bien.
      ¡Éxitos!

      Me gusta

  2. Alejandro Vaca dijo:

    Gracias por el artícul. He trabajado esto pero usando los resultados del SAS sin conocer la teoría.

    Me gusta

    • Estimado Alejandro,

      Muchas gracias por escribir en Stats SOS. Me alegra mucho que el post haya sido de utilidad. Sí, en SAS tengo entendido que se puede trabajar magnitud del efecto, es un programa muy flexible.
      Espero tenerte pronto por estos lares y me alegro que el post haya conectado con tu práctica profesional.
      ¡Éxitos!

      Me gusta

  3. An Dre dijo:

    Excelente blog! Hace falta más personas como tú que compartan sin reservas el conocimiento que han adquirido en la práctica. Este artículo me parece interesante por el hecho que no debemos reportar únicamente el valor p cuando realizamos pruebas de hipótesis, sino complementarlo con el tamaño del efecto y/o el poder calculado a posteriori. André Chocó

    Me gusta

    • Estimado André,

      Muchas gracias por escribir en Stats SOS. Te agradezco mucho tu comentario, motiva mucho a seguir creciendo y escribriendo. Sí, como muy bien dices, el valor p puede ser engañoso porque puede ser que estemos cayendo en un error tipo 1 o tipo 2. Recojo nuevamente lo que mencionas, los valores p son importante complementarlos con el tamaño del efecto y el poder estadístico. Pronto escribiré un post sobre poder estadístico.
      ¡Éxitos!

      Me gusta

  4. Mayra dijo:

    Hola Juan Carlos! me alegra mucho leer de ti, saber que estás estudiando en Bélgica y que en general estés feliz. Transmites esa felicidad en tus posts.
    Te cuento que yo también estoy en Europa, en Barcelona. También estudiando y haciendo una tesis, por lo que este post me ayudó mucho a recordar sobre el tamaño del efecto, justo en el momento preciso, puesto que estaba haciendo unos contrastes de medias.
    Que te siga yendo muy bien! 🙂 Yo seguiré revisando tu blog, que ya veo que está buenísimo, muy útil y súper motivador hacia la estadística 🙂
    Saludos!
    Mayra Cuéllar

    Me gusta

    • Hola Mayra,
      ¡Gusto saber de ti! ¡Muchas gracias por escribir en Stats SOS! Me halaga mucho tu comentario, sí, realmente me apasiona la estadística y me alegra que esté transmitiendo eso en el blog. Te agradezco que me lo hagas ver porque los comentarios son los que mejor ayudan a conocer cómo está yendo el blog.
      ¡Te felicito por estar haciendo una maestría en Barcelona! Que bueno saber que el blog Stats SOS esté siendo de utilidad para ti y para hacer tu tesis de maestría.
      Te deseo muchos éxitos, que te vaya excelente en tu tesis, en la maestría y tus proyectos personales.
      Nuevamente te agradezco por el comentario porque motiva a seguir creciendo y aprendiendo.
      ¡Saludos!

      Me gusta

  5. Muy buen artículo, es un tema que estoy estudiando y aplicando a un conjunto de datos, me aclaraste muchas dudas!…Te envío saludos desde Valparaíso, Chile.

    Me gusta

  6. ibiti13 dijo:

    ¡Hola, Juan Carlos! Creo que me estoy volviendo una pesada en su blog, pero, apenas aquí consigo entender algo. Es que las dudas van surgiendo a medida que leo sus posts. Esa pregunta puede sonar un poco básica, pero, la verdad es que me quedé sin saber cómo actuar. Tengo una muestra de 208 estudiantes, siendo 166 mujeres y 42 hombres, lo que ya marca una diferencia importante (tal vez). Además de hacer la comparación de respuestas por género, también es objetivo de la tesis conocer las relaciones por opción sexual. Sin embargo, en este caso, tengo 185 personas heterosexuales, 12 homosexuales y 11 que han elegido otra opción. ¿Cree que puedo utilizar esta muestra o algunos grupos son demasiado pequeños? Muchas gracias. Un saludo desde Barcelona.

    Me gusta

    • Hola Ibiti,

      Muchas gracias por escribir a Stats SOS, no hay problema puede hacer las consultas que quiera.
      Personalmente, no haría esas comparaciones, los grupos son demasiado disparejos. Una posibilidad sería categorizar los grupos de manera diferente de tal modo que puedan estar más o menos parejos con respecto a la cantidad de gente. En hombre y mujeres sí hay un tema porque es difícil poner otras categorías.
      Por otro lado, opción sexual creo que sí podría ser categorizados de tal modo que los grupos sean más similares con respecto al tamaño de los grupos.
      ¡Espero que todo salga muy bien!
      ¡Muchos éxitos! Saludos desde Lovaina.

      Me gusta

  7. Sandra dijo:

    Hola Juan Carlos,

    Muchas gracias por cada una de las entradas que escribes (creo que ya me leí casi todas). La estadística se ha vuelto cada vez más fácil leyendo tu blog.

    Sobre el tema del tamaño del efecto, todo me queda super claro, solo quisiera estar segura sobre cuáles son los criterios que debo utilizar para interpretar la d de Cohen o la r de Rosenthal. Mencionas que para la d de Cohen, el autor plantó: .20 hacia arriba = una diferencia pequeña, .50 hacia arriba = diferencia moderada y .80 hacia arriba = diferencia grande. En el caso de la r ¿El criterio es igual? porque en el ejemplo el valor de r es -0.058 y lo interpretas como pequeño. Quisiera aclarar cuáles son estos criterios (o los más usados) porque leí en algún lugar que los criterios eran distintos, pero no estoy segura.

    Muchas gracia!

    Me gusta

    • Hola Sandra,

      Muchas gracias por escribir a Stats SOS. Me alegro que este espacio esté siendo de ayuda.
      Yo diría que sí utilices la misma lógica. Al final, Rosenthal hace una extensión de las ideas de cohen. De todos modos, también puedes consultar este libro en internet: Field, A. Discovering statistics using SPSS. Sage. UK. Que comenta más sobre el criterio de Rosenthal.

      ¡Mucho éxito!

      Me gusta

  8. Hola Juan Carlos, muchas gracias por lo didáctico de tus post, tenía una duda: ¿Porqué no se puede usar la d de Cohen para medir el efecto en grupos de distribución no paramétrica?

    Gracias por tu respuesta, y que sigan los buenos posts!

    Me gusta

    • Estimado Piero,

      Muchas gracias por escribir a Stats SOS. Me alegro verte por estos lares. La D de Cohen utiliza medias para calcular la magnitud del efecto. El problema de las medias en muestras no parametricas es que es un estadístico que no representa el punto céntrico de la distribución (como si lo hace la mediana). Entonces, dado que la D de Cohen utiliza medias entonces estarías cayendo en un cálculo impreciso.

      ¡Mucho éxito!

      Me gusta

  9. SrMonito dijo:

    Gracias Juan Carlos por el post.

    He estado vuelta por la web y aún sigo confundido con la interpretación de la d de cohen.

    En el estudio que estoy realizando, tengo una comparación de medias con t de student. Da resultados significativos y al sacar la de de cohen me da de 0,599. Tengo dos preguntas, la primera pregunta es: solo puedo interpretar que el tamaño del efecto es moderado? o puedo incluir una interpretación más sustantiva como que : “En términos sustantivos la magnitud del efecto es moderado con un 0,599, lo que indica que el 59,9% de los estudiantes del grupo intervenido tienen mejores notas que el promedio de los estudiantes no intervenidos.”

    La segunda pregunta: que significa el “R” me arroja un R= 0.287 ¿Como lo podría interpretar?

    De antemano muchas gracias JC.
    Espero ser un aporte.

    Saludos de Santiago de Chile.

    Me gusta

    • Estimado Señor Monito,

      Muchas gracias por escribir a Stats SOS. Voy a enumerar tus preguntas para sea más fácil responder:
      1) Puedes decir que la magnitud del efecto es moderado pero no podrías halar de porcentajes porque la d de Cohen trabaja con medias y no con varianzas. El tipo de interpretación que planteas se suele dar cuando analizas varianzas. Entonces, no pondría ese porcentaje, solo mencionaría que las diferencias tienen un magnitud moderada.
      2) La r de Rosenthal se interpreta de la misma manera que la D de Cohe utilizando criterios similares. Ese estadístico es una opción alterna para mostrar la magnitud del efecto cuando tienes pruebas no paramétricas.

      ¡Saludos y mucho éxito!

      Me gusta

  10. Buenas tardes Juan Carlos, el post me queda bastante claro y creo que la explicación es ideal para entenderlo sin tener conocimientos profundos de estadística. La duda que me surge es si la D de Cohen sería válida para una prueba ANOVA que, en principio, creo que no, que se deberia usar eta cuadrado. ¿Tienes planteado algún post en el que expliques lo mismo pero para comparaciones usando ANOVA?. Muchas gracias.

    Me gusta

    • Estimado Adrian,

      Muchas gracias por escribir a Stats SOS. La D de Cohen no sería del todo adecuada para hallar el tamaño del efecto en la prueba de ANOVA. Tal como tu mencionas, lo mejor es utilizar un eta cuadrado. Lamentablemente hasta este momento no tengo un post sobre eta cuadrado escrito. Pero podría ponerlo en la lista y agregarlo en el futuro al blog.

      ¡Mucho éxito! Ojala verte pronto nuevamente por acá.

      Me gusta

  11. arturo dijo:

    Estimado Juan Carlos:

    Nuevamente gracias por esta gran disposición tuya. Tengo un diseño cross over o de dos grupos con medidas repetidas (3). Después de la linea base solo el grupo experimental recibió tratamiento para luego hacer la segunda medición, y antes de la tercera medición, el control se convirtió en experimental. Mi pregunta es si aquí deberíamos estimar la D de Cohen por separado, o como bien dice el post anterior, es mejor estimar Eta cuadrado. Aún en este caso, la duda sería cómo se interpreta Eta cuadrado si el diseño fue cruzado y la contribución de la varianza explicada dependió del momento en que el grupo era control o experimental. Espero haber sido claro…

    Me gusta

    • Estimado Arturo,

      Ahí tendrías que aislar el efecto. Dado que es cross over lo que te estoy entendiendo es lo siguiente:

      GC: LB (No Manipulación) X2
      GE: LB (Manipulación) X2

      y luego en la medición 3 ocurre esto:
      GC: X2 (Manipulación) X3
      GE: X2 (No Manipulación) X3.

      GC: Grupo Control
      GE: Grupo Experimental
      LB: Línea base.
      Las “X” son las mediciones.

      ¿Es así tu diseño?

      Para tener un ANOVA de medidas repetidas necesitas más de tres mediciones a lo largo del tiempo. Estadísticamente es posible hacerlo pero con ese análisis sabrías cómo cambió la medida 1 con respecto a la 2 y la 3 y no se si eso es de tanto interés en el estudio. Además, dentro de ese análisis se podría poner las condiciones como variable independiente que podría tener un efecto en las tres medidas a lo largo del tiempo.

      Intuyo que lo que tendría que pasar es que no hayan diferencias entre los grupos en la LB. Luego, que hayan diferencias entre las mediciones X2 por condición (experimental y control) y también con respecto a LB con X2 en el grupo experimental. Luego, en X3 en el GC deberían haber diferencias entre X2 y X3 y en GE no deberían haber diferencias entre X2 y X3. Finalmente, dependiendo de X2 y la manipulación, podría ser que no hayan diferencias entre grupos en X3 porque la manipulación por contrabalanceo de medidas igualaría el efecto que se ganó con la manipulación anterior. Ahí estarías analizando el efecto del crossover.

      De ser así, con un eta se puede medir el cambio a lo largo del tiempo porque sería intrasujetos. Por otro lado, la comparación entre sujetos, asumiendo que son dos grupos pero múltiples medidas el post hoc de medidas repetidas podría ayudar. Dado que el post hoc es un análisis que en esencia son t students, podrías jalar un poco el análisis y hacer D de Cohen. Pero antes de hacer esto pensaría en las dificultades que pueden traer múltiples análisis de magnitud del efecto (error tipo 1).

      Espero haberme dejado entender

      ¡Mucho éxito!

      Me gusta

      • Anónimo dijo:

        Estimado Juan Carlos, gracias por el comentario. Ciertamente se trata de diseño cross-over en el que mi interés es ver no sólo las diferencias entre los grupos, sino entre los tiempos, y la ventaja que encontraba del ANOVA de medidas repetidas es que además de las anteriores, me otorga el aporte de la interacción. El problema es que por el tamaño de mis gpos (15 vs15), la potencia es débil y ninguna comparación fue p=<.05. Entonces al recurrir al tema del tamaño de efecto, llegué a la misma lógica de comparaciones múltiples, pero sabía de la amenaza del error tipo 1 y la pérdida de información sobre el efecto de interacción. Luego por tu comentario en este blog vi como una mejor salida Eta cuadrado, pero mi duda sigue siendo su uso en el contexto de este diseño, pues SPSS brinda una sola Eta para las múltiples comparaciones en ANOVA, pero supongo que puedo sacar también un ETA para cada comparación. Asumiendo la opción de las comparaciones múltiples por cada pareja de datos por separado (por grupo y por tiempos) como la mejor opción, sólo me queda la duda de tu opinión si es mejor calcular Eta o la D de cohen por cada comparación, y si sabes si existen algunos de estos coeficientes que puedan ser multrivariados en donde podamos parcializar el efecto de otras (por ejemplo el tamaño del efecto del tiempo X2 sobre X3 parcializando el efecto de X1 sobre X2). Gracias de antemano!

        Me gusta

        • Estimado,

          Muchas gracias por escribir a Stats SOS. Comprendo, el tamaño de la muestra puede ser un un gran problema porque hace que los valores p no sean significativos. Con respecto a las múltiples comparaciones, lo que dices es cierto, la amenaza del error tipo 1 es fuerte.
          Mira, creo que hay una parte que no me he dejado entender, cuando tu corres ANOVA de medidas repetidas el SPSS te permite la opción de hacer un post hoc. En esencia, el Post es una prueba t student (depende cuál post hoc) pero corrige por múltiples comparaciones. Ahí le podrías aplicar la D de Cohen porque la comparación del post hoc es de 1 grupo contra otro grupo.

          Ahora bien, el Eta es un tamaño del efecto que se usa en el ANOVA donde sueles tener múltiples grupos (3 o más) o múltiples variables si es que consideras que cada grupo es un dummy (te quedas con 3 dummies).

          Son dos maneras de verlo y enfocarlo, yo no me haría tantos problemas con eso. Pero si te sientes más tranquilo, otra solución es además de los tamaños del efecto, calcular intervalos de confianza con una significancia de 99% de tal manera que puedas atenuar la posibilidad del error tipo 1. Esa también podría ser una solución salomónica y sin complicarte mucho la existencia.

          ¡Mucho éxito!

          Me gusta

  12. adrianseg dijo:

    Buenas de nuevo Juan Carlos, siento las molestias pero empiezo a entender cosas y me surgen nuevas dudas. Buscando calculadoras de Cohen por internet basadas en tu fórmula también tiran un valor r, que es ¿como una transformación a partir de la d basada en las correlaciones?, si pudiese comentarlo mejor. Otro problema es que tus datos, respecto la r de Rosenthal, no sale el valor -0.058 sino -58,5292, que hago mal? Y la última duda es como se presentarían los datos en un informe ya que la r = .58 sería la de Rosenthal o la r relacionada con la correlación, calculable con la D de Cohen. Un saludo y gracias por adelantado.

    Me gusta

    • Estimado Adrian,

      Muchas gracias por escribir a Stats SOS. No es ninguna molestia que me escribas. La r de Rosenthal es una magnitud del efecto utilizando las diferencias halladas cuando se utiliza un análisis no paramétrico tomando en cuenta el tamaño de muestra. En este caso, la Z sale sobre la base del análisis que calculas para buscar diferencias entre rangos promedios o valores que tienen una distribución no paramétrica. Luego, el N vendría a ser el tamaño de la muestra de los dos grupos combinados.
      Por otro lado, para reportar este análisis sí pondría r = .58 pero especificaría que es la R de Rosenthal y no la correlación de Pearson.
      Sobre el tema del cálculo que estás haciendo aparentemente tu programa o lugar donde estás calculando por alguna razón está multiplicando por 1000 tu valor final. En todo caso, revisa quizás en otro programa o ve si es que el software está considerando “,” o “.” como decimales.

      ¡Mucho éxito!

      Le gusta a 1 persona

  13. Sara dijo:

    Hola buenas tardes Juan Carlos, tengo una gran duda, en mi caso comparo dos grupos de 20 sujetos cada uno utilizando la U de Mann-Whitney, pero no tengo un solo dato por sujeto, tengo replicas, por ejemplo 100 replicas por sujeto, entonces al hacer el calculo de la r tengo los siguientes datos z=16.95051 y para N= 40, el resultado es r= 2.68011095507. de ahí mu duda, la N= es el numero total de mi muestra o el numero de replicas x sujeto en este caso 4000.
    si el resultado r= 2.68011095507 es válido¿ la magnitud del efecto es grande?
    muchas gracias

    Me gusta

    • Estimada Sara,

      Muchas gracias por escribir a Stats SOS. En este caso, tu número total es la cantidad de réplicas que has hecho siempre y cuando quieras comparar los sujetos a lo largo del tiempo. Pero dado que tu estás haciendo una comparación entre grupos, entonces tu número total de muestra es la cantidad de sujetos que tienes por ende 40 participantes.
      Sobre la R de Rosenthal, si el efecto te salió eso podríamos decir que si, este efecto es grande (la Z es enorme entonces seguramente hay una gran diferencia entre los grupos).

      ¡Mucho éxito!

      Me gusta

  14. Buenas noches Juan Carlos:
    En primer lugar te agradezco por los valiosos alcances que brindas en tu blog. Me parece muy interesante el cálculo del tamaño del efecto. Al respecto, leí que “para el cálculo del tamaño del Efecto en el caso de diferencia de dos medias, existen diversas alternativas, como la delta de Glass, d de Cohen y g de Hegdes así como una conversión de d a r (un coeficiente de correlación)” (Domínguez, 2013).
    Estoy dando soporte teórico a mis resultados de mi tesis pronto a sustentar la cual es de diseño “preexperimental pretest postest con un solo grupo”, en la cual al analizar los cambios entre el resultados del pre y postest pude ver que la muestra se aproxima a una distribución no normal, por ello apliqué una prueba no paramétrica Wilcoxon, y luego calculé el tamaño del efecto, como sugieres con r para estos casos y se obtuvo 0.88, así que el efecto es grande y eso me alegra mucho. Así que me ha ayudado mucho leer tu artículo.
    Al momento de mencionar la r, y he aquí mi cuestionamiento, ¿es válido presentarlo como “r de Cohen” ¿la r de Rosenthal equivaldría a la “conversión de d a r (coeficiente de correlación)”?
    He buscado en la web y las referencias son escasas, me parece que aún no está muy difundido este estadístico o tal vez no es muy usado, por ello me gustaría todo el soporte teórico para defender su uso en mi tesis.

    A la espera de tus comentarios, me despido
    Saludos

    Giancarlo

    Me gusta

  15. José Rguez dijo:

    Espléndido blog!
    En mi caso no tengo dos muestras sino tres,de variable ordinal, por lo que he empleado KruskalWillis.
    No aparece el valor Z.
    Como haríamos?

    Me gusta

    • Estimado José,

      Muchas gracias por escribir a Stats SOS. No hay problema, el KW te informa si es que existen diferencias entre alguno de los grupos pero no saben cuáles se diferencian entre sí. Por ello, lo que tendrías que hacer es una U-Mann Whitney para cada una de las combinaciones. Grupo 1 con grupo 2, grupo 1 con grupo 3 y grupo 2 con grupo 3. Para las comparaciones que salen estadísticamente significativas tendrías que aplicar una R de Rosenthal.

      ¡Mucho éxito!

      Me gusta

  16. Alexander dijo:

    Estimado Juan Carlos, te agradezco por las luces que nos das en estos temas. Cada vez que profundizo me interesan más. Te quisiera hacer una consulta. ¿Qué quiere decir que el valor de la “d” de Cohen salga negativo?. Por ejemplo me ha salido – 0.93. Gracias por tu respuesta.

    Me gusta

    • Estimado Alexander,

      Muchas gracias por escribir a Stats SOS. No hay ningún problema que la D de Cohen salga negativa, lo único que quiere decir es que pusiste el promedio más bajo primero. En realidad la interpretación es con el valor absoluto de la resta de los promedios (en otras palabras no importa el signo).

      Por tal motivo, tendrías que interpretar la D de Cohen de 0.93.

      ¡Mucho éxito!

      Me gusta

  17. Pedro dijo:

    Hola Juan Carlos
    Muy importante tema a la hora de tener un reporte más amplio de los resultados en una investigación, sin embargo no se suelen reportar ya sea por la poca accesibilidad en los paquetes estadísticos más comerciales o por el apego casi parroquial al llamado “ritual de la significancia estadística”.
    Magnifica explicación, se nota el trabajo didáctico y la introducción de los ejemplos me aclaran mejor el panorama. Estuve consultando sobre los tamaños de efectos (p. ej. Erceg-Hurn y Mirosevich, 2008) y encontré que para el cálculo del tamaño de efecto de la diferencia de medianas (U de mann-whitney) se utiliza el coeficiente de la Probabilidad de Superioridad (PS). Lo cual me remite a la siguiente consulta: ¿Es igualmente válido utilizar r de Roshental o el PS en el reporte de resultados?
    De antemano, gracias.

    Me gusta

  18. Alexander dijo:

    Hola de nuevo Juan Carlos. Te quería consultar sobre la r de Rosenthal con respecto a la N que debe ir en el análisis. Yo tengo 120 niños en mi estudio y están divididos por grados de 2do a 6to. He encontrado diferencias entre estudiantes de 3ero y 4to y quiero conocer el tamaño del efecto con la r de Rosenthal porque ya verifiqué que la distribución entre los grupos no es normal. En ese caso, debo tomar como N la suma de estudiantes de 3ero y 4to (que serían 38) o el total de mi muestra, es decir, los 120? ¡Gracias por tu respuesta!

    Me gusta

  19. enf dijo:

    Hola, ante todo, enhorabuena por tu trabajo.

    Tengo serias dudas con el cálculo del tamaño del efecto en un estudio que estoy realizando. En mi caso, cuento con muchas variables, las cuales la mayor parte son variables que no cumplen los criterios de normalidad. En dicho estudio realizo una prueba t de student para muestras relacionadas y la prueba de suma de rangos de Wilcoxon según la normalidad de las variables. He conseguido una manera de calcular el tamaño del efecto en las variables con distribuciones normales de forma que me proporciona la “d” de Cohen y los limites del tamaño del efecto. Sin embargo, en las distribuciones no normales, solo me es posible calcular el valor del tamaño del efecto a partir de la fórmula de “r” de Rosenthal. ¿Habría alguna manera de calcular los límites del tamaño del efecto en distribuciones no normales?

    Muchas gracias y un saludo.

    Me gusta

    • Estimado enf,

      Muchas gracias por escribir a Stats SOS. Disculpa la demora pero estos días he estado muy atareado. Yo no me haría tantos problemas y para mis análisis no paramétricos calcularía la R de Rosenthal. Aparte, tampoco volvería paramétrico la distribución de mis puntajes si no me salió de esa manera. Yo prefiero dejar como son los resultados en lugar de hacer transformaciones porque la interpretación se vuelve más complicada.
      En conclusión, usa D de Cohen para las variables con distribución normal y la R de Rosenthal con las variables que tienen una distribución asimétrica.

      ¡Mucho éxito!

      Me gusta

  20. Leonarda Rodriguez dijo:

    f(1,26) = 6.83, p=.007, eta parcial2 pequeña =.248 y pontencia alta =.81. Esto fue comparando la edad con las habilidades motoras finas en ancianos institucionalizados y no institucionalizados, resultados con la mano dominante, podria decirme que significa todo esto, voy a examinar mi tesis y quiero estar segura de que aun teniendo una eta de efecto pequeño si los resultados son estadisticamente significativos?
    por favor respondame por correo electronico

    Me gusta

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s