Imagina a un Texano disparando a una pared del granero, al quedarse sin balas camina hacia la pared y con un balde de pintura dibuja el centro de los blancos alrededor de los hoyos de las balas: "¡Miren!, soy un perfecto tirador" grita el Texano entusiasmado.
Desde un punto de vista estadístico está en la razón, al ver la pared no es posible que esos disparos hayan dado en el centro por azar. Esto es lo que se conoce como la Falacia del Francotirador Texano, en donde la información que no tiene relación es interpretada, manipulada o maquillada hasta que ésta parezca tener un sentido, se sacan conclusiones basados en la similitudes de los datos, ignorando las diferencias.
Es lo que suele ocurrir con la lectura de algunos estudios científicos, según Amrhein (2019) por muchas generaciones, investigadores han intentado advertir que la no significancia estadística no "prueba" la hipótesis nula, la hipótesis en donde no hay diferencia entre los grupos o no hay efecto de una variables en una medición antes y después, (Fisher, 1935, cp. Amrhein) Asimismo, la significancia estadística no "prueba" otro tipo de hipótesis.
En el 2016, la American Statistical Association publicó una declaración en The American Statistician en la que advertía del mal uso de la significación estadística y los valores p, en términos simples, el valor p ayuda a diferenciar resultados que son producto del azar de resultados que son estadísticamente significativos (Wasserstein y Lazar, 2016).
Pero ¿a qué nos referimos cuando hablamos de resultados estadísticamente significativos y relevancia clínica?
En términos generales, la significación estadística se asigna a un resultado cuando se considera que es poco probable que un suceso haya ocurrido por casualidad. Es el resultado de una fórmula estadística aplicada a los datos de una investigación.
Por otro lado, la relevancia clínica (también conocida como significación práctica) se asigna a un resultado cuando una variable ha tenido efectos genuinos y cuantificables.
Por ejemplo, podemos encontrar tres tipos de estudios que ejemplificaremos con el siguiente ejercicio mental:
Queremos saber si el adiestramiento en obediencia mejora la ansiedad por separación. Dividimos a los perros en dos grupos, aquellos que cursaron un programa de obediencia y aquellos que no cursaron ningún programa de obediencia. Se midieron los valores de Ansiedad por Separación usando la escala de severidad de Ansiedad por Separación Canina (ASC) de Parthasarathy y Crowell-Davis (2006) antes y después del curso y se encontró:
- Con significación estadística y relevancia clínica:
Que los perros con programas de obediencia mejoraron en 15 puntos (promedio de ASC) después del programa en comparación a los perros sin programa.
Encontramos que el cálculo estadístico arroja un significancia estadística y al analizar el monto del cambio, encontramos que también es relevante clínicamente, ya que 15 puntos es una mejora significativa.
- Con significación estadística y sin relevancia clínica:
Que los perros con programas de obediencia mejoraron 2 puntos (promedio de ASC) en contraste a los perros sin programa, encontrándose una significancia estadística.
En este ejemplo la significancia estadística está presente, pero al analizar el valor del cambio, encontramos que 2 puntos de mejora no es un cambio realmente importante.
- Sin significación estadística y con relevancia clínica:
Que los perros con programas de obediencia no tuvieron mejora estadísticamente significativa versus los perros sin programa (Promedio Programa: 15, Promedio sin Programa: 3).
En este ejemplo nos topamos con que el coeficiente de significación estadística no da positivo, pero al entrar a analizar los datos clínicamente encontramos una diferencia de 12 puntos, lo que si presenta una relevancia clínica.
Amrhein y colaboradores encontraron que de 791 artículos revisados a través de 5 revista científicas, la mitad de los artículos caían en el error de asumir que una no significancia estadística significa que no hay efecto de la variable (sin relevancia clínica).
Hace unos años, LeFort (1993) sugirió que la significación clínica debe reflejar "el alcance del cambio, si el cambio supone una diferencia real en la vida de los sujetos, la duración de los efectos, la aceptabilidad por parte de los consumidores, la rentabilidad y la facilidad de aplicación". Mientras que existen valores establecidos y tradicionalmente aceptados para las pruebas de significación estadística, se carece de ellos para evaluar la significación clínica (Fethey, 2010).
En base a esto, Barrera (2008) concluye que se hace necesario, una vez obtenidos los resultados, no solamente identificar si las diferencias son producto o no del azar, sino además establecer si la magnitud de dichas diferencias posee alguna importancia desde el punto de vista clínico. Solo así será factible disminuir la posibilidad de encontrar asociaciones “estadísticamente posibles pero conceptualmente estériles” (Siegel, 1974).
Por último, Ranganathan, Pramesh, y Buyse (2015) recomiendan que los lectores deben tener en cuenta que la interpretación de los resultados de los estudios debe tener en cuenta la significación clínica observando el efecto real del tratamiento (con intervalos de confianza) y no debe basarse únicamente en los valores "P" y la significación estadística.
¿Hemos estado leyendo críticamente las investigaciones sobre comportamiento y bienestar canino o hemos repetido de forma automática los resultados de un estudio sin el debido análisis de relevancia clínica?
Referencias
Armhein V., Greeland S. y McShane B. (2019) Scientists rise up against statistical significance. Nature 567, 305-307, DOI: 10.1038/d41586-019-00857-9
Barrera M. (2008) Diferencias estadísticamente significativas vs. relevancia clínica. CES Medicina. 2008;22(1):89-96. Disponible en: https://www.redalyc.org/articulo.oa?id=261121009010
Fethney, J. (2010) Statistical and clinical significance, and how to use confidence intervals to help interpret both, Australian Critical Care, Volume 23, Issue 2, Pages 93-97, DOI: 10.1016/j.aucc.2010.03.001
LeFort, S. (1993) The Statistical versus Clinical Significance Debate. The Journal of Nursing Scholarship DOI: 10.1111/j.1547-5069.1993.tb00754.x
Parthasarathy V., y Crowell-Davis S. (2006) Relationship between attachment to owners and separation anxiety in pet dogs ( Canis lupus familiaris), Journal of Veterinary Behavior Clinical Applications and Research 1(3):109-120 DOI: 10.1016/j.jveb.2006.09.005
Ranganathan P., Pramesh CS., Buyse M..(2015) Common pitfalls in statistical analysis: Clinical versus statistical significance. Perspect Clin Res. 2015 Jul-Sep;6(3):169-70. DOI: 10.4103/2229-3485.159943
Wasserstein R., y Laza N. (2016) The ASA Statement on p-Values: Context, Process, and Purpose, The American Statistician,70:2,129-133,DOI: 10.1080/00031305.2016.1154108
Siegel, S. (1974): Estadística no paramétrica aplicada a las ciencias de la conducta, Editorial Trillas, México.