Existen numerosas herramientas de evaluación de la calidad de los estudios de diagnóstico.
Hemos revisado diferentes plantillas que se han diseñado con la finalidad de facilitar y desarrollar nuestras habilidades sobre lectura crítica.
La aplicación de estas "guías" pueden ayudar a los profesionales a realizar una buena lectura crítica del trabajo publicado.
Finalmente,
hemos seleccionado de entre todas ellas,
las diez preguntas que nos parecen más relevantes a la hora de valorar un artículo sobre diagnóstico.
INICIATIVA STARD (STAndars for the Reporting of Diagnostic accuracy studies)
Se trata de un listado de comprobación que consta de 25 items y un diagrama de flujo que recoge la información sobre la selección de los pacientes .
Nos va describiendo en qué nos debemos de fijar en cada uno de los apartados que conforman un artículo.
A continuación reproducimos los 25 ítems que deberíamos evaluar en todo artículo de diagnóstico para comprobar su validez.
1.Título/resumen/palabras clave.
Ítem 1.
Identificación del artículo como un estudio de validez de pruebas diagnósticas.
• Se recomienda indexar por el MesH “Sensitivity and Specificity”.
•Se recomienda que el título del artículo oriente sobre el tipo de estudio.
2.Introducción.
Ítem 2.
Consta que el objetivo es estimar la validez diagnóstica o compararla con la de otro test.
(los autores describe la justificación de la realización del estudio,
es decir,
describen claramente la pregunta de investigación que quieren responder)
3.Métodos.
3.1.Participantes.
Ítem 3.
Describe la población estudiada y los criterios de selección y exclusión para saber si el estudio se podría reproducir en circunstancias similares.También es necesario describir en qué condiciones se aplica el test y el estándar de referencia.
Ítem 4.
Describe el criterio de reclutamiento: síntomas,
otros test,
hacer el test actual.
Ítem 5.
Describe el muestreo (aleatorio,
consecutivo,
etc.).
Ítem 6.
Describe la recogida de datos: prospectivo,
retrospectivo.
3.2.
Test
Ítem 7.
Describe el estándar de referencia y su justificación.
Ítem 8.
Describe o referencia las especificaciones técnicas o cómo tomar las medidas: La descripción debe hacerse sobre todo el protocolo del test incluyendo materiales e instrumentos con sus especificaciones de uso y las medidas específicas de preparación de los participantes.
Ítem 9.
Define las unidades de medida,
puntos de corte o categorías de los resultados.
Ítem 10.
Describe el número,
entrenamiento y experiencia de los que realizan los test y el estándar de referencia.
Ítem 11.
Describe si la aplicación del test y del estándar de referencia se realizó de forma ciega.
3.3.
Estadística
Ítem 12.
Describe los métodos para calcular o comparar la validez diagnóstica y el grado de incertidumbre (intervalos de confianza).
Ítem 13.
Describe si se ha calculado la fiabilidad y cómo se ha hecho.
4.
Resultados.
4.1.
Participantes.
Ítem 14.
Informa cuándo se realizó el estudio (fecha de inicio y final del reclutamiento).
Ítem 15.
Informa de los caracteres demográficos y clínicos (ej: edad,
sexo,
espectro clínico de los síntomas,
comorbilidad,
tratamientos).
Ítem 16.
Informa de las razones para las pérdidas.
Para éste punto,
se recomienda realizar un diagrama de flujo,
que también nos lo proponen. El diagrama de flujo (figura 2) recoge la información sobre el método de reclutamiento de los pacientes o la muestra,
el orden de la ejecución del test diagnóstico y también el número de pacientes que se han sometido a la prueba y al estándar de referecia.
La página web (http://www.stard-statement.org/) también nos ofrece ejemplos de cómo rellenar estos algoritmos.
4.2.
Resultados
Ítem 17.
Informa del tiempo y circunstancias (tratamiento) entre la realización del test y la realización del estándar de referencia.
Ítem 18.
Informa del grado de afectación de los enfermos y del diagnóstico de los no enfermos.
Ítem 19.
En caso de variables discretas hay tablas de n x n con los resultados (figura 3).
En caso de valores continuos se informa de la distribución.
Se describen los resultados perdidos o indeterminados.
Ítem 20.
Se describen los efectos adversos del test y del estándar de referencia.
4.3.
Estimación.
Ítem 21.
Se describe la validez diagnóstica y su incertidumbre estadística (intervalo de confianza del 95%).
Ítem 22.
Informa sobre cómo se han manejado los perdidos,
indeterminados o extremos.
Ítem 23.
Informa de la variabilidad de la validez diagnóstica entre evaluadores,
centros o subgrupos de pacientes,
si se ha hecho.
Ítem 24.
Informa sobre la fiabilidad en el caso de que se haya evaluado.
5.
Discusión.
Ítem 25.
Discute la aplicabilidad clínica de los hallazgos del estudio.
INICIATIVA CASP ESPAÑA (Critical Appraisal Skills Programme Español)
El grupo CASP España tiene por misión proporcionar habilidades a los "decisores" en salud para encontrar y evaluar críticamente las mejores pruebas científicas en las que fundar sus decisiones.
Formula diez preguntas claves que debemos formularnos a la hora de leer un artículo y que se encuentran estructuradas en tres bloques:
- Determinar si los resultados del estudio son válidos (si existió una comparación de la prueba a evaluar con el estándar de referencia,
si la muestra incluyó un espectro adecuado de pacientes y si existió una adecuada descripción de la prueba)
- Cuáles son esos resultados (nociones básicas sobre análisis estadístico).
- Si son aplicables a nuestro escenario (si la prueba es reproducible,
si estaría disponible y si modificarán estos resultados la decisión de cómo actuar).
LISTAS DE VERIFICACIÓN PUBLICADAS EN REVISTAS DE DIAGNÓSTICO (Blackmore CC.
Critically Assessing the Radiology Literature.
Acad Radiol,
2004;11:134-140)
Al igual que la anterior,
realiza tres grandes bloques a la hora de analizar un artículo de diagnóstico:
¿Es verdad?: en este primer ítem valoran si existe sesgo de selección,
el número de pacientes,
el método de selección,
si existe estándard de referencia (a qué pacientes se aplica,
si está bien definido),
el grado de enmascaramiento y si el análisis es apropiado.
¿Es relevante?: debemos conocer si el estudio se encuentra lo suficientemente justificado o si existen publicaciones similares.
Asimismo,
también nos tenemos que fijar si tecnológicamente está actualizado y qué ámbito es el objeto del estudio (académico o la comunidad).
¿Es suficiente?: En este último bloque,
tendremos que valorar si los resultados del estudio (tanto positivos como negativos) son suficientes para cambiar nuestra práctica,
si son significativos clínicamente y si tienen suficiente potencia estadística para detectar diferencias clínicas relevantes.
QUADAS (Quality Assessment of Diagnostic Accuracy Studies)
Inicialmente fue ideado para la evaluación de la calidad de los estudios primarios incluidos en revisiones sistemáticas.
En el desarrollo de esta herramienta,
un grupo de expertos ha seleccionado 14 ítems que cubren aspectos relativos al espectro de pacientes utilizados en el estudio,
del estándar de referencia seleccionado y varios sesgos como el sesgo de progresión de la enfermedad y la paradoja del tratamiento,
los sesgos de verificación
parcial y de verificación diferencial,
el sesgo de incorporación,
la calidad de la descripción de las pruebas diagnósticas utilizadas y el tratamiento dado a las retiradas del estudio y a los resultados indeterminados. Aunque su uso se ha relacionado sobre todo en la lectura crítica de revisiones sistemáticas,
podemos aplicarlo también a estudios de validez de pruebas diagnósticas,
dado a que son preguntas muy generales y sencillas de responder.
PLANTILLA DE EVALUACIÓN DE ESTUDIOS SECUNDARIOS DEL GRUPO EUROPEO DE RADIOLOGIA BASADA EN LA EVIDENCIA
The European Network for the Assessment of Imaging in Medicine (EuroAIM) es una iniciativa creada para promocionar el uso racional de las pruebas de imagen.
Dentro de este ámbito,
se ha creado un grupo sobre radiología basada en la evidencia.
Una de sus misiones principales es evaluar los estudios secundarios (Revisiones sistemáticas y metaanálisis) publicados hasta el momento para decidir cuáles de ellos son consistentes y cuáles no para así identificar qué temas de la radiología están bien estudiados y cuáles deberían de completarse.
El formulario consta de dos partes:
Primera parte (generalidades): aquí se incluye el título del artículo,
los autores,
el año de publicación y si la revista es radiológica o no.
Tras ésto,
nos debemos hacer una idea sobre si el artículo debe ser excluido o no del análisis final por diversas razones (si no es un estudio secundario,
si la revisión que han hecho los autores no cumple los criterios de revisión sistemática o si la imagen no es el eje principal del artículo).
Segunda parte: en caso de continuar leyendo,
debemos buscar en qué fecha se ha realizado la búsqueda,
para qué se utiliza el método de imagen y cuál es el estándard de referencia.
Esta plantilla,
aunque es muy sencilla de ejecutar y muy pragmática,
es para evaluar estudios secundarios,
que no es el tema que nos ocupa.