Evidenzbasiertes Wissen ist aus dem ärztlichen Handeln nicht mehr wegzudenken. Damit nicht jede*r einzeln sämtliche Studien zu einer klinischen Frage zusammentragen und auswerten muss, erstellen Forschungsteams systematische Reviews. Die können das eh viel besser als die Praktiker*innen unter uns, könnte man meinen. Tatsächlich sind aber nicht alle Reviews gleich gut. Wie kann man ihre Qualität beurteilen?

Seit den 1980er-Jahren gab es verschiedene Ansätze für Checklisten zur Beurteilung systematischer Reviews. 1999 wurde die QUOROM-Erklärung (QUality Of Reporting Of Meta-analyses) entwickelt, später mehrfach weiterentwickelt und seit 2009 unter dem Namen PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses) angewendet. Sie ist eine Art Anleitung für gute Reviews. In den vergangenen Jahren kamen die Bewertungsinstrumente AMSTAR, ROBIS und SIGN dazu, die etwas unterschiedliche Schwerpunkte haben. Am verbreitetsten ist AMSTAR (Assessing the Methodological Quality of Systematic Reviews), seit 2017 in der aktualisierten Version AMSTAR 2.

Nicht nur die verwirrende Vielfalt der Instrumente macht den Qualitätscheck kompliziert; auch manche Punkte auf den Checklisten sind für Nicht-Forschende kaum mal eben abzuarbeiten. Der gründliche Review-TÜV bleibt im Alltag also Fachleuten vorbehalten. Eine italienische Arbeitsgruppe hat systematische Reviews, die zwischen 2014 und 2021 auf Englisch in den wichtigsten arbeitsmedizinischen Journals veröffentlicht wurden, unter die Lupe genommen – und dabei auch geschaut, welche schnell ablesbaren Eigenschaften mit guter Qualität korrelieren.

Die 335 systematischen Reviews und Meta-Analysen erreichten AMSTAR-2-Scores zwischen 3 und 14. Zwar ist AMSTAR eigentlich nicht für einen Score gedacht; es liegt aber nahe, zusammenzuzählen, wie viele der 16 Items erfüllt wurden, um einen Quervergleich durchzuführen. Das tat das Team – und fand eine im Lauf der Jahre zunehmende Qualität. Je aktueller das Publikationsdatum, umso höher ist also die Wahrscheinlichkeit, dass Sie ein gutes Review auf dem Bildschirm haben.

Weitere Punkte, die mit einem hohen Score korrelieren, sind:

• der Impact-Faktor des Reviews
• die Zahl der durchsuchten Datenbanken
• die Zahl der Autor*innen
• eine Deklaration der PRISMA-Kriterien
• Durchführung einer Meta-Analyse

Allein mit diesen schnell zu sichtenden Faktoren konnte in der Studie der AMSTAR-2-Score zu 23% vorhergesagt werden. „Dieses Screening könnte bei der schnellen Identifizierung einer guten Übersichtsarbeit oder Meta-Analyse helfen“, meinen die Autor*innen deshalb. Zumindest liefert es schon einmal wichtige Hinweise auf die methodische Qualität der Reviews – und ist wegen der schnellen Durchführbarkeit absolut alltagstauglich.