Die Kurzantwort
Wählen Sie ein Tool für den Teil der Überprüfung, den Sie verbessern müssen: Priorisierung von Datensätzen, Vorschlagen von Entscheidungsberechtigungen, Extrahieren von Feldern oder Koordinieren der Prüfer. Vergleichen Sie dessen dokumentierte Ergebnisse mit Ihrem Protokoll, führen Sie dieselben schwierigen Fälle bei jedem Kandidaten durch und überprüfen Sie die exportierten Entscheidungen. Dieser Leitfaden enthält ASReview, Rayyan, Covidence, Elicit und Gatsbi, mit einem Arbeitsblatt, um den Vorschlag eines Assistenten von der endgültigen Entscheidung des Teams zu trennen.
Das Wichtigste
Priorisierung ändert die Lesereihenfolge; Ausschluss entfernt einen Datensatz aus der weiteren Betrachtung. Bewerten Sie diese Rollen separat.
Verwenden Sie einen Pilotversuch, der mehrdeutige Datensätze sowie Ihre tatsächlichen Sprachen, Dokumenttypen und Studiendesigns einschließt.
Wählen Sie einen Workflow, der beim Export die ursprüngliche Empfehlung, menschliche Korrekturen, Begründungen und Quellen beibehält.
Gatsbi veröffentlicht diesen Leitfaden und entwickelt einige der besprochenen Werkzeuge. Wir beurteilen Gatsbi und andere Produkte anhand derselben aufgabenbezogenen Kriterien und öffentlich verfügbarer Dokumentation. Der Vergleich beruht auf Dokumentation. Prüfen Sie vor Ihrer Wahl die aktuellen Funktionen und Zugangsbedingungen.
Verwandeln Sie das Protokoll in eine Werkzeuganforderung.
Beginnen Sie mit dem Ergebnis, das Sie benötigen. Priorisierung erzeugt eine geordnete Warteschlange; Unterstützung bei der Eignung schlägt eine Inklusions-, Ausschluss- oder unklare Entscheidung vor; Extraktionshilfe schlägt ein Feld oder einen Abschnitt vor. Das Überprüfungsmanagement fügt Aufgaben, unabhängige Entscheidungen und Konfliktlösung hinzu. Eine Plattform kann diese Funktionen kombinieren, aber jede erfordert eine eigene Abnahmeprüfung.
Ihre Frage, die Zulassungskriterien, die geplante Suche und der Prüferprozess sollten bereits definiert sein. Wenn sie noch offen sind, beginnen Sie mit was eine systematische Übersichtsarbeit umfasst. Cochrane's Such- und Auswahlanleitung liefert den methodischen Kontext für die untenstehenden Anforderungen.
Formulieren Sie eine Anforderung, die ein Kollege testen könnte: „Wir müssen importierte Datensätze priorisieren, während wir ein unabhängiges menschliches Screening und einen Export jeder Entscheidung beibehalten.“ Fügen Sie das Eingabeformat, die Sprachen, gescannte oder Text-PDFs, die Prüferrollen und die erforderlichen Ausgabedateien hinzu. Diese Details bestimmen, welche Kandidaten auf der Auswahlliste stehen.
| Aufgabe | Erforderliche Ausgabe | Teamentscheidung |
|---|---|---|
Priorisierung | Geordnete Warteschlange mit stabilen Datensatz-IDs und Labels | Ob der gewählte Stopp-Ansatz gerechtfertigt ist |
Berechtigungsunterstützung | Vorschlag auf Kriteriumsebene, Unsicherheit und Begründung | Endgültige Aufnahme und Beilegung von Meinungsverschiedenheiten |
Extraktionsunterstützung | Vorgeschlagenes Feld mit Quellort und Studienkontext | Korrekte Studie, Arm, Ergebnis und Zeitpunkt |
Überprüfungsmanagement | Getrennte Aufgaben und Entscheidungen, Konflikte und Export | Rollen der Gutachter und Genehmigung der gelösten Entscheidungen |
Kandidaten mit diesen Anforderungen vergleichen
Die nachfolgende Shortlist beschreibt Rollen, die von den Anbietern dokumentiert wurden und am 18. Oktober 2026 überprüft wurden. Sie ist kein praktisches Genauigkeitsranking. Gatsbi ist der Herausgeber und einer der Kandidaten; seine Produktbeschreibung wird auf die gleiche Weise wie andere Anbieterdokumentationen behandelt.
Lesen Sie die ersten beiden Spalten, um eine relevante Rolle zu identifizieren, und verwenden Sie dann die letzte Spalte, um eine Testphase zu planen. Eine unbeantwortete Frage bedeutet, dass dieser Leitfaden die Fähigkeit für Ihr Projekt nicht bestätigt hat, nicht dass das Produkt sie nicht besitzt. Überprüfen Sie den aktuellen Plan und das Konto, bevor Sie sich auf eine Funktion verlassen.
Bitten Sie jeden ausgewählten Anbieter, einen Datensatz vom Import bis zur endgültigen Entscheidung und zum Export zu demonstrieren. Prüfen Sie separat, ob Ihre Einrichtung die vorgesehenen Materialien in diesem Konto erlaubt, einschließlich Speicherung, Zugriff, Aufbewahrung, Löschung und nachgelagerter Verarbeitung.
| Kandidat / Quelle | Dokumentierte Eingaben und Ausgaben | Wann dies in Betracht zu ziehen ist | Im Pilotprojekt lösen |
|---|---|---|---|
ASReview LAB · Priorisierung | Textdatensätze und menschliche Label speisen das aktive Lernen; Kennzeichnungsentscheidungen und Projektstatus können exportiert werden. | Sie haben einen Datensatz erstellt und möchten das Lesen priorisieren, während menschliche Kennzeichnungen beibehalten werden. | Überprüfen Sie die Kennzeichnungshistorie, Projektwiederherstellung und Ihren Stopp-Ansatz beim vorgesehenen Korpus. |
Rayyan KI-Rezensent · Unterstützung bei der Berechtigungsprüfung | Überprüfen Sie Kriterienleitfaden für Titel-/Abstract-Bewertungen; KI-Entscheidungen werden getroffen, ohne die Entscheidungen anderer Gutachter zu sehen. | Sie möchten kriteriumsbasierte Vorschläge im Screening-Prozess eines Gutachters erhalten. | Überprüfen Sie unklare Fälle, Streitbeilegung, Gründe, Export und aktuelle Durchlaufgrenzen; eine blinde KI-Entscheidung ist kein Beweis für die Gleichwertigkeit mit einem menschlichen Gutachter. |
Covidence Automatisierung · ausgewählte Screening-/Extraktionsaufgaben | Überprüfen Sie Datensätze und PDFs unterstützen Sortierung, ausgewählte Klassifizierungsfunktionen und Extraktionsvorschläge. | Sie benötigen Unterstützung bei einer bestimmten Aufgabe in einer verwalteten Überprüfung. | Testen Sie Ihre Studiendesigns und Sprachen. Die dokumentierte Bewertung des RCT-Klassifikators erfolgt hauptsächlich in der englischen biomedizinischen Literatur. |
Elicit · strukturierter Überprüfungs-Workflow | Hochgeladene oder abgerufene Artikel durchlaufen kriterienbasierte Screening- und strukturierte Extraktion. | Sie möchten Screening-Kriterien und Extraktionsfelder in einem Workflow konfigurieren. | Überprüfen Sie Quellstandorte, unsichere Fälle, beibehaltene Entscheidungen und Exporte; unterscheiden Sie den Systematic-Review-Workflow von explorativen Berichten. |
Gatsbi Reviewer · integrierter Review-Workflow; Verlag | Produktbeschreibungen umfassen Kandidatenstudien, manuelle Auswahl, hinzugefügte PDFs oder eine Zotero-Literaturliste, Extraktion und einen Review-Entwurf. | Sie möchten ein manuell kuratiertes Studien-Set mit der Extraktion und einem Entwurf verbinden. | Überprüfen Sie kriteriumsbezogene Gründe, unabhängige Screening-Bedürfnisse, Konflikte, Studien-/Berichts-IDs und Entscheidungs-Exporte. Diese Kontrollen werden nicht durch die Produktübersicht festgelegt. |
Führen Sie denselben Screening-Pilot für jeden Kandidaten durch
Wählen Sie Datensätze aus, die die Fehler aufzeigen, die Ihre Überprüfung sich nicht leisten kann: zulässige und unzulässige Studien, spärliche Abstracts, mehrdeutige Terminologie sowie die Sprachen oder Designs, die Sie voraussichtlich einbeziehen werden. Wo möglich, legen Sie Referenzentscheidungen durch Ihren geplanten menschlichen Überprüfungs- und Schlichtungsprozess fest, bevor Sie die Ausgabe des Assistenten diesen Prüfern zeigen.
Dokumentieren Sie sowohl verpasste zulässige Datensätze als auch Übereinstimmungen. Im folgenden Lehrbeispiel ergibt das Auffinden von 19 von 20 zulässigen Referenzdatensätzen eine Trefferrate von 95% in diesem Satz. Dies begründet jedoch keine 95%-Trefferrate im gesamten Korpus oder eine sichere Abbruchregel. Die Zusammensetzung der Stichprobe und die Konsequenzen von Fehlern sind von Bedeutung.
Ein verpasster Eintrag hinter 95 % Rückruf
Zwanzig berechtigte Referenzdaten werden angezeigt: 19 identifiziert und einer übersehen. Rückruf ist 19 geteilt durch 20, also 95 %, nur in diesem Piloten. Der Rückruf im vollständigen Korpus ist unbekannt; dieses Ergebnis legt nicht fest, wann das Screening eingestellt werden kann.
Lehrbeispiel · Keine Leistungsbehauptung für Werkzeuge
20 Datensätze, die durch die Referenzentscheidungen berechtigt sind
- 19 Identifiziert
- 1 verfehlt
Nur in diesem Piloten zurückgerufen
19 / 20 = 95%
Der Nenner sind alle 20 berechtigten Referenzdatensätze, einschließlich der übersehenen.
Überprüfen Sie die Unterstützung für diese Überprüfung und das Risiko, Studien zu übersehen, bevor Sie entscheiden, ob das Screening gestoppt werden kann.
Das Arbeitsblatt verwendet drei separate fiktive Fälle, um einzelne Entscheidungen zu überprüfen; es ist nicht der Datensatz hinter der 20-Datensatz-Darstellung. P-02 zeigt ein spezifisches Versagen: Ein Abstract, das das Alter der Teilnehmer nicht angibt, stellt nicht fest, dass die Population ungeeignet ist. Rufen Sie weitere Informationen ab und bewahren Sie sowohl den Vorschlag als auch die Korrektur auf.
Verwenden Sie dieselben Ausgangsmaterialien, Kriteriumsversion und Referenzentscheidungen für jeden Kandidaten. Speichern Sie jeden Durchlauf, einschließlich eines ungünstigen. Wenn Sie die Kriterien oder die Konfiguration ändern, kennzeichnen Sie den nächsten Durchlauf getrennt, damit eine Verbesserung auf die Änderung zurückgeführt werden kann.
Laufkontext: Lauf-ID, Produkt und verfügbare Version, Datum, Einstellungen, Kriteriumsversion und Gutachterrollen.
Jeder Datensatz: Datensatz-/Quell-ID, Referenzentscheidung, Assistentenvorschlag, Endentscheidung, Begründung der Auflösung, Gutachter und Quellort.
Ein ausgefüllter Eintrag könnte lauten: P-02; Kriterium v1; Referenz abrufen; Vorschlag ausschließen; endgültig abrufen; Grund Alter nicht angegeben; Gutachter vom Team zugewiesen; Quelle Abstract. Ein ungelöstes Feld bleibt ungelöst.
| Aufzeichnen | Kriterium / Referenzentscheidung | Assistentenvorschlag | Endgültige Entscheidung und Grund | Nachweis zu behalten |
|---|---|---|---|---|
P-01 | Randomisierte Studie bei Erwachsenen / abrufen | Abrufen | Abrufen; entspricht dem angegebenen Kriterium | Abstract, Quellen-ID und Kriterium v1 |
P-02 | Alter unklar / abrufen | Ausschließen: Population unklar | Abrufen; fehlendes Detail ist kein Nachweis für Ungeeignetheit | Abstract, fehlendes Altersdetail, Gutachter und Korrekturgrund |
P-03 | Editorial / ausschließen | Ausschließen | Ausschließen; der Publikationstyp erfüllt nicht das Kriterium | Quelldatensatz und vermerkter Ausschlussgrund |
Überprüfen Sie das extrahierte Feld, bevor Sie es der Analyse übergeben
Halten Sie Studien- und Berichts-IDs getrennt: Ein Primärartikel und ein Folgeartikel können dieselben Teilnehmer beschreiben. Jeder extrahierte Wert benötigt außerdem seinen Arm, Ergebnis, Zeitpunkt, Statistik, Einheit und Quellenangabe. Unterscheiden Sie nicht berichtet, nicht gemessen und nicht zutreffend. Cochrane Datenkollektionsanleitung erklärt diese Quellen- und Datenanforderungen.
Verwenden Sie die fiktive Studie A, Bericht A, Tabelle 2 nach 12 Wochen: Der Mittelwert der Intervention beträgt 12 Punkte und der Mittelwert des Vergleichs 15. Angenommen, ein Assistent gibt für die Intervention 15 ein. Das Auffinden dieser Zahl in der PDF ist nicht ausreichend; die Tabellenüberschrift und die Armbezeichnung zeigen die Abweichung auf. Bewahren Sie die vorgeschlagenen 15, die korrigierten 12, die Quellenangabe, den Prüfer und den Korrekturgrund auf.
Die Extraktionsübergabe endet mit geprüften Feldern. Die -Metaanalysetools-Leitfaden setzt mit demselben fiktiven Bericht fort, um zu fragen, ob diese Werte für eine bestimmte Berechnung bereit sind. Halten Sie diese Analyseentscheidung getrennt davon, ob das Quellfeld korrekt transkribiert wurde.
Testen, ob der exportierte Screening-Datensatz rekonstruiert werden kann
Exportieren Sie ein kleines Projekt, bevor Sie die vollständige Überprüfung durchführen. Bewahren Sie den Rohexport auf und bitten Sie dann einen Kollegen, die Entscheidungen ohne Ihr Konto oder den ursprünglichen Chat zu rekonstruieren. Titel und endgültige Inklusionskennzeichen allein können den Grund, warum ein Datensatz beibehalten wurde, wer einen Streit beigelegt hat oder welche Version des Kriteriums angewendet wurde, weglassen.
Überprüfen Sie drei Dinge in den exportierten Materialien: warum P-02 abgerufen wurde, was sich zwischen zwei Kriteriumsversionen geändert hat und welche Quelle eine endgültige Aufnahme unterstützt. Schließen Sie nicht-lateinische Titel, mehrzeilige Gründe und verlinkte Berichte in diese Überprüfung ein. Fehlende Felder als Einschränkung erfassen, die vor der Skalierung behoben werden muss.
Behalten Sie die tatsächlichen Screening- und Abrufzahlen während der Arbeit bei. Eine endgültige Bibliographie kann die Auswahlgeschichte nicht rekonstruieren. PRISMA Berichterstattungsanleitung erklärt, wie diese Datensätze den Bericht unterstützen.
Kriterienaufzeichnung: Version, Gültigkeitsdatum, Änderung, Grund und betroffene Entscheidungen.
Screening-Aufzeichnung: Datensatz-ID, Stufe, Vorschlag, menschliche Entscheidung, Konflikt, Lösung und Prüfer.
Quellenzuordnung: Datensatz-ID verknüpft mit Bericht-ID und, wenn festgelegt, Studien-ID.
Ablaufkontext: Produkt, verfügbare Software-/Modellversion, Einstellungen, Datum und Exportdatum. Geben Sie an, wenn eine Version nicht offengelegt ist.
Wählen Sie eine Konfiguration, die Ihr Team überprüfen kann.
Verwenden Sie die Pilot-Ergebnisse, um eine Konfiguration für Ihr Team auszuwählen. Einige Bewertungen benötigen eine Rangliste; andere benötigen unabhängige Gutachter und Konfliktbearbeitung. Ein Workflow, der für das Entwerfen praktisch ist, kann dennoch ein separates System für die Screening-Entscheidungen erfordern, die Ihr Protokoll verlangt.
Für einen integrierten Workflow wie Gatsbi Reviewer beginnt ein sinnvoll vorgeschlagener Test mit Ihren Kriterien und dem P-01/P-02/P-03-Material. Überprüfen Sie die Kandidatenliste, prüfen Sie, wie Unsicherheit in P-02 gehandhabt wird, fügen Sie bei Bedarf ein fehlendes Papier hinzu, überprüfen Sie die Extraktion und sehen Sie nach, was den Export überlebt. Dies ist eine Trial-Spezifikation, kein Bericht darüber, dass Gatsbi diese Prüfungen bestanden hat.
Schreiben Sie die ausgewählten Aufgaben, ungelösten Lücken und wer die Aufzeichnungen führt, auf. Wiederholen Sie die relevanten Prüfungen, wenn sich das Protokoll, die Eingabesprache, das Merkmal oder das Exportverhalten ändert. Vergleichen Sie die für Einrichtung, Korrektur und Überprüfung erforderliche Arbeit sowie die Geschwindigkeit des ursprünglichen Vorschlags.
| Teambedarf | Konfiguration zur Bewertung | Muss passieren, bevor sie breiter genutzt werden kann |
|---|---|---|
Priorisieren Sie einen Rekordsatz | Priorisierungstool plus der menschliche Auswahlprozess des Teams | Stabile IDs, behaltene Labels, wiederherstellbarer Projektzustand und ein gerechtfertigter Stoppansatz |
Koordiniere unabhängige Gutachter | Überprüfungssystem mit den erforderlichen Aufgaben, Blinding und Konfliktprozess | Getrennte Entscheidungen bleiben für die richtigen Personen sichtbar; Konflikte und Gründe überdauern den Export |
Kuratierte Studien in einen Übersichtsentwurf überführen | Integrierter Workflow für Kandidatenauswahl, Extraktion und Entwurf, einschließlich Gatsbi als Kandidat | Unsichere Fälle bleiben überprüfbar; Quellen, Korrekturen und erforderliche Screening-Datensätze bleiben innerhalb des Tools oder eines gepflegten Begleitdatensatzes verfügbar. |
Häufige Fragen
Welches Werkzeug sollte ich zuerst ausprobieren?
Beginnen Sie mit der fehlenden Ausgabe: eine gereihte Warteschlange, Kriterienebene-Vorschläge, geprüfte Extraktionsfelder oder koordinierte Gutachterentscheidungen. Erstellen Sie eine Shortlist von Kandidaten, die diese Rolle dokumentieren, und verwenden Sie dann die gleichen Pilotdatensätze und Exportprüfungen. Eine breitere Funktionsliste löst keine protokoll-spezifische Lücke.
Kann KI als zweiter Gutachter fungieren?
Ein Produkt kann eine separate Menge an Entscheidungen produzieren, einschließlich Entscheidungen, die ohne Einsicht menschlicher Labels getroffen wurden. Das allein begründet keine Gleichwertigkeit zu einem unabhängigen menschlichen Gutachter. Befolgen Sie die vorgeschriebene Methode Ihrer Überprüfung, validieren Sie die vorgeschlagene Rolle und behalten Sie die verantwortliche Lösung von Meinungsverschiedenheiten bei.
Reicht semantische Suche für ein systematisches Review aus?
Sie kann die Exploration unterstützen oder die Suche ergänzen. Die Angemessenheit hängt weiterhin von der Fragestellung, den Informationsquellen, der reproduzierbaren Suchstrategie und den Methoden ab. Relevante Artikel zu erhalten zeigt nicht, dass alle einschlägigen Studien umfassend gesucht wurden.
Wie sollte die Automatisierung des Screenings berichtet werden?
Berichten Sie die Aufgabe, das Tool und die verfügbare Version, die Einstellungen, wann es Entscheidungen beeinflusste, die durchgeführte Validierung und wie Menschen es überprüft oder überstimmt haben. Unterstützen Sie die Beschreibung mit erhaltenen Entscheidungen und Zählungen.
Quellen und weiterführende Literatur
In den Originalquellen finden Sie die vollständigen Methoden, ihren Geltungsbereich und die neuesten Aktualisierungen.
- Suche nach und Auswahl von StudienCochrane
- DatenerhebungCochrane
- ASReview LAB-DokumentationASReview
- KI-Reviewer-DokumentationRayyan
- Planung und Berichterstattung von AutomatisierungCovidence
- Auswahl eines Elicit-WorkflowsElicit
- PRISMA 2020-ChecklistePRISMA
- Gatsbi Reviewer ProduktworkflowGatsbi · Produktdokumentation des Verlags