先看簡答
先確定要改進的環節:紀錄排序、納入與排除建議、欄位擷取,還是審查協作。把工具公開說明的輸出與研究方案對照,讓候選處理同一批疑難紀錄,並檢查匯出的決定。本指南涵蓋 ASReview、Rayyan、Covidence、Elicit 和 Gatsbi,通過工作表區分 AI 建議與團隊最終判定。
重點整理
排序改變閱讀順序,排除則讓紀錄退出後續審查,兩者需要分別評價。
試行應包含疑難紀錄,以及專案實際涉及的語言、檔案類型和研究設計。
選擇能在匯出後保留原建議、人工修正、理由和來源的流程。
本指南由 Gatsbi 發布,亦介紹 Gatsbi 的產品。我們依據公開文件,以相同的任務標準討論自家產品與其他工具。本文不提供實測比較結果;選擇前請確認最新功能與使用條件。
把研究方案轉成可檢驗的工具需求
先看需要什麼輸出:排序產生閱讀佇列,納入與排除輔助提出納入、排除或不確定建議,擷取輔助提出欄位或片段。管理平臺還需保存分工、獨立決定和衝突處理。同一產品兼有多項功能,也應逐項驗收。
研究問題、納入與排除標準、檢索計畫和審查流程應先明確;尚未確定時,先閱讀系統性文獻回顧的方法要求。Cochrane 檢索與篩選指南提供制定需求的方法背景。
把需求寫成同事能驗證的一句話:“對匯入紀錄排序,同時保留獨立人工篩選和每項決定的匯出。”再補充輸入格式、語言、掃描檔或文字 PDF、人員角色與所需輸出檔案,以此縮小候選範圍。
| 任務 | 所需輸出 | 團隊仍需決定 |
|---|---|---|
優先級排序 | 保留穩定紀錄編號和標籤的閱讀佇列 | 所採用的停止篩選方法是否有依據 |
納入與排除輔助 | 逐項標準的建議、不確定性和理由 | 最終納入及分歧處理 |
擷取輔助 | 建議欄位、原文位置和研究語境 | 研究、組別、結果指標及時間點是否正確 |
審查管理 | 獨立分工與決定、衝突及匯出 | 人員職責與已解決決定的核准 |
按這些需求比較候選工具
下表依據供應商公開文檔,核對日期為 2026 年 10 月 18 日,不是實測準確率排名。Gatsbi 既是本文發布方,也是候選之一,其產品說明與其他供應商文檔採用同一標準。
先用前兩列識別角色,再據末列設計試用。尚未回答的問題表示本文未確認它是否滿足你的專案,不等於產品不具備該功能。使用前應核對目前套餐和帳戶。
要求每個候選演示一條紀錄從匯入、最終決定到匯出的全過程。另行確認機構是否允許該帳戶處理擬用材料,包括儲存、訪問、保留、刪除與下游處理。
| 候選/來源 | 文檔說明的輸入與輸出 | 適合考慮的情況 | 試行需要確認 |
|---|---|---|---|
ASReview LAB · 排序 | 文字紀錄和人工標籤用於主動學習,可匯出標籤決定及專案狀態。 | 已有紀錄集,希望人工標註的同時優先閱讀相關材料。 | 核對標籤歷史、專案恢復及該文獻資料庫適用的停止規則。 |
Rayyan AI Reviewer · 納入與排除輔助 | 按文獻回顧標準評估標題和摘要,AI 不查看其他審查者的決定。 | 希望在審查流程中取得逐項標準建議。 | 核對疑難情況、分歧處理、理由、匯出及目前執行限制;盲態 AI 決定不證明等同於人工審查。 |
Covidence · 特定篩選與擷取任務 | 文獻回顧紀錄和 PDF 支持排序、部分分類及擷取建議。 | 需要在管理流程內輔助某個具體環節。 | 測試本專案的設計與語言。RCT 分類器公開評估主要來自英語生物醫學文獻。 |
Elicit · 結構化文獻回顧 | 上傳或檢索的論文進入按標準篩選和結構化擷取流程。 | 希望在同一流程中設定納入與排除標準與擷取欄位。 | 檢查原文位置、疑難項、保留的決定與匯出;區分 Systematic Review 流程和探索性報告。 |
Gatsbi Reviewer · 整合文獻回顧流程;發布方 | 產品說明涵蓋候選研究、人工選擇、補充 PDF 或 Zotero 清單、擷取及文獻回顧草稿。 | 希望把人工整理的研究集銜接到擷取和草稿。 | 檢查逐項理由、獨立篩選要求、衝突、研究/報告編號及決定匯出;產品概述不能證明這些控制均已滿足。 |
讓每個候選處理同一批篩選案例
挑選能暴露關鍵錯誤的紀錄:符合與不符合標準、摘要稀疏、術語歧義,以及專案實際涉及的語言和設計。條件允許時,按預定人工審查與仲裁流程先形成參照判定,再讓審查者查看 AI 輸出。
下圖教學樣本中,20 條符合條件的紀錄找回 19 條,召回率為 95%。它不證明全庫也是 95%,更不能充當停止規則;樣本構成與漏檢後果都要考慮。
95% 召回率背後,仍漏掉一筆紀錄
圖中有 20 筆經參照判定符合條件的紀錄,19 筆被找到,1 筆被漏掉。本次試驗的召回率為 19 除以 20,即 95%。全庫召回率仍未知,不能據此決定何時停止篩選。
教學示例 · 非工具效能聲明
參照判定中符合條件的 20 筆紀錄
- 19 被找到
- 1 被漏掉
僅本次試驗的召回率
19 / 20 = 95%
分母包含全部 20 筆符合條件的參照紀錄,包括漏掉的那一筆。
決定是否停止篩選前,須結合本次文獻回顧及遺漏研究的風險,驗證輔助工具的使用方式。
下面三條虛構紀錄獨立展示單項決定,並非上方 20 條紀錄的資料集。P-02 的摘要未寫年齡,不等於人群不符合要求,應獲取更多資訊,同時保留建議和修正。
各候選使用相同材料、標準版本和參照判定。保留所有執行,包括失敗結果;更改標準或組態後另建執行紀錄,才能追溯改善來自哪裡。
執行資訊:執行編號、產品及可獲得的版本、日期、設定、標準版本與人員職責。
每條紀錄:紀錄/來源編號、參照判定、AI 建議、最終決定、處理理由、審查者及原文位置。
填寫範例:P-02;標準 v1;參照為獲取全文;建議排除;最終獲取全文;理由為年齡未說明;審查者由團隊指派;來源為摘要。未知欄位保持未決。
| 紀錄 | 標準/參照判定 | AI 建議 | 最終決定與理由 | 需保留證據 |
|---|---|---|---|---|
P-01 | 成人隨機試驗/獲取全文 | 獲取全文 | 獲取全文;符合所述標準 | 摘要、來源編號和標準 v1 |
P-02 | 年齡不明/獲取全文 | 排除:人群不明 | 獲取全文;資訊缺失不證明不符合標準 | 摘要、缺失年齡資訊、審查者和修正理由 |
P-03 | 社論/排除 | 排除 | 排除;出版類型不符合標準 | 來源紀錄及排除理由 |
交給分析之前,先查核擷取欄位
研究編號與報告編號分開保存:主報告和追蹤報告可能涉及同一批參與者。每個值還要關聯組別、結果指標、時間點、統計量、單位和位置,並區分未報告、未測量與不適用。方法說明見Cochrane 資料收集指南。
虛構研究 A 的報告 A、表 2、第 12 週,介入組平均值為 12 分,對照組為 15 分。若 AI 將介入組填成 15,僅確認 PDF 中存在該數字無法發現錯誤;必須核對表頭和組別標籤。保留建議值 15、修正值 12、原文位置、審查者和理由。
擷取環節以欄位查核完成為終點。統合分析工具指南沿用同一虛構報告,繼續判斷這些值能否進入指定計算。分析是否就緒與抄錄是否正確,是兩項不同決定。
檢查匯出紀錄能否重建篩選過程
匯入整個文獻回顧前先匯出一個小專案,保留原始匯出,請同事在沒有你的帳戶或聊天紀錄時重建決定。只有標題和最終納入標記,可能缺少保留理由、分歧處理者或適用標準版本。
檢查同事能否說明 P-02 為什麼獲取全文、兩個標準版本改了什麼,以及最終納入由哪份來源支持。加入非拉丁文字、多行理由和關聯報告;將缺失欄位記為擴大使用前要解決的限制。
工作進行時保留真實篩選及獲取數量,不能從最終書目倒推過程。PRISMA 報告指南說明這些紀錄怎樣支持報告。
標準紀錄:版本、生效日期、改動、理由及受影響決定。
篩選紀錄:編號、階段、建議、人工決定、衝突、處理結果及審查者。
來源對應:紀錄編號關聯報告編號,並在確認後關聯研究編號。
執行資訊:產品、可獲得的軟體/模型版本、設定、日期和匯出日期;無法獲取版本時如實註明。
選擇團隊能夠查核的組態
根據試行結果選擇組態。有些團隊只需排序佇列,有些則需要獨立審查與衝突處理;適合起草的流程仍可能需要另一套系統,保存方案要求的篩選決定。
評估 Gatsbi Reviewer 這類整合流程時,可從自己的標準與 P-01/P-02/P-03 材料開始,查看候選清單、P-02 的不確定性處理、補充缺失論文、複核擷取,並檢查匯出保留了什麼。這是擬議試用任務,不表示 Gatsbi 已通過檢查。
紀錄採用的任務、未解決缺漏和紀錄維護者。方案、輸入語言、功能或匯出行為變化時重做相關檢查;比較組態、糾錯、複核所需工作,而不只比較首次建議的速度。
| 團隊需求 | 待評價組態 | 擴大使用前必須滿足 |
|---|---|---|
為紀錄集排序 | 排序工具+團隊人工篩選流程 | 穩定編號、保留標籤、可恢復專案及有依據的停止方法 |
協調獨立審查者 | 具備所需分工、盲態和衝突處理的審查系統 | 各人決定對適當人員可見;衝突和理由能匯出 |
將整理後的研究變成文獻回顧草稿 | 整合候選選擇、擷取和起草流程,Gatsbi 可列為候選 | 疑難項可複核;來源、修正及所需篩選紀錄保留在產品或持續維護的配套紀錄中 |
常見問題
應該先試哪款工具?
先找缺少的輸出:排序佇列、逐項標準建議、已查核欄位,還是多位人員審查決定。選擇公開說明該角色的候選,用同一批紀錄和匯出檢查比較。功能清單更長,不一定解決方案中的具體缺漏。
AI 可以作為第二位審查者嗎?
產品可以給出另一組決定,也可能在不看人工標籤時判斷,但這不能證明等同於獨立人工審查。遵循這項文獻回顧所需方法,驗證擬用角色,並保留有責任人的分歧處理。
語義搜尋足以完成系統性文獻回顧嗎?
它能輔助探索或補充檢索。是否充分仍取決於問題、來源、可重現策略與方法;找到相關論文不證明已全面尋找符合條件的研究。
怎樣報告篩選自動化?
說明任務、工具及可獲得版本、設定、何時影響決定、做過何種驗證,以及人工怎樣檢查或推翻建議。用保留的決定和數量支持描述。
資料來源與延伸閱讀
請參閱原始資料,確認完整方法、適用範圍及最新版本。
- 研究檢索與篩選Cochrane
- 資料收集Cochrane
- ASReview LAB 文檔ASReview
- AI Reviewer 文檔Rayyan
- 自動化的規劃與報告Covidence
- 選擇 Elicit 工作流Elicit
- PRISMA 2020 檢查表PRISMA
- Gatsbi Reviewer 產品流程Gatsbi · 發布方產品說明