简明回答
先确定要改进的环节:记录排序、纳排建议、字段提取,还是评审协作。把工具公开说明的输出与研究方案对照,让候选处理同一批疑难记录,并检查导出的决定。本指南涵盖 ASReview、Rayyan、Covidence、Elicit 和 Gatsbi,通过工作表区分 AI 建议与团队最终判定。
核心要点
排序改变阅读顺序,排除则让记录退出后续审查,两者需要分别评价。
试运行应包含疑难记录,以及项目实际涉及的语言、文件类型和研究设计。
选择能在导出后保留原建议、人工修正、理由和来源的流程。
本指南由 Gatsbi 发布,文中也介绍了 Gatsbi 的产品。我们依据公开文档,按相同的任务标准讨论自家产品与其他工具。这里不提供实际横评结果;选择前请核对当前功能和使用条件。
把研究方案转成可检验的工具需求
先看需要什么输出:排序产生阅读队列,纳排辅助提出纳入、排除或不确定建议,提取辅助提出字段或片段。管理平台还需保存分工、独立决定和冲突处理。同一产品兼有多项功能,也应逐项验收。
研究问题、纳排标准、检索计划和评审流程应先明确;尚未确定时,先阅读系统综述的方法要求。Cochrane 检索与筛选指南提供制定需求的方法背景。
把需求写成同事能验证的一句话:“对导入记录排序,同时保留独立人工筛选和每项决定的导出。”再补充输入格式、语言、扫描件或文本 PDF、人员角色与所需输出文件,以此缩小候选范围。
| 任务 | 所需输出 | 团队仍需决定 |
|---|---|---|
优先级排序 | 保留稳定记录编号和标签的阅读队列 | 所采用的停止筛选方法是否有依据 |
纳排辅助 | 逐项标准的建议、不确定性和理由 | 最终纳入及分歧处理 |
提取辅助 | 建议字段、原文位置和研究语境 | 研究、组别、结局及时间点是否正确 |
评审管理 | 独立分工与决定、冲突及导出 | 人员职责与已解决决定的批准 |
按这些需求比较候选工具
下表依据供应商公开文档,核对日期为 2026 年 10 月 18 日,不是实测准确率排名。Gatsbi 既是本文发布方,也是候选之一,其产品说明与其他供应商文档采用同一标准。
先用前两列识别角色,再据末列设计试用。尚未回答的问题表示本文未确认它是否满足你的项目,不等于产品不具备该功能。使用前应核对当前套餐和账户。
要求每个候选演示一条记录从导入、最终决定到导出的全过程。另行确认机构是否允许该账户处理拟用材料,包括存储、访问、保留、删除与下游处理。
| 候选/来源 | 文档说明的输入与输出 | 适合考虑的情况 | 试运行需要确认 |
|---|---|---|---|
ASReview LAB · 排序 | 文本记录和人工标签用于主动学习,可导出标签决定及项目状态。 | 已有记录集,希望人工标注的同时优先阅读相关材料。 | 核对标签历史、项目恢复及该文献库适用的停止规则。 |
Rayyan AI Reviewer · 纳排辅助 | 按综述标准评估标题和摘要,AI 不查看其他评审者的决定。 | 希望在评审流程中取得逐项标准建议。 | 核对疑难情况、分歧处理、理由、导出及当前运行限制;盲态 AI 决定不证明等同于人工评审。 |
Covidence · 特定筛选与提取任务 | 综述记录和 PDF 支持排序、部分分类及提取建议。 | 需要在管理流程内辅助某个具体环节。 | 测试本项目的设计与语言。RCT 分类器公开评估主要来自英语生物医学文献。 |
Elicit · 结构化综述 | 上传或检索的论文进入按标准筛选和结构化提取流程。 | 希望在同一流程中设置纳排标准与提取字段。 | 检查原文位置、疑难项、保留的决定与导出;区分 Systematic Review 流程和探索性报告。 |
Gatsbi Reviewer · 集成综述流程;发布方 | 产品说明涵盖候选研究、人工选择、补充 PDF 或 Zotero 清单、提取及综述草稿。 | 希望把人工整理的研究集衔接到提取和草稿。 | 检查逐项理由、独立筛选要求、冲突、研究/报告编号及决定导出;产品概述不能证明这些控制均已满足。 |
让每个候选处理同一批筛选案例
挑选能暴露关键错误的记录:符合与不符合标准、摘要稀疏、术语歧义,以及项目实际涉及的语言和设计。条件允许时,按预定人工评审与仲裁流程先形成参照判定,再让评审者查看 AI 输出。
下图教学样本中,20 条符合条件的记录找回 19 条,召回率为 95%。它不证明全库也是 95%,更不能充当停止规则;样本构成与漏检后果都要考虑。
95% 召回率背后,仍漏掉一条记录
图中有 20 条经参照判定符合条件的记录,19 条被找到,1 条被漏掉。本次试验的召回率为 19 除以 20,即 95%。全库召回率仍未知,不能据此决定何时停止筛选。
教学示例 · 非工具性能声明
参照判定中符合条件的 20 条记录
- 19 被找到
- 1 被漏掉
仅本次试验的召回率
19 / 20 = 95%
分母包含全部 20 条符合条件的参照记录,包括漏掉的那一条。
决定是否停止筛选前,须结合本次综述及漏掉研究的风险,验证辅助工具的使用方式。
下面三条虚构记录独立展示单项决定,并非上方 20 条记录的数据集。P-02 的摘要未写年龄,不等于人群不符合要求,应获取更多信息,同时保留建议和修正。
各候选使用相同材料、标准版本和参照判定。保留所有运行,包括失败结果;更改标准或配置后另建运行记录,才能追溯改善来自哪里。
运行信息:运行编号、产品及可获得的版本、日期、设置、标准版本与人员职责。
每条记录:记录/来源编号、参照判定、AI 建议、最终决定、处理理由、评审者及原文位置。
填写示例:P-02;标准 v1;参照为获取全文;建议排除;最终获取全文;理由为年龄未说明;评审者由团队指派;来源为摘要。未知字段保持未决。
| 记录 | 标准/参照判定 | AI 建议 | 最终决定与理由 | 需保留证据 |
|---|---|---|---|---|
P-01 | 成人随机试验/获取全文 | 获取全文 | 获取全文;符合所述标准 | 摘要、来源编号和标准 v1 |
P-02 | 年龄不明/获取全文 | 排除:人群不明 | 获取全文;信息缺失不证明不符合标准 | 摘要、缺失年龄信息、评审者和修正理由 |
P-03 | 社论/排除 | 排除 | 排除;出版类型不符合标准 | 来源记录及排除理由 |
交给分析之前,先核验提取字段
研究编号与报告编号分开保存:主报告和随访报告可能涉及同一批参与者。每个值还要关联组别、结局、时间点、统计量、单位和位置,并区分未报告、未测量与不适用。方法说明见Cochrane 数据收集指南。
虚构研究 A 的报告 A、表 2、第 12 周,干预组均值为 12 分,对照组为 15 分。若 AI 将干预组填成 15,仅确认 PDF 中存在该数字无法发现错误;必须核对表头和组别标签。保留建议值 15、修正值 12、原文位置、评审者和理由。
提取环节以字段核验完成为终点。Meta 分析工具指南沿用同一虚构报告,继续判断这些值能否进入指定计算。分析是否就绪与抄录是否正确,是两项不同决定。
检查导出记录能否重建筛选过程
导入整个综述前先导出一个小项目,保留原始导出,请同事在没有你的账户或聊天记录时重建决定。只有标题和最终纳入标记,可能缺少保留理由、分歧处理者或适用标准版本。
检查同事能否说明 P-02 为什么获取全文、两个标准版本改了什么,以及最终纳入由哪份来源支持。加入非拉丁文字、多行理由和关联报告;将缺失字段记为扩大使用前要解决的限制。
工作进行时保留真实筛选及获取数量,不能从最终书目倒推过程。PRISMA 报告指南说明这些记录怎样支持报告。
标准记录:版本、生效日期、改动、理由及受影响决定。
筛选记录:编号、阶段、建议、人工决定、冲突、处理结果及评审者。
来源映射:记录编号关联报告编号,并在确认后关联研究编号。
运行信息:产品、可获得的软件/模型版本、设置、日期和导出日期;无法获取版本时如实注明。
选择团队能够核验的配置
根据试运行结果选择配置。有些团队只需排序队列,有些则需要独立评审与冲突处理;适合起草的流程仍可能需要另一套系统,保存方案要求的筛选决定。
评估 Gatsbi Reviewer 这类集成流程时,可从自己的标准与 P-01/P-02/P-03 材料开始,查看候选清单、P-02 的不确定性处理、补充缺失论文、复核提取,并检查导出保留了什么。这是拟议试用任务,不表示 Gatsbi 已通过检查。
记录采用的任务、未解决缺口和记录维护者。方案、输入语言、功能或导出行为变化时重做相关检查;比较配置、纠错、复核所需工作,而不只比较首次建议的速度。
| 团队需求 | 待评价配置 | 扩大使用前必须满足 |
|---|---|---|
为记录集排序 | 排序工具+团队人工筛选流程 | 稳定编号、保留标签、可恢复项目及有依据的停止方法 |
协调独立评审者 | 具备所需分工、盲态和冲突处理的评审系统 | 各人决定对适当人员可见;冲突和理由能导出 |
将整理后的研究变成综述草稿 | 集成候选选择、提取和起草流程,Gatsbi 可列为候选 | 疑难项可复核;来源、修正及所需筛选记录保留在产品或持续维护的配套记录中 |
常见问题
应该先试哪款工具?
先找缺少的输出:排序队列、逐项标准建议、已核验字段,还是多人评审决定。选择公开说明该角色的候选,用同一批记录和导出检查比较。功能清单更长,不一定解决方案中的具体缺口。
AI 可以作为第二位评审者吗?
产品可以给出另一组决定,也可能在不看人工标签时判断,但这不能证明等同于独立人工评审。遵循本综述所需方法,验证拟用角色,并保留有责任人的分歧处理。
语义搜索足以完成系统综述吗?
它能辅助探索或补充检索。是否充分仍取决于问题、来源、可复现策略与方法;找到相关论文不证明已全面寻找符合条件的研究。
怎样报告筛选自动化?
说明任务、工具及可获得版本、设置、何时影响决定、做过何种验证,以及人工怎样检查或推翻建议。用保留的决定和数量支持描述。
来源与延伸阅读
请查阅原始资料,了解完整方法、适用范围与最新更新。
- 研究检索与筛选Cochrane
- 数据收集Cochrane
- ASReview LAB 文档ASReview
- AI Reviewer 文档Rayyan
- 自动化的规划与报告Covidence
- 选择 Elicit 工作流Elicit
- PRISMA 2020 检查表PRISMA
- Gatsbi Reviewer 产品流程Gatsbi · 发布方产品说明