Câu trả lời ngắn gọn
Chọn một công cụ cho phần đánh giá mà bạn cần cải thiện: ưu tiên các bản ghi, gợi ý quyết định đủ điều kiện, trích xuất các trường dữ liệu, hoặc phối hợp các đánh giá viên. So sánh các kết quả đã được ghi nhận của công cụ đó với giao thức của bạn, chạy các trường hợp khó giống nhau qua từng ứng viên, và kiểm tra các quyết định được xuất ra. Hướng dẫn này bao gồm ASReview, Rayyan, Covidence, Elicit, và Gatsbi, với một bảng tính để tách gợi ý của trợ lý khỏi quyết định cuối cùng của nhóm.
Điểm chính
Việc ưu tiên thay đổi thứ tự đọc; loại trừ loại bỏ một bản ghi khỏi việc xem xét thêm. Đánh giá các vai trò đó riêng biệt.
Sử dụng một bản thử nghiệm bao gồm các hồ sơ mơ hồ và các ngôn ngữ thực tế của bạn, các loại tài liệu và thiết kế nghiên cứu.
Chọn một quy trình làm việc bảo lưu đề xuất ban đầu, sửa lỗi của con người, lý do và nguồn khi bạn xuất ra.
Gatsbi xuất bản hướng dẫn này và phát triển một số công cụ được đề cập. Chúng tôi dùng cùng tiêu chí theo từng công việc để xem xét Gatsbi và các sản phẩm khác, dựa trên tài liệu công khai. Đây là so sánh dựa trên tài liệu. Hãy kiểm tra tính năng và điều kiện truy cập hiện tại trước khi lựa chọn.
Biến một giao thức thành yêu cầu công cụ
Bắt đầu với kết quả bạn cần. Việc ưu tiên tạo ra một hàng đợi có thứ tự; trợ giúp về tính đủ điều kiện đề xuất một quyết định bao gồm, loại trừ hoặc không chắc chắn; trợ giúp trích xuất đề xuất một trường hoặc đoạn văn. Quản lý đánh giá thêm các phân công, các quyết định độc lập và giải quyết xung đột. Một nền tảng có thể kết hợp các chức năng này, nhưng mỗi chức năng đều cần kiểm tra chấp nhận riêng.
Câu hỏi của bạn, các tiêu chí đủ điều kiện, kế hoạch tìm kiếm và quy trình đánh giá nên đã được xác định. Nếu chúng vẫn chưa được xác định, hãy bắt đầu với cái mà một tổng quan có hệ thống bao gồm . Hướng dẫn tìm kiếm và lựa chọn Cochrane cung cấp bối cảnh phương pháp cho các yêu cầu dưới đây .
Viết một yêu cầu mà đồng nghiệp có thể kiểm tra: “Chúng ta cần ưu tiên các bản ghi nhập khẩu đồng thời giữ việc sàng lọc bằng con người độc lập và xuất mọi quyết định.” Thêm định dạng đầu vào, ngôn ngữ, PDF quét hoặc văn bản, vai trò người đánh giá, và các tệp đầu ra yêu cầu. Những chi tiết này xác định ứng viên nào thuộc danh sách rút gọn.
| Nhiệm vụ | Kết quả đầu ra yêu cầu | Quyết định nhóm |
|---|---|---|
Ưu tiên | Hàng đợi được sắp xếp với ID bản ghi và nhãn ổn định | Có cách tiếp cận dừng đã chọn có được biện minh hay không |
Hỗ trợ về điều kiện đủ tư cách | Gợi ý, mức độ không chắc chắn và lý do theo từng tiêu chí | Bao gồm cuối cùng và giải quyết các bất đồng |
Hỗ trợ trích xuất | Trường đề xuất với vị trí nguồn và bối cảnh nghiên cứu | Nghiên cứu, nhánh, kết quả và thời điểm chính xác |
Quản lý đánh giá | Tách các nhiệm vụ và quyết định, xung đột và xuất dữ liệu | Vai trò đánh giá và phê duyệt các quyết định đã được giải quyết |
So sánh các ứng viên với các yêu cầu đó
Danh sách rút gọn dưới đây mô tả các vai trò được các nhà cung cấp ghi nhận, kiểm tra ngày 18 tháng 10 năm 2026. Đây không phải là xếp hạng độ chính xác thực hành. Gatsbi là nhà xuất bản và cũng là một trong các ứng viên; mô tả sản phẩm của họ được xử lý giống như tài liệu của các nhà cung cấp khác.
Đọc hai cột đầu tiên để xác định vai trò liên quan, sau đó sử dụng cột cuối cùng để lập kế hoạch thử nghiệm. Một câu hỏi chưa được trả lời có nghĩa là hướng dẫn này chưa xác lập khả năng cho dự án của bạn, không phải sản phẩm thiếu khả năng đó. Kiểm tra kế hoạch và tài khoản hiện tại trước khi dựa vào một tính năng.
Yêu cầu mỗi nhà cung cấp được rút gọn danh sách trình diễn một hồ sơ từ nhập liệu đến quyết định cuối cùng và xuất khẩu. Kiểm tra riêng xem cơ sở của bạn có cho phép các tài liệu dự kiến trong tài khoản đó hay không, bao gồm lưu trữ, truy cập, bảo lưu, xóa, và xử lý tiếp theo.
| Ứng viên / nguồn | Đầu vào và đầu ra được ghi chép | Khi nào nên xem xét | Giải quyết trong thử nghiệm của bạn |
|---|---|---|---|
ASReview LAB · ưu tiên | Bản ghi văn bản và nhãn của con người cung cấp dữ liệu cho học tập chủ động; quyết định gắn nhãn và trạng thái dự án có thể được xuất ra. | Bạn đã có một bộ kỷ lục và muốn ưu tiên việc đọc trong khi vẫn giữ nhãn con người. | Kiểm tra lịch sử nhãn, quá trình phục hồi dự án và cách tiếp cận dừng của bạn trên kho dự kiến. |
Rayyan Đánh giá AI · Hỗ trợ đủ điều kiện | Tiêu chí đánh giá hướng dẫn tiêu đề/tóm tắt; Các quyết định AI được đưa ra mà không xem xét quyết định của các phản biện viên khác. | Bạn muốn có các đề xuất dựa trên tiêu chí trong quá trình sàng lọc của người phản biện. | Kiểm tra các trường hợp không rõ ràng, giải quyết bất đồng, lý do, xuất khẩu và giới hạn chạy hiện tại; một quyết định AI mù không phải là bằng chứng tương đương với người đánh giá con người. |
Tự động hóa Covidence · Các nhiệm vụ sàng lọc/trích xuất đã chọn | Các bản ghi xem xét và PDF hỗ trợ sắp xếp, các tính năng phân loại được chọn và gợi ý trích xuất. | Bạn cần hỗ trợ cho một nhiệm vụ cụ thể trong kiểm tra được quản lý. | Kiểm tra thiết kế nghiên cứu và ngôn ngữ của bạn. Đánh giá được tài liệu hóa của bộ phân loại RCT chủ yếu dựa trên tài liệu y sinh tiếng Anh. |
Elicit · Quy trình đánh giá có cấu trúc | Các bài báo đã tải lên hoặc truy xuất sẽ được thực hiện qua sàng lọc dựa trên tiêu chí và trích xuất có cấu trúc. | Bạn muốn cấu hình tiêu chí sàng lọc và trường trích xuất trong một quy trình làm việc. | Kiểm tra vị trí nguồn, các trường hợp không chắc chắn, quyết định giữ lại và các dữ liệu xuất; phân biệt quy trình làm việc Đánh giá Hệ thống với các báo cáo thăm dò. |
Gatsbi Reviewer · quy trình đánh giá tích hợp; nhà xuất bản | Mô tả sản phẩm bao gồm nghiên cứu ứng viên, lựa chọn thủ công, PDF bổ sung hoặc danh sách tài liệu Zotero, trích xuất và bản thảo tổng quan. | Bạn muốn kết nối một bộ nghiên cứu được tuyển chọn thủ công với phần trích xuất và bản nháp. | Kiểm tra các lý do ở cấp tiêu chí, nhu cầu sàng lọc độc lập, xung đột, mã số nghiên cứu/báo cáo và xuất ra quyết định. Những kiểm soát này không được thiết lập bởi tổng quan sản phẩm. |
Chạy cùng một thử nghiệm sàng lọc cho mỗi ứng viên
Chọn các hồ sơ mà việc xem xét của bạn không thể bỏ qua các lỗi: các nghiên cứu đủ điều kiện và không đủ điều kiện, tóm tắt khan hiếm, thuật ngữ mơ hồ và các ngôn ngữ hoặc thiết kế mà bạn dự kiến sẽ bao gồm. Khi khả thi, hãy thiết lập các quyết định tham chiếu thông qua quá trình xem xét và trọng tài của con người mà bạn đã lên kế hoạch trước khi hiển thị kết quả từ trợ lý cho những người đánh giá đó.
Ghi lại các hồ sơ đủ điều kiện bị bỏ sót cũng như sự đồng thuận. Trong ví dụ hướng dẫn dưới đây, việc tìm thấy 19 trong số 20 hồ sơ tham chiếu đủ điều kiện cho kết quả truy hồi 95% trong tập đó. Điều này không đảm bảo 95% truy hồi trong toàn bộ tập hợp hoặc một quy tắc dừng an toàn. Thành phần của mẫu và hậu quả của các lần bỏ sót là quan trọng.
Một bản ghi bị bỏ lỡ khiến độ hồi tưởng đạt 95%
Hai mươi bản ghi tham chiếu đủ điều kiện được hiển thị: 19 bản được xác định và một bản bị bỏ lỡ. Độ hồi tưởng là 19 chia cho 20, hoặc 95%, chỉ trong thử nghiệm này. Độ hồi tưởng trong toàn bộ tập hợp chưa được biết; kết quả này không xác định khi nào có thể ngừng sàng lọc.
Ví dụ giảng dạy · không tuyên bố hiệu suất công cụ
20 bản ghi đủ điều kiện theo các quyết định tham chiếu
- 19 đã xác định
- 1 bị bỏ lỡ
Độ hồi tưởng chỉ trong thử nghiệm này
19 / 20 = 95%
Mẫu số là tất cả 20 bản ghi tham chiếu đủ điều kiện, bao gồm bản bị bỏ lỡ.
Xác nhận sự hỗ trợ cho đánh giá này và rủi ro bỏ sót các nghiên cứu trước khi quyết định liệu việc sàng lọc có thể dừng hay không.
Bảng tính sử dụng ba trường hợp hư cấu riêng biệt để kiểm tra các quyết định cá nhân; nó không phải là tập dữ liệu đằng sau minh họa 20 bản ghi. P-02 chỉ ra một thất bại cụ thể: một tóm tắt không nêu độ tuổi của người tham gia không xác định rằng nhóm đối tượng không đủ điều kiện. Truy xuất thêm thông tin và giữ cả gợi ý lẫn sửa đổi.
Sử dụng cùng nguồn tài liệu, phiên bản tiêu chí và quyết định tham khảo cho mỗi ứng viên. Lưu từng lần chạy, bao gồm cả những lần không thuận lợi. Nếu bạn thay đổi tiêu chí hoặc cấu hình, hãy gắn nhãn lần chạy tiếp theo riêng biệt để có thể truy vết sự cải thiện từ thay đổi đó.
Bối cảnh chạy: ID chạy, sản phẩm và phiên bản có sẵn, ngày, cài đặt, phiên bản tiêu chí và vai trò của người đánh giá.
Mỗi bản ghi: ID bản ghi/nguồn, quyết định tham khảo, gợi ý từ trợ lý, quyết định cuối cùng, lý do giải quyết, người đánh giá và vị trí nguồn.
Một mục đã hoàn thành có thể đọc như sau: P-02; tiêu chí v1; tham khảo lấy lại; gợi ý loại trừ; lấy lại cuối cùng; lý do tuổi không được nêu; người đánh giá được phân công bởi nhóm; tóm tắt nguồn. Một trường chưa được giải quyết vẫn giữ nguyên.
| Ghi lại | Quyết định tiêu chí / tham khảo | Gợi ý của trợ lý | Quyết định cuối cùng và lý do | Bằng chứng cần giữ lại |
|---|---|---|---|---|
P-01 | Thử nghiệm ngẫu nhiên cho người lớn / lấy lại | Lấy lại | Lấy lại; phù hợp với tiêu chí đã nêu | Tóm tắt, ID nguồn và tiêu chí v1 |
P-02 | Tuổi không rõ / lấy lại | Loại trừ: dân số không rõ | Lấy lại; thiếu chi tiết không phải là bằng chứng của việc không đủ điều kiện | Tóm tắt, chi tiết tuổi thiếu, người đánh giá, và lý do sửa |
P-03 | Biên tập / loại trừ | Loại trừ | Loại trừ; loại ấn phẩm không đáp ứng tiêu chí | Ghi chép nguồn và lý do loại trừ đã ghi |
Kiểm tra trường đã trích xuất trước khi chuyển cho phân tích
Giữ ID nghiên cứu và báo cáo riêng biệt: một bài báo chính và một bài báo theo dõi có thể mô tả cùng người tham gia. Mỗi giá trị trích xuất cũng cần cánh tay, kết quả, thời điểm, số liệu thống kê, đơn vị và vị trí nguồn. Phân biệt không báo cáo, không đo lường và không áp dụng. Hướng dẫn thu thập dữ liệu của Cochrane giải thích các yêu cầu về nguồn và dữ liệu này.
Sử dụng Nghiên cứu hư cấu A, Báo cáo A, bảng 2 ở 12 tuần: trung bình can thiệp là 12 điểm và trung bình so sánh là 15. Giả sử một trợ lý nhập số 15 cho can thiệp. Tìm số đó trong PDF là không đủ; tiêu đề bảng và nhãn cánh tay cho thấy sự không khớp. Giữ lại số 15 được đề xuất, số 12 đã chỉnh sửa, vị trí nguồn, người đánh giá và lý do chỉnh sửa.
Việc chuyển giao trích xuất kết thúc với các trường đã được chọn. Hướng dẫn công cụ phân tích tổng hợp tiếp tục với cùng một báo cáo giả để hỏi liệu các giá trị đó đã sẵn sàng cho phép tính cụ thể hay chưa. Giữ quyết định phân tích đó tách biệt khỏi việc trường nguồn có được phiên âm đúng hay không.
Kiểm tra xem hồ sơ sàng lọc xuất khẩu có thể được tái tạo không
Xuất một dự án nhỏ trước khi cam kết đánh giá đầy đủ. Giữ bản xuất nguyên, sau đó yêu cầu đồng nghiệp tái tạo các quyết định mà không dùng tài khoản của bạn hoặc trò chuyện gốc. Chỉ tiêu đề và cờ bao gồm cuối cùng có thể bỏ qua lý do một hồ sơ được giữ lại, ai giải quyết bất đồng, hoặc phiên bản tiêu chí áp dụng.
Kiểm tra ba điều trong tài liệu xuất khẩu: tại sao P-02 được truy xuất, những gì đã thay đổi giữa hai phiên bản tiêu chí, và nguồn nào hỗ trợ việc bao gồm cuối cùng. Bao gồm các tiêu đề không phải chữ Latinh, lý do nhiều dòng, và các báo cáo liên kết trong kiểm tra này. Ghi nhận các trường thiếu như một hạn chế cần giải quyết trước khi mở rộng.
Giữ lại số lượt sàng lọc và truy xuất thực tế khi công việc tiến triển. Một thư mục tài liệu cuối cùng không thể tái tạo lịch sử lựa chọn. Hướng dẫn báo cáo PRISMA giải thích cách những hồ sơ đó hỗ trợ báo cáo.
Hồ sơ tiêu chí: phiên bản, ngày có hiệu lực, thay đổi, lý do, và các quyết định bị ảnh hưởng.
Hồ sơ sàng lọc: ID hồ sơ, giai đoạn, đề xuất, quyết định của con người, xung đột, cách giải quyết, và người đánh giá.
Bản đồ nguồn: ID hồ sơ liên kết với ID báo cáo và, khi xác lập, ID nghiên cứu.
Ngữ cảnh chạy: sản phẩm, phiên bản phần mềm/mô hình có sẵn, cài đặt, ngày, và ngày xuất. Thông báo khi một phiên bản không được cung cấp.
Chọn một cấu hình mà nhóm của bạn có thể xác minh
Sử dụng kết quả thí điểm để chọn một cấu hình cho nhóm của bạn. Một số đánh giá cần hàng đợi được xếp hạng; những đánh giá khác cần những người đánh giá độc lập và xử lý xung đột. Một quy trình thuận tiện cho việc soạn thảo vẫn có thể cần một hệ thống riêng cho các quyết định sàng lọc theo yêu cầu của giao thức của bạn.
Đối với một quy trình tích hợp như Gatsbi Reviewer, một thử nghiệm đề xuất hữu ích bắt đầu với tiêu chí của bạn và các tài liệu P-01/P-02/P-03. Kiểm tra danh sách ứng cử viên, xem cách xử lý sự không chắc chắn trong P-02, thêm bài báo còn thiếu nếu cần, xem lại việc trích xuất, và kiểm tra những gì còn sót sau khi xuất. Đây là một đặc tả thử nghiệm, không phải là báo cáo Gatsbi đã vượt qua các kiểm tra đó.
Ghi lại các nhiệm vụ được chọn, những khoảng trống chưa giải quyết và ai sẽ lưu giữ hồ sơ. Lặp lại các kiểm tra liên quan khi giao thức, ngôn ngữ đầu vào, tính năng hoặc hành vi xuất thay đổi. So sánh công việc cần cho việc thiết lập, sửa chữa và đánh giá cũng như tốc độ của đề xuất ban đầu.
| Nhu cầu của đội | Cấu hình cần đánh giá | Phải được thông qua trước khi sử dụng rộng rãi |
|---|---|---|
Ưu tiên một tập bản ghi | Công cụ ưu tiên cùng với quy trình sàng lọc con người của đội ngũ | ID ổn định, nhãn giữ lại, trạng thái dự án có thể phục hồi và phương pháp dừng hợp lý |
Phối hợp các phản biện độc lập | Hệ thống xem xét với các nhiệm vụ cần thiết, quy trình làm mù và xung đột | Các quyết định riêng biệt vẫn có thể nhìn thấy được với những người phù hợp; xung đột và lý do vẫn tồn tại khi xuất khẩu |
Chuyển các nghiên cứu đã được tuyển chọn vào bản thảo tổng quan | Quy trình lựa chọn, trích xuất và soạn thảo ứng viên tích hợp, bao gồm cả Gatsbi với tư cách ứng viên | Các trường hợp không chắc chắn vẫn có thể xem xét; nguồn, chỉnh sửa và hồ sơ sàng lọc cần thiết vẫn có sẵn, trong công cụ hoặc hồ sơ đồng hành được duy trì |
Câu hỏi thường gặp
Công cụ nào tôi nên thử trước?
Bắt đầu với đầu ra còn thiếu: hàng đợi xếp hạng, gợi ý theo tiêu chí, các trường trích xuất đã được kiểm tra, hoặc các quyết định của người đánh giá được phối hợp. Lọc các ứng viên đã ghi lại vai trò đó, sau đó sử dụng cùng các bản ghi thử nghiệm và kiểm tra xuất dữ liệu. Danh sách tính năng rộng hơn không giải quyết được khoảng trống cụ thể theo giao thức.
Trí tuệ nhân tạo có thể đóng vai trò là người đánh giá thứ hai không?
Một sản phẩm có thể tạo ra một bộ quyết định riêng biệt, bao gồm các quyết định được đưa ra mà không cần xem nhãn của con người. Chỉ điều đó thôi không xác lập sự tương đương với một người đánh giá độc lập. Làm theo phương pháp yêu cầu của đánh giá của bạn, xác thực vai trò được đề xuất, và duy trì trách nhiệm giải quyết các bất đồng.
Tìm kiếm ngữ nghĩa có đủ cho một tổng quan hệ thống không?
Nó có thể hỗ trợ khám phá hoặc bổ sung việc truy xuất. Sự đầy đủ vẫn phụ thuộc vào câu hỏi, nguồn thông tin, chiến lược tìm kiếm có thể tái tạo và phương pháp. Nhận được các bài báo liên quan không cho thấy rằng các nghiên cứu đủ điều kiện đã được tìm kiếm một cách toàn diện.
Các tự động hóa sàng lọc nên được báo cáo như thế nào?
Báo cáo nhiệm vụ, công cụ và phiên bản có sẵn, cài đặt, khi nào nó ảnh hưởng đến các quyết định, việc xác nhận đã thực hiện và cách con người kiểm tra hoặc phủ quyết nó. Hỗ trợ mô tả bằng các quyết định và số liệu đã giữ lại.
Nguồn và tài liệu đọc thêm
Xem nguồn gốc để biết đầy đủ phương pháp, phạm vi và những cập nhật mới nhất.
- Tìm kiếm và chọn lọc nghiên cứuCochrane
- Thu thập dữ liệuCochrane
- Tài liệu ASReview LABASReview
- Tài liệu AI ReviewerRayyan
- Lập kế hoạch và báo cáo tự động hóaCovidence
- Lựa chọn một quy trình ElicitElicit
- Bảng kiểm tra PRISMA 2020PRISMA
- Quy trình làm việc sản phẩm Gatsbi ReviewerGatsbi · tài liệu sản phẩm của nhà xuất bản