Краткий ответ
Сначала определите задачу: порядок чтения, рекомендации по соответствию критериям, извлечение полей или координация рецензентов. Сопоставьте заявленные результаты с протоколом, дайте кандидатам одинаковые сложные записи и проверьте экспорт решений. Руководство рассматривает ASReview, Rayyan, Covidence, Elicit и Gatsbi, отделяя предложения ИИ от итоговых решений команды.
Главное
Ранжирование меняет порядок чтения, а исключение прекращает дальнейшую проверку записи.
Включите в пилот сложные случаи и реальные языки, форматы файлов и дизайны исследований.
Выбирайте процесс, сохраняющий предложения, исправления, причины и источники после экспорта.
Gatsbi публикует это руководство и разрабатывает часть рассмотренных инструментов. Мы оцениваем продукты Gatsbi и другие решения по одинаковым критериям задач, опираясь на публичную документацию. Это не результаты сравнительного тестирования. Перед выбором уточните актуальные функции и условия доступа.
Переведите протокол в проверяемые требования
Разделите ожидаемые результаты. Ранжирование создаёт очередь чтения; помощь в отборе предлагает включение, исключение или неопределённость; извлечение предлагает значения или фрагменты. Система управления также должна хранить назначения, независимые решения и разрешение разногласий. Проверяйте функции отдельно, даже если они объединены в продукте.
Сначала задайте вопрос, критерии, план поиска и порядок рецензирования. Если они не определены, поможет методика систематического обзора; методическую основу даёт руководство Cochrane по поиску и отбору.
Запишите проверяемое требование: «ранжировать импортированные записи, сохранив независимый ручной отбор и экспорт каждого решения». Укажите форматы, языки, сканы или текстовые PDF, роли и нужные выходные файлы.
| Задача | Нужный результат | Что решает команда |
|---|---|---|
Приоритизация | Очередь с устойчивыми ID и метками | Обоснованность правила остановки |
Помощь в отборе | Предложение по критериям, неопределённость, причина | Окончательное включение и разногласия |
Помощь в извлечении | Предложенное поле, место в источнике, контекст | Соответствие исследования, группы, исхода и срока |
Управление рецензентами | Независимые назначения и решения, конфликты, экспорт | Ответственность и утверждение разрешённых вопросов |
Сравните кандидатов по одним требованиям
Таблица основана на открытой документации, проверенной 18 октября 2026 года. Это не рейтинг измеренной точности. Gatsbi публикует руководство и включён как кандидат на тех же условиях проверки документации.
Первые столбцы определяют роль, последний — программу пилота. Неподтверждённая возможность не означает отсутствующую функцию. Проверьте текущий тариф и конкретную учётную запись.
Проведите одну запись от импорта до окончательного решения и экспорта. Отдельно подтвердите, что организация разрешает обработку материалов в этом аккаунте, включая хранение, доступ, сроки хранения, удаление и дальнейшую обработку.
| Кандидат / источник | Заявленные входы и выходы | Когда рассматривать | Что проверить |
|---|---|---|---|
ASReview LAB · ранжирование | Активное обучение на текстовых записях и метках человека; экспорт решений и состояния проекта. | Приоритизировать существующий корпус по мере ручной разметки. | Историю меток, восстановление проекта и правило остановки для данного корпуса. |
Rayyan AI Reviewer · соответствие критериям | Оценка названий и аннотаций по критериям без доступа ИИ к решениям других рецензентов. | Получать рекомендации по отдельным критериям. | Сложные случаи, разногласия, причины, экспорт и лимиты; ослепление ИИ не доказывает равноценность человеку. |
Covidence · отдельные операции | Ранжирование, некоторые виды классификации и предложения по извлечению из записей и PDF. | Поддержать конкретный этап управляемого обзора. | Дизайны и языки проекта; публичная оценка классификатора РКИ преимущественно относится к англоязычной биомедицине. |
Elicit · структурированный обзор | Отбор по критериям и извлечение из загруженных или найденных публикаций. | Задать критерии и поля в одном процессе. | Места в источнике, сложные случаи, сохранённые решения и экспорт; отличать Systematic Review от поисковых отчётов. |
Gatsbi Reviewer · единый процесс / издатель | Кандидатные исследования, ручной выбор, дополнительные PDF или списки Zotero, извлечение и черновик. | Связать проверенный людьми набор с извлечением и текстом. | Причины по критериям, независимость, конфликты, ID исследований/отчётов, экспорт решений; общего описания недостаточно. |
Проведите одинаковый пилот отбора
Возьмите подходящие и неподходящие записи, неполные аннотации, неоднозначные термины и используемые языки и дизайны. По возможности сформируйте эталонные решения по запланированной ручной процедуре и разрешению споров до показа результатов ИИ.
На учебной схеме найдены 19 из 20 подходящих записей: полнота 95%. Это не оценка всего корпуса и не правило остановки. Учитывайте состав выборки и последствия пропуска.
За полнотой 95% скрывается одна пропущенная запись
Показаны 20 подходящих записей по эталонным решениям: 19 найдены, одна пропущена. Полнота равна 19 из 20, то есть 95%, только в этой пробе. Полнота на всём корпусе неизвестна; результат не определяет момент остановки скрининга.
Учебный пример · не оценка качества инструмента
20 подходящих записей по эталонным решениям
- 19 найдено
- 1 пропущена
Полнота только в этой пробе
19 / 20 = 95%
В знаменатель входят все 20 подходящих эталонных записей, включая пропущенную.
Прежде чем прекращать скрининг, проверьте применение помощника с учётом конкретного обзора и риска пропуска исследований.
Три вымышленные записи ниже иллюстрируют отдельные решения и не составляют выборку из 20. Отсутствие возраста в P-02 не доказывает несоответствие. Запросите информацию и сохраните предложение вместе с исправлением.
Используйте одинаковые материалы, версию критериев и эталон. Сохраняйте все запуски, включая неудачные. Изменение критериев или настроек оформляйте новым запуском, чтобы проследить источник улучшений.
Запуск: ID, продукт и доступная версия, дата, настройки, версия критериев, роли.
Запись: ID записи/источника, эталонное решение, предложение ИИ, итог, причина, рецензент, место в источнике.
Пример: P-02; критерии v1; эталон — получить полный текст; предложение — исключить; итог — получить текст; причина — возраст не указан; рецензент назначается командой; источник — аннотация. Неизвестные поля остаются открытыми.
| Запись | Критерий / эталон | Предложение ИИ | Итог и причина | Сохраняемые основания |
|---|---|---|---|---|
P-01 | Рандомизированное исследование взрослых / полный текст | Полный текст | Получить: соответствует указанным критериям | Аннотация, ID источника, критерии v1 |
P-02 | Возраст неизвестен / полный текст | Исключить: популяция неясна | Получить: отсутствие сведений не доказывает несоответствие | Аннотация, недостающий возраст, рецензент, причина исправления |
P-03 | Редакционная статья / исключить | Исключить | Исключить: неподходящий тип публикации | Исходная запись и причина исключения |
Проверьте извлечение до передачи в анализ
Разделяйте ID исследования и отчёта: основная публикация и последующее наблюдение могут описывать одних участников. Связывайте значение с группой, исходом, сроком, статистикой, единицей и местом. Различайте «не сообщено», «не измерено» и «не применимо». См. руководство Cochrane по сбору данных.
В вымышленном исследовании A, отчёте A, таблице 2 на 12-й неделе среднее вмешательства равно 12 баллам, сравнения — 15. Если ИИ запишет 15 для вмешательства, наличие числа в PDF не выявит ошибку. Сверьте заголовки и группы; сохраните предложение 15, исправление 12, место, проверяющего и причину.
Здесь заканчивается проверка переноса и контекста. инструменты метаанализа использует тот же отчёт для проверки пригодности к конкретному расчёту. Верное извлечение и готовность к анализу — разные решения.
Восстановите отбор по экспортированным данным
До загрузки всего обзора экспортируйте небольшой проект и сохраните оригинал. Попросите коллегу восстановить решения без вашего аккаунта или переписки. Названия и итоговые отметки включения могут не содержать причин, арбитра и версии критериев.
Проверьте, можно ли объяснить запрос полного текста P-02, различия критериев и источник итогового включения. Добавьте нелатинские символы, многострочные причины и связанные отчёты. Недостающие поля запишите как ограничения до расширения.
Сохраняйте фактические количества при отборе и получении текстов, не восстанавливайте их по конечной библиографии. Для отчёта полезно руководство по отчётности PRISMA.
Критерии: версия, дата применения, изменение, причина, затронутые решения.
Отбор: ID, этап, предложение, решение человека, конфликт, разрешение, рецензент.
Связь источников: запись → отчёт → исследование после подтверждения.
Запуск: продукт, доступная версия ПО/модели, настройки, даты запуска и экспорта; недоступные версии отмечаются явно.
Выберите процесс, который команда может проверить
Ориентируйтесь на пилот. Одним командам достаточно ранжированной очереди, другим нужны независимые решения и управление спорами. Удобный для черновика процесс может требовать дополнительного реестра решений по протоколу.
Для Gatsbi Reviewer или аналогичного процесса возьмите свои критерии и P-01/P-02/P-03. Проверьте список кандидатов, неопределённость P-02, добавление публикаций, извлечение и экспорт. Это предлагаемая проверка, не утверждение о её успешном прохождении Gatsbi.
Запишите принятые задачи, открытые недостатки и ответственного за реестры. Повторяйте проверки при изменении протокола, языка, функций или экспорта. Сравнивайте подготовку, исправления и проверку, а не только скорость первого предложения.
| Потребность | Вариант для оценки | Условие расширения |
|---|---|---|
Приоритизировать записи | Ранжирование + ручной отбор | Устойчивые ID, сохранённые метки, восстановление, обоснованная остановка |
Координировать независимых рецензентов | Система с нужными назначениями, ослеплением и конфликтами | Надлежащая видимость решений, экспорт разногласий и причин |
Создать текст из подготовленных исследований | Связанные выбор, извлечение и написание, включая Gatsbi как кандидата | Сложные случаи доступны проверке; источники, исправления и обязательные решения сохранены в продукте или поддерживаемом реестре |
Частые вопросы
Какой инструмент попробовать первым?
Определите недостающий результат: очередь, предложения по критериям, проверенные поля или решения нескольких рецензентов. Сравните документирующих эту роль кандидатов на одинаковых записях и экспортах. Большее число функций не гарантирует решения задачи.
Может ли ИИ быть вторым рецензентом?
Отдельный набор решений, даже без доступа к меткам человека, не доказывает равноценность независимому человеку. Соблюдайте требуемую методику, проверяйте роль и назначайте ответственного за разногласия.
Достаточно ли семантического поиска?
Он помогает исследовать тему или дополнить поиск. Достаточность зависит от вопроса, источников, воспроизводимой стратегии и метода. Найденные релевантные статьи не доказывают полноту поиска подходящих исследований.
Как описать автоматизацию?
Укажите задачу, продукт и доступную версию, настройки, момент влияния на решения, проверку и действия человека при подтверждении или исправлении. Подкрепляйте описание сохранёнными решениями и числами.
Источники и дополнительное чтение
Полное описание методов, область применения и обновления доступны в первоисточниках.
- Поиск и отбор исследованийCochrane
- Сбор данныхCochrane
- Документация ASReview LABASReview
- Документация AI ReviewerRayyan
- Планирование и описание автоматизацииCovidence
- Выбор процесса ElicitElicit
- Контрольный список PRISMA 2020PRISMA
- Процесс работы Gatsbi ReviewerGatsbi · документация продукта издателя