Resposta breve
Escolha uma ferramenta para a parte da revisão que você precisa melhorar: priorização de registros, sugestão de decisões de elegibilidade, extração de campos ou coordenação de revisores. Compare seus resultados documentados com seu protocolo, execute os mesmos casos complicados em cada candidato e inspecione as decisões exportadas. Este guia inclui ASReview, Rayyan, Covidence, Elicit e Gatsbi, com uma planilha para separar a sugestão de um assistente da decisão final da equipe.
Pontos principais
A priorização altera a ordem de leitura; a exclusão remove um registro de consideração futura. Avalie essas funções separadamente.
Use um piloto que inclua registros ambíguos e suas línguas reais, tipos de documentos e desenhos de estudo.
Escolha um fluxo de trabalho que preserve a sugestão original, a correção humana, o motivo e a fonte quando você exportar.
A Gatsbi publica este guia e desenvolve algumas das ferramentas mencionadas. Aplicamos os mesmos critérios por tarefa à Gatsbi e a outros produtos, com base na documentação pública. A comparação é documental. Confira os recursos e as condições de acesso atuais antes de escolher.
Transforme o protocolo em um requisito de ferramenta
Comece com o resultado que você precisa. A priorização produz uma fila ordenada; a assistência de elegibilidade propõe uma decisão de incluir, excluir ou incerto; a assistência de extração propõe um campo ou trecho. A gestão de revisão adiciona atribuições, decisões independentes e resolução de conflitos. Uma plataforma pode combinar essas funções, mas cada uma precisa de sua própria verificação de aceitação.
Sua pergunta, critérios de elegibilidade, busca planejada e processo de revisão já devem estar definidos. Se ainda estiverem abertos, comece com o que envolve uma revisão sistemática. Cochrane a orientação para busca e seleção fornece o contexto dos métodos para os requisitos abaixo.
Escreva um requisito que um colega possa testar: “Precisamos priorizar registros importados enquanto mantemos a triagem humana independente e uma exportação de cada decisão.” Adicione o formato de entrada, idiomas, PDFs digitalizados ou de texto, funções dos revisores e arquivos de saída necessários. Esses detalhes determinam quais candidatos pertencem à lista de finalistas.
| Tarefa | Saída requerida | Decisão da equipe |
|---|---|---|
Priorização | Fila ordenada com IDs de registro e rótulos estáveis | Se a abordagem de parada escolhida é justificada |
Assistência de elegibilidade | Sugestão, incerteza e motivo em nível de critério | Inclusão final e resolução de discordâncias |
Assistência de extração | Campo proposto com localização da fonte e contexto do estudo | Estudo, braço, resultado e ponto no tempo corretos |
Gestão da revisão | Atribuições e decisões separadas, conflitos e exportação | Papéis dos revisores e aprovação de decisões resolvidas |
Comparar candidatos com esses requisitos
A lista a seguir descreve os papéis documentados pelos fornecedores, verificada em 18 de outubro de 2026. Não se trata de um ranking de precisão prática. Gatsbi é o publicador e um dos candidatos; a descrição do produto dele recebe o mesmo tratamento que a documentação de outros fornecedores.
Leia as duas primeiras colunas para identificar um papel relevante e, em seguida, use a última coluna para planejar um teste. Uma pergunta não respondida significa que este guia não estabeleceu a capacidade para o seu projeto, e não que o produto a não possua. Verifique o plano e a conta atuais antes de confiar em um recurso.
Peça a cada provedor pré-selecionado que demonstre um registro desde a importação até a decisão final e exportação. Verifique separadamente se sua instituição permite os materiais pretendidos nessa conta, incluindo armazenamento, acesso, retenção, exclusão e processamento subsequente.
| Candidato / fonte | Entrada e saída documentadas | Quando considerar | Resolver no seu piloto |
|---|---|---|---|
ASReview LAB · priorização | Registros de texto e rótulos humanos alimentam aprendizado ativo; decisões de rotulagem e estado do projeto podem ser exportados. | Você tem um conjunto de registros e quer priorizar a leitura enquanto mantém rótulos humanos. | Verifique o histórico de rótulos, recuperação de projeto e sua abordagem de interrupção no corpus pretendido. |
Rayyan Revisor de IA · assistência de elegibilidade | Revise o título/abstract do guia de critérios de avaliação; decisões de IA são feitas sem ver as decisões de outros revisores. | Você quer sugestões com base em critérios dentro do processo de triagem de um revisor. | Inspecione casos pouco claros, resolução de divergências, motivos, exportação e limites da execução atual; uma decisão cega de IA não é prova de equivalência a um revisor humano. |
Covidence automação · tarefas selecionadas de triagem/extração | Rever registros e PDFs apoia ordenação, recursos de classificação selecionados e sugestões de extração. | Você precisa de assistência para uma tarefa específica em uma revisão gerenciada. | Teste seus desenhos de estudo e idiomas. A avaliação documentada do classificador RCT é principalmente na literatura biomédica em inglês. |
Elicit · fluxo de trabalho de revisão estruturada | Artigos carregados ou recuperados passam por triagem baseada em critérios e extração estruturada. | Você deseja configurar critérios de triagem e campos de extração em um único fluxo de trabalho. | Verifique locais de origem, casos incertos, decisões retidas e exportações; diferencie o fluxo de trabalho de Revisão Sistemática de relatórios exploratórios. |
Gatsbi Reviewer · fluxo de revisão integrado; editor | As descrições do produto cobrem estudos candidatos, seleção manual, PDFs adicionados ou uma lista de literatura Zotero, extração e um rascunho de revisão. | Você deseja conectar um conjunto de estudos curado manualmente à extração e a um rascunho. | Verifique os motivos em nível de critério, necessidades de triagem independente, conflitos, IDs de estudo/relatório e exportações de decisão. Esses controles não são estabelecidos pela visão geral do produto. |
Execute o mesmo piloto de triagem para cada candidato
Escolha registros que exponham os erros que sua revisão não pode se dar ao luxo de cometer: estudos elegíveis e inelegíveis, resumos escassos, terminologia ambígua e os idiomas ou desenhos que você espera incluir. Quando possível, estabeleça decisões de referência por meio do seu processo planejado de revisão humana e adjudicação antes de mostrar a saída do assistente a esses revisores.
Registre os registros elegíveis não encontrados, assim como os acordos. No exemplo de ensino abaixo, encontrar 19 de 20 registros de referência elegíveis dá 95% de recuperação nesse conjunto. Isso não estabelece 95% de recuperação no corpus completo ou uma regra segura de parada. A composição da amostra e as consequências das falhas são importantes.
Um registro perdido atrás de 95% de recall
Vinte registros de referência elegíveis são mostrados: 19 identificados e um perdido. O recall é 19 dividido por 20, ou 95%, apenas neste piloto. O recall no corpus completo é desconhecido; este resultado não estabelece quando a triagem pode ser interrompida.
Exemplo didático · sem reivindicação de desempenho da ferramenta
20 registros elegíveis pelas decisões de referência
- 19 identificado
- 1 perdido
Recall apenas neste piloto
19 / 20 = 95%
O denominador é todos os 20 registros de referência elegíveis, incluindo o perdido.
Valide a assistência para esta revisão e seu risco de estudo perdido antes de decidir se a triagem pode ser interrompida.
A planilha utiliza três casos ficcionais separados para analisar decisões individuais; ela não é o conjunto de dados por trás da ilustração de 20 registros. P-02 expõe uma falha específica: um resumo que não informa a idade dos participantes não estabelece que a população seja inelegível. Recupere mais informações e preserve tanto a sugestão quanto a correção.
Use os mesmos materiais de origem, versão do critério e decisões de referência para cada candidato. Salve cada execução, incluindo uma desfavorável. Se você alterar os critérios ou a configuração, marque a próxima execução separadamente para que uma melhoria possa ser rastreada até a mudança.
Contexto da execução: ID da execução, produto e versão disponível, data, configurações, versão do critério e funções do avaliador.
Cada registro: ID do registro/fonte, decisão de referência, sugestão do assistente, decisão final, motivo da resolução, avaliador e localização da fonte.
Uma entrada concluída pode ser: P-02; critérios v1; referenciar recuperar; sugestão excluir; recuperação final; motivo idade não informada; revisor atribuído pela equipe; resumo da fonte. Um campo não resolvido permanece não resolvido.
| Registro | Decisão de critério / referência | Sugestão do assistente | Decisão final e motivo | Evidência a ser mantida |
|---|---|---|---|---|
P-01 | Ensaio randomizado em adultos / recuperar | Recuperar | Recuperar; corresponde ao critério declarado | Resumo, ID da fonte e critérios v1 |
P-02 | Idade incerta / recuperar | Excluir: população incerta | Recuperar; detalhe ausente não é evidência de inelegibilidade | Resumo, detalhe de idade ausente, revisor e motivo da correção |
P-03 | Editorial / excluir | Excluir | Excluir; o tipo de publicação não atende ao critério | Registro da fonte e motivo de exclusão registrado |
Verifique o campo extraído antes de entregá-lo para análise
Mantenha os IDs de estudo e relatório separados: um artigo principal e um artigo de acompanhamento podem descrever os mesmos participantes. Cada valor extraído também precisa do seu braço, desfecho, ponto no tempo, estatística, unidade e localização da fonte. Distinga não relatado, não medido e não aplicável. Cochrane orientação de coleta de dados explica esses requisitos de fonte e dados.
Use o Estudo A fictício, Relatório A, tabela 2 em 12 semanas: a média da intervenção é 12 pontos e a média do comparador é 15. Suponha que um assistente insira 15 para a intervenção. Encontrar esse número no PDF é insuficiente; o cabeçalho da tabela e o rótulo do grupo revelam a discrepância. Preserve o 15 proposto, o 12 corrigido, a localização da fonte, o revisor e o motivo da correção.
A transferência da extração termina com campos verificados. As ferramentas de meta-análise guiam continuam com o mesmo relatório fictício para perguntar se esses valores estão prontos para um cálculo especificado. Mantenha essa decisão de análise separada de determinar se o campo da fonte foi transcrito corretamente.
Teste se o registro de triagem exportado pode ser reconstruído
Exporte um pequeno projeto antes de confirmar a revisão completa. Mantenha a exportação bruta, depois peça a um colega para reconstruir as decisões sem sua conta ou o chat original. Apenas títulos e sinais finais de inclusão podem omitir o motivo pelo qual um registro foi mantido, quem resolveu um desacordo ou qual versão do critério foi aplicada.
Verifique três coisas no material exportado: por que P-02 foi recuperado, o que mudou entre duas versões do critério e qual fonte apoia uma inclusão final. Inclua títulos não latinos, motivos multilinha e relatórios vinculados nesta verificação. Registre campos ausentes como uma limitação a ser resolvida antes de expandir.
Mantenha os contadores reais de triagem e recuperação à medida que o trabalho avança. Uma bibliografia final não pode reconstruir o histórico de seleção. As orientações de relatório PRISMA explicam como esses registros suportam o relatório.
Registro de critérios: versão, data de vigência, alteração, motivo e decisões afetadas.
Registro de triagem: ID do registro, estágio, sugestão, decisão humana, conflito, resolução e revisor.
Mapeamento de fontes: ID do registro vinculado ao ID do relatório e, quando estabelecido, ao ID do estudo.
Contexto da execução: produto, software/disponível versão do modelo, configurações, data e data de exportação. Informe quando uma versão não estiver exposta.
Escolha uma configuração que sua equipe possa verificar
Use os resultados do piloto para escolher uma configuração para sua equipe. Algumas revisões precisam de uma fila classificada; outras precisam de revisores independentes e gerenciamento de conflitos. Um fluxo de trabalho que é conveniente para rascunhos ainda pode precisar de um sistema separado para as decisões de triagem exigidas pelo seu protocolo.
Para um fluxo de trabalho integrado como Gatsbi Reviewer, um ensaio proposto útil começa com seus critérios e os materiais P-01/P-02/P-03. Inspecione a lista de candidatos, verifique como a incerteza no P-02 é tratada, adicione um artigo faltante quando necessário, revise a extração e verifique o que sobrevive à exportação. Esta é uma especificação de ensaio, não um relatório de Gatsbi tendo passado nesses verificações.
Anote as tarefas selecionadas, lacunas não resolvidas e quem manterá os registros. Repita as verificações relevantes quando o protocolo, idioma de entrada, recurso ou comportamento de exportação mudar. Compare o trabalho necessário para configuração, correção e revisão, bem como a velocidade da sugestão inicial.
| Necessidade da equipe | Configuração a ser avaliada | Deve ser aprovado antes de uso mais amplo |
|---|---|---|
Priorizar um conjunto de registros | Ferramenta de priorização mais o processo de triagem humana da equipe | IDs estáveis, rótulos retidos, estado do projeto recuperável e abordagem de parada justificada |
Coordenar revisores independentes | Sistema de revisão com os atribuições necessárias, cegamento e processo de conflitos | Decisões separadas permanecem visíveis para as pessoas certas; conflitos e motivos sobrevivem à exportação |
Mover estudos curados para um rascunho de revisão | Fluxo de trabalho integrado de seleção de candidatos, extração e elaboração, incluindo Gatsbi como candidato | Casos incertos permanecem revisáveis; fontes, correções e registros de triagem necessários permanecem disponíveis, na ferramenta ou em um registro complementar mantido |
Perguntas frequentes
Qual ferramenta devo experimentar primeiro?
Comece com a saída ausente: uma fila classificada, sugestões a nível de critério, campos de extração verificados ou decisões de revisores coordenadas. Faça uma lista restrita de candidatos que documentem essa função, depois use os mesmos registros do piloto e verifique as exportações. Uma lista mais ampla de recursos não resolve uma lacuna específica do protocolo.
A IA pode atuar como um segundo revisor?
Um produto pode produzir um conjunto separado de decisões, incluindo decisões tomadas sem ver os rótulos humanos. Isso sozinho não estabelece equivalência com um revisor humano independente. Siga o método exigido pela sua revisão, valide a função proposta e mantenha a resolução responsável de discordâncias.
A pesquisa semântica é suficiente para uma revisão sistemática?
Ela pode apoiar a exploração ou complementar a recuperação. A adequação ainda depende da pergunta, das fontes de informação, da estratégia de busca reproduzível e dos métodos. Receber artigos relevantes não demonstra que os estudos elegíveis foram procurados de forma abrangente.
Como a automação de triagem deve ser relatada?
Relate a tarefa, a ferramenta e a versão disponível, as configurações, quando afetou decisões, a validação realizada e como as pessoas verificaram ou substituíram isso. Apoie a descrição com decisões retidas e contagens.
Fontes e leituras complementares
Consulte as fontes originais para conhecer os métodos completos, seu escopo e as atualizações mais recentes.
- Pesquisando e selecionando estudosCochrane
- Coletando dadosCochrane
- Documentação ASReview LABASReview
- Documentação do Revisor de IARayyan
- Planejamento e relato de automaçãoCovidence
- Escolhendo um fluxo de trabalho ElicitElicit
- Checklist PRISMA 2020PRISMA
- Gatsbi Reviewer fluxo de trabalho do produtoGatsbi · Documentação do produto para editora