간단히 알아보기
먼저 개선할 작업이 읽기 순서, 적격성 제안, 자료 추출, 공동 검토 관리 중 무엇인지 정합니다. 공개된 출력 기능을 프로토콜과 대조하고 모든 후보에 같은 어려운 기록을 적용한 뒤 내보낸 판단을 확인합니다. ASReview, Rayyan, Covidence, Elicit, Gatsbi를 대상으로 AI 제안과 팀의 최종 판단을 구분하는 방법을 보여 줍니다.
핵심 내용
읽기 순서를 바꾸는 것과 이후 검토에서 제외하는 것은 다른 판단입니다.
시범 평가에는 어려운 사례와 실제 사용할 언어·파일·연구 설계를 포함하세요.
제안, 사람의 수정, 이유, 출처가 내보내기 후에도 남는 절차를 선택하세요.
이 가이드는 Gatsbi가 발행하며 자사 제품도 다룹니다. 공개 문서를 바탕으로 Gatsbi와 다른 제품에 같은 작업 기준을 적용합니다. 직접 사용한 성능 비교 결과는 아니므로, 선택하기 전에 최신 기능과 이용 조건을 확인하세요.
프로토콜을 확인 가능한 도구 요건으로 바꾸기
필요한 출력을 구분합니다. 우선순위 도구는 읽을 순서를, 적격성 지원은 포함·제외·불확실 제안을, 추출 지원은 값과 원문 위치를 제시합니다. 관리 시스템에는 담당 배정, 독립 판단, 불일치 해결 기록도 필요합니다. 한 제품에 여러 기능이 있어도 따로 평가합니다.
연구 질문, 적격 기준, 검색 계획, 검토 절차부터 정하세요. 아직 정하지 않았다면 체계적 문헌고찰의 방법를, 방법상 근거는 Cochrane 검색·선별 지침를 참고하세요.
예를 들어 '가져온 기록의 순서를 정하되 독립적인 사람의 선별과 모든 판단의 내보내기를 유지한다'라고 요건을 씁니다. 입력 형식, 언어, 스캔 또는 텍스트 PDF, 담당자, 필요한 출력도 덧붙입니다.
| 작업 | 필요한 출력 | 팀이 결정할 사항 |
|---|---|---|
우선순위 지정 | 안정적인 기록 ID와 라벨이 있는 읽기 목록 | 근거 있는 선별 종료 방법 |
적격성 지원 | 기준별 제안, 불확실성, 이유 | 최종 포함 여부와 불일치 해결 |
추출 지원 | 후보 값, 원문 위치, 연구 맥락 | 연구·군·결과·시점의 정확한 대응 |
검토 관리 | 독립 배정과 판단, 충돌, 내보내기 | 담당 역할과 해결된 판단의 승인 |
같은 요건으로 후보 비교하기
아래 표는 2026년 10월 18일 확인한 공개 제품 문서를 바탕으로 하며, 정확도를 실험한 순위가 아닙니다. 발행사 Gatsbi도 후보로 포함해 다른 공급사와 같은 기준을 적용합니다.
앞 두 열로 역할을 파악하고 마지막 열로 시범 검사를 설계하세요. 확인하지 못한 항목은 기능이 없다는 뜻이 아닙니다. 실제 사용할 요금제와 계정에서 확인해야 합니다.
각 후보에서 한 기록을 가져와 최종 판단과 내보내기까지 진행합니다. 저장, 접근, 보존, 삭제, 후속 처리 조건을 검토하고 기관이 해당 계정에서 자료 처리를 허용하는지도 확인하세요.
| 후보 / 출처 | 설명된 입력과 출력 | 검토할 상황 | 시범 평가에서 확인할 사항 |
|---|---|---|---|
ASReview LAB · 순위 지정 | 텍스트 기록과 사람의 라벨을 활용한 능동 학습. 판단 라벨과 프로젝트 상태를 내보냄. | 기존 문헌 집합에서 라벨을 붙이며 관련 문헌을 먼저 읽고 싶을 때. | 라벨 이력, 프로젝트 복원, 대상 문헌 집합의 종료 규칙. |
Rayyan AI Reviewer · 적격성 지원 | 기준에 따라 제목·초록을 평가하며 AI는 다른 검토자의 판단을 보지 않음. | 검토 과정에 기준별 제안을 넣고 싶을 때. | 어려운 사례, 불일치, 이유, 출력, 이용 제한. 눈가림된 AI 판단이 사람과 동등함을 뜻하지는 않음. |
Covidence · 특정 선별·추출 작업 | 기록과 PDF의 순위 지정, 일부 분류, 추출 제안. | 관리 절차 안의 특정 단계를 지원할 때. | 해당 언어와 설계. RCT 분류기의 공개 평가는 주로 영어 생의학 문헌을 기반으로 함. |
Elicit · 구조화된 고찰 | 업로드하거나 검색한 논문을 기준에 따른 선별과 구조화 추출로 연결. | 적격 기준과 추출 항목을 한 절차에서 설정할 때. | 원문 위치, 어려운 사례, 보존되는 판단과 출력. Systematic Review 절차와 탐색 보고서를 구분. |
Gatsbi Reviewer · 통합 고찰 절차 / 발행사 | 후보 연구, 수동 선택, PDF·Zotero 목록 추가, 추출, 고찰 초안 작성을 설명. | 사람이 정리한 연구 집합을 추출과 초안으로 연결할 때. | 기준별 이유, 독립 선별, 충돌, 연구·보고서 ID, 판단 내보내기. 제품 개요만으로 충족 여부를 알 수 없음. |
모든 후보에 같은 선별 사례 적용하기
적격·부적격 기록, 정보가 적은 초록, 모호한 용어, 실제 언어와 설계를 포함하세요. 가능하면 AI 결과를 보기 전에 예정된 사람의 검토·중재 절차로 참조 판단을 만듭니다.
그림의 교육용 표본에서는 적격 기록 20개 중 19개를 찾아 재현율이 95%입니다. 전체 문헌의 성능이나 선별 종료 기준을 입증하지 않습니다. 표본 구성과 누락의 영향도 고려해야 합니다.
재현율 95%에도 누락된 기록은 1건
기준 판정에서 적격인 기록 20건 중 19건은 찾았고 1건은 놓쳤습니다. 이 예비시험에서만 재현율은 19를 20으로 나눈 95%입니다. 전체 문헌 집합의 재현율은 알 수 없으며, 이 결과만으로 선별 중단 시점을 정할 수 없습니다.
교육용 예시 · 도구 성능 주장이 아님
기준 판정에서 적격인 기록 20건
- 19 찾음
- 1 누락
이 예비시험에서만의 재현율
19 / 20 = 95%
분모는 누락된 1건을 포함한 적격 기준 기록 20건 전체입니다.
선별 중단 여부를 결정하기 전에 해당 고찰와 연구 누락 위험에 맞춰 보조 도구의 사용 방식을 검증해야 합니다.
다음 가상 기록 3개는 개별 판단을 설명하며 위 20개와 별개입니다. P-02는 초록에 나이가 없을 뿐 부적격으로 확인된 것이 아닙니다. 추가 정보를 확보하고 제안과 수정을 함께 보존합니다.
같은 자료, 기준 버전, 참조 판단을 적용하고 실패한 실행도 남기세요. 기준이나 설정을 바꾸면 새 실행으로 기록해 무엇이 달라졌는지 추적합니다.
실행 정보: 실행 ID, 제품과 확인 가능한 버전, 날짜, 설정, 기준 버전, 담당 역할.
기록별 정보: 기록·출처 ID, 참조 판단, AI 제안, 최종 판단, 이유, 검토자, 원문 위치.
기입 예: P-02, 기준 v1, 참조는 전문 확보, 제안은 제외, 최종은 전문 확보. 이유는 나이 미기재, 출처는 초록이며 검토자는 팀에서 지정합니다. 모르는 값은 미결로 둡니다.
| 기록 | 기준 / 참조 판단 | AI 제안 | 최종 판단과 이유 | 보존할 근거 |
|---|---|---|---|---|
P-01 | 성인 무작위시험 / 전문 확보 | 전문 확보 | 전문 확보: 명시된 기준에 부합 | 초록, 출처 ID, 기준 v1 |
P-02 | 나이 불명 / 전문 확보 | 제외: 대상군 불명 | 전문 확보: 정보 부족은 부적격의 증거가 아님 | 초록, 누락된 나이 정보, 검토자, 수정 이유 |
P-03 | 사설 / 제외 | 제외 | 제외: 문헌 유형이 기준 밖임 | 출처 기록과 제외 이유 |
분석에 넘기기 전에 추출 필드 확인하기
연구 ID와 보고서 ID를 분리하세요. 본 보고서와 추적 보고서가 같은 참여자를 다룰 수 있습니다. 값마다 군, 결과, 시점, 통계량, 단위, 위치를 연결하고 미보고·미측정·해당 없음을 구분합니다. 방법은 Cochrane 자료 수집 지침를 참고하세요.
가상 연구 A의 보고서 A 표 2에서 12주 중재군 평균은 12점, 대조군 평균은 15점입니다. AI가 중재군을 15로 적었다면 PDF에 15가 있다는 확인만으로 오류를 찾지 못합니다. 표 머리글과 군을 대조하고 제안 15, 수정 12, 위치, 확인자, 이유를 남깁니다.
이 단계는 추출 필드 검증으로 끝납니다. 메타분석 도구 가이드는 같은 가상 보고서가 특정 계산에 적합한지 이어서 살펴봅니다. 정확한 전사와 분석 준비 완료는 다른 판단입니다.
내보낸 기록으로 선별 과정을 복원하기
전체 고찰을 가져오기 전에 작은 프로젝트를 내보내 원본을 보존하세요. 동료에게 계정이나 대화 기록 없이 판단을 복원하게 합니다. 제목과 최종 포함 표시만 있으면 이유, 중재자, 적용 기준 버전이 빠질 수 있습니다.
P-02의 전문을 확보한 이유, 기준 버전 간 차이, 최종 포함의 출처를 설명할 수 있는지 확인합니다. 비라틴 문자, 여러 줄 이유, 연결된 보고서도 넣어 누락을 본격 사용 전 과제로 남깁니다.
작업 중 실제 선별·확보 건수를 기록하고 최종 참고문헌에서 역산하지 마세요. 보고와의 연결은 PRISMA 보고 가이드를 참고하세요.
기준 기록: 버전, 시행일, 변경, 이유, 영향을 받는 판단.
선별 기록: ID, 단계, 제안, 사람의 판단, 충돌, 해결, 검토자.
출처 대응: 기록 ID를 보고서 ID에, 확인 후에는 연구 ID에 연결.
실행 정보: 제품, 확인 가능한 소프트웨어·모델 버전, 설정, 실행일, 내보낸 날짜. 버전을 모르면 명시.
팀이 검증할 수 있는 구성 선택하기
시범 결과로 구성을 선택합니다. 읽기 순위만 필요한 팀도 있고 독립 검토와 충돌 처리가 필요한 팀도 있습니다. 초안 작성에 적합한 절차라도 프로토콜이 요구하는 판단 기록에는 별도 시스템이 필요할 수 있습니다.
Gatsbi Reviewer 같은 통합 절차는 자신의 기준과 P-01·P-02·P-03으로 시험하세요. 후보 목록, P-02의 불확실성 처리, 빠진 논문 추가, 추출 확인, 내보내기를 살펴봅니다. 제안하는 시험이지 Gatsbi가 통과했다는 뜻은 아닙니다.
채택할 작업, 미해결 공백, 기록 담당자를 명시합니다. 기준, 입력 언어, 기능, 출력이 바뀌면 재확인하세요. 최초 제안 속도와 함께 준비·수정·검토에 드는 노력도 비교합니다.
| 팀의 요구 | 평가할 구성 | 본격 사용 전 조건 |
|---|---|---|
기록의 읽기 순서 지정 | 순위 도구 + 사람의 선별 절차 | 안정 ID, 라벨 보존, 프로젝트 복원, 근거 있는 종료 방법 |
독립 검토자 조율 | 필요한 배정·눈가림·충돌 처리 시스템 | 적절한 담당자가 판단을 볼 수 있고 충돌과 이유를 내보낼 수 있음 |
정리한 연구에서 초안 작성 | 선택·추출·작성을 연결하는 절차, Gatsbi도 후보 | 어려운 사례를 검토하고 출처·수정·필수 판단을 제품 또는 관리되는 보조 기록에 보존 |
자주 묻는 질문
어떤 도구부터 시험해야 하나요?
순위 목록, 기준별 제안, 검증된 필드, 다중 검토 판단 중 부족한 출력을 찾으세요. 그 역할을 설명하는 후보를 같은 기록과 내보내기 검사로 비교합니다. 기능 수가 많다고 해당 문제를 해결하는 것은 아닙니다.
AI를 두 번째 검토자로 쓸 수 있나요?
별도 판단이나 사람의 라벨을 보지 않는 기능만으로 독립적인 사람 검토와 동등하다고 볼 수 없습니다. 필요한 방법을 따르고 역할을 검증하며 불일치를 해결할 책임자를 지정하세요.
의미 검색만으로 체계적 문헌고찰이 가능한가요?
탐색이나 보충 검색에 도움을 줄 수 있습니다. 충분성은 질문, 출처, 재현 가능한 검색 전략과 방법에 달렸습니다. 관련 논문을 찾았다고 적격 연구를 포괄적으로 검색한 것은 아닙니다.
선별 자동화를 어떻게 보고하나요?
작업, 도구와 확인 가능한 버전, 설정, 판단에 영향을 준 시점, 검증, 사람의 확인·수정 방식을 설명합니다. 보존된 판단과 건수로 뒷받침하세요.
출처 및 참고 자료
전체 방법, 적용 범위와 최신 정보는 원자료에서 확인하세요.
- 연구 검색과 선별Cochrane
- 자료 수집Cochrane
- ASReview LAB 문서ASReview
- AI Reviewer 문서Rayyan
- 자동화의 계획과 보고Covidence
- Elicit 워크플로 선택Elicit
- PRISMA 2020 체크리스트PRISMA
- Gatsbi Reviewer 제품 워크플로Gatsbi · 발행사의 제품 설명