체계적 문헌고찰이란? 적합한 질문과 진행 방법

체계적 문헌고찰은 기존 연구를 대상으로 하는 연구입니다. 어떤 연구가 질문에 답할 수 있는지 정한 다음 기록된 방법으로 찾고 평가합니다. Cochrane의 소개 장은 비뚤림을 최소화하면서 적격 근거를 모으는 과정을 설명합니다. 어떤 검색도 관련 연구를 모두 찾았다고 보장할 수는 없습니다.

같은 논문 50편을 읽는 두 팀을 생각해 보세요. 한 팀은 자신의 주장에 맞는 사례를 고릅니다. 다른 팀은 사전에 정한 적격 기준을 적용하고, 제외를 기록하고, 한계를 평가한 뒤 명시한 방법으로 결과를 종합합니다. 차이는 참고문헌의 길이가 아니라 결정의 내용과 검토 가능성에 있습니다.

근거 기록은 각 결론을 뒷받침하는 연구로 이어져야 합니다. 독자는 연구가 왜 적격인지, 같은 연구의 여러 보고서를 어떻게 연결했는지, 추출한 결과의 출처가 어디인지 알아야 합니다. 기록은 판단을 검토할 수 있게 하지만 모든 결정을 기계적으로 만들거나 다른 팀의 동의를 보장하지는 않습니다.

‘문헌고찰’은 넓은 명칭입니다. 학위논문의 논의, 한 분야에 대한 비판적 설명, 체계적 방법을 적용한 고찰을 모두 뜻할 수 있습니다. 이름보다 목적과 방법을 읽어야 합니다. 서술적 고찰은 모든 적격 연구를 대표한다고 주장하지 않고도 유용한 논증을 제시할 수 있습니다.

주제범위 문헌고찰은 근거의 범위, 특성, 개념을 지도처럼 정리합니다. 독자적인 방법이 있으며 효과 고찰의 질 낮은 대안이 아닙니다. JBI의 주제범위 문헌고찰 지침을 참고하세요. 메타분석은 다른 수준의 개념으로, 체계적 문헌고찰 안에서 사용할 수 있는 통계 기법입니다. 그 자체가 검색이나 평가를 수행하지는 않습니다.

결과가 어떤 결정을 도울지부터 정합니다. 가상의 훈련 사례에서 교육과정 팀은 특정 프로그램이 일반 훈련과 비교해 1년차 훈련생의 12주 평가 점수를 바꾸는지 알고 싶어 합니다. 차이의 추정치와 불확실성, 그리고 이를 뒷받침하는 근거의 평가가 필요합니다. 결과를 본 뒤 선택이 달라지기 전에 대상 집단, 비교, 결과, 시점, 적격 연구 설계를 정합니다.

질문을 ‘여러 직종의 디지털 훈련 프로그램은 어떻게 연구되었는가?’로 바꾸면 필요한 것은 집단, 설계, 연구 주제의 지도이므로 주제범위 문헌고찰이 더 적합할 수 있습니다. 경험, 기전, 실행에 관한 질문은 질적 또는 혼합방법 종합이 필요할 수도 있습니다. 모든 질문을 중재 효과 틀에 맞출 필요는 없습니다.

새 고찰을 시작하기 전에 기존 고찰과 프로토콜을 찾습니다. 새로운 연구, 바뀐 환경, 이전 방법의 한계가 업데이트를 정당화하는지 살펴봅니다. 제목이 다르다는 이유만으로 같은 작업을 반복할 필요는 없습니다. 누가 답을 사용할지, 무엇이 여전히 불확실한지 적으면 범위와 필요한 전문성을 결정하는 데 도움이 됩니다.

훈련 질문의 프로토콜에는 적격 기준, 정보원, 선택, 자료 수집, 평가, 종합 방법을 정합니다. 이후 변경에는 날짜와 이유를 기록합니다. 고찰에 적격인 연구라도 모든 계획된 종합에 자료를 제공하지 못할 수 있습니다. Cochrane의 적격성 지침이 이 차이를 설명합니다.

질문에 적합한 정보원을 검색하고 검색식, 날짜, 내보낸 자료를 보관합니다. 데이터베이스, 등록부, 인용 검색은 각각 근거를 제공할 수 있습니다. 검색엔진 순위는 완전한 표집틀이 아닙니다. 정보전문가가 검색 설계를 도울 수 있으며 방법 선택은 Cochrane의 검색 지침에서 다룹니다.

아래 가상 사례는 보고서 네 개를 따라갑니다. 연구 A의 등록 기록, 주 논문, 추적 보고서와 연구 B의 논문 한 편입니다. 독립 연구 네 건이 아니라 연구 두 건을 설명합니다. 결과를 수집하기 전에 연결하면 후속 보고서의 정보를 활용하면서 참여자 중복 계산을 피할 수 있습니다.

선정 후에는 추출 항목을 정의하고 연구 설계와 결과에 맞는 평가 방법을 사용합니다. 표는 각 단계에서 남기는 기록을 보여 주며 실제 훈련 결과는 담지 않습니다. 이 기록은 실제로 수행한 일을 설명하는 최종 PRISMA 보고에도 도움이 됩니다.

체계적 문헌고찰은 통합 효과를 계산하지 않아도 됩니다. 연구 질문이 크게 다르거나 결과가 호환되지 않거나 사용 가능한 추정치와 불확실성이 없으면 통합이 부적절할 수 있습니다. 질문과 근거를 바탕으로 결정합니다. 정량적 통합이 타당하다면 메타분석 해설에서 모형 선택 전 고려 사항을 확인할 수 있습니다.

훈련 사례에서 수료 직후 점수가 자동으로 12주 질문에 답하지는 않습니다. 즉시 결과와 이후 결과를 구분하고, 연구를 어떻게 묶었으며 어떤 방법으로 비교했는지 설명합니다. 가능한 경우 실제 추정치, 불확실성, 한계를 구조적으로 제시해야 합니다. 이 교육용 사례는 그러한 관측 결과를 제공하지 않습니다.

통합 수치가 없어도 명시적인 종합이 필요합니다. 통계적 유의성은 정밀도에도 영향을 받으므로 유의한 연구 수만 세는 방식은 신뢰하기 어렵습니다. Cochrane의 다른 종합 방법 지침은 대안을 설명하고, 근거 종합 가이드는 여러 종합 작업을 실행 가능한 도구 흐름으로 연결합니다.

독자는 포함 연구와 고찰 과정 모두를 살펴야 합니다. 시험에 결과 결측이 있을 수 있고, 고찰에는 검색 제한이나 결과를 본 뒤 선택하는 데서 별도 문제가 생길 수 있습니다. 연구 평가만으로 고찰의 모든 결정이 평가되는 것은 아닙니다. Cochrane의 비뚤림 장이 이를 설명합니다.

비뚤림 위험은 근거 전체의 확실성과도 다릅니다. 확실성은 관련된 비일관성, 비정밀성, 간접성, 누락된 근거 등을 고려하여 결론이 얼마나 뒷받침되는지 판단합니다. 큰 표본이 만능 품질 점수는 아닙니다. Cochrane의 확실성 지침처럼 확립된 틀을 적절히 사용하세요.

교육과정 팀에는 정밀한 단기 추정치라도 지속적인 학습이나 다른 훈련생 집단의 질문에 답하지 못할 수 있습니다. 출판 연도만 보지 말고 한계와 마지막 검색일도 읽어야 합니다. 다음 네 질문은 평가를 실제 결정과 연결해 줍니다.

• 근거를 찾고 선택하여 개별 연구와 연결한 과정을 추적할 수 있는가?

• 원연구나 고찰 과정의 어떤 한계가 결과에 영향을 줄 수 있는가?

• 결론은 얼마나 불확실하며, 근거 부족과 중요한 효과가 없다는 근거를 구별하는가?

• 대상 집단, 환경, 결과, 추적 기간, 근거의 오래된 정도가 용도에 맞는가?

유용한 첫 목표는 합의된 질문과 현실적인 답변 경로입니다. 전체 프로토콜을 쓰기 전에 아래 가상 예처럼 짧은 실행 가능성 메모를 작성하세요. 항목은 남은 작업을 보여 주며 검색, 평가, 고찰을 이미 마쳤다는 뜻이 아닙니다.

메모를 바탕으로 진행할지, 질문을 좁힐지, 기존 고찰을 업데이트할지, 전문성을 보완할지 결정합니다. 이후 전체 프로토콜을 개발하고 적지만 다양한 기록에 모호한 기준을 시험합니다. 소프트웨어가 선별이나 추출을 돕는다면 다음으로 해당 요구에 맞춰 체계적 문헌고찰 도구를 평가합니다.