Tổng quan hệ thống là gì? Khi nào cần dùng và cách thực hiện

Một tổng quan hệ thống là nghiên cứu về các nghiên cứu đã tồn tại. Nhóm nghiên cứu quyết định nghiên cứu nào có thể trả lời câu hỏi của họ, sau đó sử dụng các phương pháp đã được ghi nhận để tìm và đánh giá chúng. Phần giới thiệu của Cochrane mô tả nỗ lực tập hợp bằng chứng đủ điều kiện trong khi giảm thiểu thiên lệch. Không có cuộc tìm kiếm nào có thể đảm bảo rằng mọi nghiên cứu liên quan đã được tìm thấy.

Hãy xem xét hai nhóm đọc cùng một năm mươi bài báo. Một nhóm chọn các ví dụ phù hợp với lập luận của mình. Nhóm còn lại áp dụng các quy tắc đủ điều kiện đã được xác định trước, ghi chép các loại trừ, đánh giá các hạn chế và tổng hợp các phát hiện bằng một phương pháp rõ ràng. Sự khác biệt nằm ở các quyết định và cách chúng có thể được xem xét, không phải ở độ dài của thư mục.

Dấu vết bằng chứng đó nên liên kết mỗi kết luận với các nghiên cứu đứng sau nó. Người đọc cần hiểu lý do một nghiên cứu đủ điều kiện, cách nhiều báo cáo về nó được liên kết và kết quả trích xuất đến từ đâu. Việc giữ những hồ sơ đó làm cho việc đánh giá trở nên minh bạch; nó không biến mọi quyết định thành cơ học hay đảm bảo rằng một nhóm khác sẽ đồng ý.

“Tổng quan tài liệu” là một nhãn rộng. Nó có thể có nghĩa là một cuộc thảo luận trong luận văn, một bài viết phê bình về một lĩnh vực hoặc một tổng quan sử dụng phương pháp hệ thống. Hãy đọc mục đích và phương pháp thay vì chỉ dựa vào nhãn. Một tổng quan tường thuật có thể phát triển một lập luận hữu ích mà không tuyên bố đại diện cho mọi nghiên cứu đủ điều kiện.

Một tổng quan phạm vi lập bản đồ về phạm vi, đặc điểm hoặc khái niệm của cơ sở bằng chứng. Nó có phương pháp riêng và không phải là phiên bản chất lượng thấp hơn của một tổng quan về tác động; xem hướng dẫn tổng quan phạm vi của JBI. Phân tích tổng hợp (meta-analysis) ở một cấp độ khác: đó là kỹ thuật thống kê có thể được sử dụng trong tổng quan hệ thống. Nó không thực hiện tìm kiếm hoặc đánh giá một cách độc lập.

Bắt đầu với quyết định mà kết quả nên thông tin. Trong một ví dụ đào tạo giả định, một nhóm xây dựng chương trình giảng dạy muốn biết liệu một chương trình cụ thể, so với đào tạo thông thường, có làm thay đổi điểm đánh giá của học viên năm nhất sau 12 tuần hay không. Cần một ước tính về sự khác biệt và mức độ không chắc chắn của nó, cùng với đánh giá về bằng chứng hỗ trợ. Dân số, so sánh, kết quả, thời điểm và các thiết kế nghiên cứu đủ điều kiện xác định câu hỏi trước khi kết quả ảnh hưởng đến các lựa chọn.

Bây giờ thay đổi câu hỏi thành “Các chương trình đào tạo kỹ thuật số đã được nghiên cứu như thế nào trên các ngành nghề khác nhau?” Kết quả mong muốn là một bản đồ các dân số, thiết kế và chủ đề nghiên cứu, do đó, một nghiên cứu phạm vi có thể phù hợp hơn. Các câu hỏi về kinh nghiệm, cơ chế hoặc triển khai có thể yêu cầu tổng hợp định tính hoặc phương pháp hỗn hợp. Không nên ép mọi câu hỏi vào khuôn khổ hiệu quả can thiệp.

Trước khi bắt đầu một bài đánh giá mới, hãy tìm các bài đánh giá và giao thức hiện có. Liệu các nghiên cứu mới, môi trường thay đổi hoặc những hạn chế trong các phương pháp trước có biện minh cho việc cập nhật không? Chỉ thay đổi tiêu đề không phải là lý do để lặp lại công việc. Ghi lại ai sẽ sử dụng câu trả lời và những gì vẫn còn chưa chắc chắn; tuyên bố đó giúp xác định cả phạm vi và chuyên môn bạn cần.

Đối với câu hỏi đào tạo, một giao thức sẽ chỉ định tiêu chuẩn đủ điều kiện, nguồn thông tin, phương pháp chọn, thu thập dữ liệu, đánh giá và tổng hợp. Ghi lại các thay đổi sau này kèm theo ngày tháng và lý do. Một nghiên cứu có thể đủ điều kiện cho bài đánh giá mà không cung cấp dữ liệu cho mọi tổng hợp được lên kế hoạch, sự phân biệt này được giải thích trong hướng dẫn về đủ điều kiện của Cochrane.

Tìm kiếm các nguồn phù hợp với câu hỏi và lưu giữ các chiến lược, ngày tháng và danh mục xuất khẩu. Cơ sở dữ liệu, sổ đăng ký và tìm kiếm trích dẫn đều có thể đóng góp bằng chứng; xếp hạng của công cụ tìm kiếm không phải là một khung mẫu hoàn chỉnh. Một chuyên gia thông tin có thể giúp thiết kế việc tìm kiếm. Hướng dẫn tìm kiếm của Cochrane giải thích các lựa chọn phương pháp học.

Ví dụ giả tưởng dưới đây sau đó theo bốn báo cáo: một hồ sơ đăng ký, bài báo chính và báo cáo theo dõi từ Nghiên cứu A, và một bài báo từ Nghiên cứu B. Chúng mô tả hai nghiên cứu, không phải bốn cuộc điều tra độc lập. Liên kết chúng trước khi thu thập kết quả để một báo cáo sau này có thể bổ sung thông tin mà không bị tính trùng số lượng người tham gia.

Sau khi lựa chọn, xác định các trường dữ liệu cần trích xuất và sử dụng phương pháp đánh giá phù hợp với thiết kế và kết quả. Bảng hiển thị những gì mỗi giai đoạn để lại trong ví dụ này; nó không chứa kết quả đào tạo quan sát được. Những hồ sơ này cũng hỗ trợ báo cáo PRISMA cuối cùng, nhiệm vụ của nó là truyền đạt công việc thực sự đã diễn ra.

Một tổng quan có hệ thống không nhất thiết phải tính toán hiệu quả gộp. Việc gộp có thể không phù hợp khi các nghiên cứu trả lời những câu hỏi hoàn toàn khác nhau, đo lường các kết quả không tương thích hoặc thiếu ước tính và độ không chắc chắn có thể sử dụng được. Quyết định này phụ thuộc vào câu hỏi và bằng chứng. Khi việc kết hợp định lượng là hợp lý, giải thích về phân tích tổng hợp meta-analysis explainer cho thấy những gì cần xem xét trước khi chọn một mô hình.

Trong ví dụ đào tạo, một điểm số đo ngay sau khóa học không tự động trả lời câu hỏi 12 tuần. Giữ cho các kết quả ngay lập tức và sau đó có thể phân biệt được, nêu rõ cách các nghiên cứu được nhóm lại và giải thích phương pháp được sử dụng để so sánh các kết quả của họ. Một trình bày có cấu trúc nên bao gồm các ước tính thực tế, độ không chắc chắn và các giới hạn nếu có; ví dụ giảng dạy này không cung cấp bất kỳ kết quả quan sát nào.

Một tổng hợp rõ ràng vẫn cần thiết khi không có con số tổng hợp. Chỉ đơn giản đếm có bao nhiêu nghiên cứu đạt mức ý nghĩa thống kê là không đáng tin cậy vì ý nghĩa cũng phụ thuộc vào độ chính xác. Hướng dẫn của Cochrane về các phương pháp tổng hợp khác mô tả các lựa chọn thay thế; hướng dẫn tổng hợp bằng chứng rộng hơn evidence-synthesis giúp kết nối các nhiệm vụ tổng hợp khác nhau đến một chuỗi công cụ khả thi.

Người đọc cần xem xét cả các nghiên cứu được bao gồm và quy trình tổng quan. Một thử nghiệm có thể thiếu kết quả, trong khi một tổng quan có thể giới thiệu một vấn đề khác bằng cách giới hạn việc tìm kiếm hoặc chọn kết quả sau khi đã xem chúng. Việc đánh giá các nghiên cứu không tự động đánh giá tất cả các quyết định của tổng quan; chương về thiên lệch của Cochrane giải thích sự khác biệt.

Nguy cơ thiên vị cũng khác với độ chắc chắn trong một tập hợp bằng chứng. Độ chắc chắn xem xét sự hỗ trợ cho một kết luận, bao gồm sự không nhất quán, thiếu chính xác, gián tiếp và bằng chứng bị thiếu khi có liên quan. Một mẫu lớn không phải là thang điểm chất lượng phổ quát. Sử dụng một khuôn khổ đã được thiết lập khi thích hợp, chẳng hạn như phương pháp được mô tả trong hướng dẫn độ chắc chắn của Cochrane.

Đối với nhóm xây dựng chương trình, ngay cả một ước lượng ngắn hạn chính xác cũng có thể không trả lời được câu hỏi về việc học lâu dài hoặc nhóm học viên khác. Hãy đọc các hạn chế và ngày tìm kiếm cuối cùng, không chỉ năm xuất bản. Bốn câu hỏi sau đây giữ cho việc đánh giá gắn liền với quyết định mà bạn muốn đưa ra.

• Tôi có thể theo dõi cách bằng chứng được tìm thấy, chọn lọc và liên kết với các nghiên cứu riêng lẻ không?

• Những hạn chế nào trong các nghiên cứu gốc hoặc quá trình tổng quan có thể ảnh hưởng đến kết quả?

• Kết luận không chắc chắn đến mức nào, và liệu nó có phân biệt được bằng chứng không đủ với bằng chứng không có tác dụng quan trọng không?

• Dân số, bối cảnh, kết quả, theo dõi và độ tuổi của bằng chứng có phù hợp với mục đích sử dụng dự kiến của tôi không?

Một cột mốc ban đầu hữu ích là có được câu hỏi đồng thuận và một lộ trình thực tế để trả lời nó. Trước khi soạn thảo một giao thức đầy đủ, hãy viết một ghi chú khả thi ngắn như ví dụ giả tưởng dưới đây. Các mục nhập xác định công việc còn phải làm; chúng không khẳng định rằng tìm kiếm, đánh giá hay xem xét đã được hoàn thành.

Sử dụng ghi chú để quyết định tiến hành, thu hẹp câu hỏi, cập nhật một đánh giá hiện có hoặc tìm kiếm chuyên môn bổ sung. Sau đó phát triển giao thức đầy đủ và kiểm tra các tiêu chí mơ hồ trên một tập hồ sơ nhỏ, đa dạng. Nếu phần mềm sẽ hỗ trợ việc sàng lọc hoặc trích xuất, nhiệm vụ tiếp theo là đánh giá các công cụ đánh giá hệ thống theo các yêu cầu đó.