Nghiên cứu sơ bộ là giai đoạn chạy thử trước khi thu dữ liệu chính thức, để phát hiện câu hỏi khó hiểu, lỗi thang đo, lỗi kỹ thuật của phiếu và ước lượng thời gian làm bài. Trong khoá luận ở Việt Nam, nghiên cứu sơ bộ thường có hai phần: sơ bộ định tính (thảo luận với chuyên gia, phỏng vấn thử) và sơ bộ định lượng (khảo sát thử một mẫu nhỏ, hay pilot test). Bài này trả lời ba câu hỏi hay gặp nhất: làm gì trong từng phần, cần bao nhiêu người, và kết quả sơ bộ được dùng tới đâu.
Nghiên cứu sơ bộ và nghiên cứu chính thức
| Sơ bộ định tính | Sơ bộ định lượng (pilot) | Chính thức | |
|---|---|---|---|
| Mục tiêu | Câu hỏi có được hiểu đúng không, có thiếu ý quan trọng không | Phiếu có chạy trơn tru không, thang đo có dấu hiệu bất thường không | Kiểm định thang đo và giả thuyết |
| Phương pháp | Thảo luận chuyên gia, phỏng vấn nhận thức, thảo luận nhóm | Phát phiếu hoàn chỉnh cho một mẫu nhỏ | Phát phiếu đã chốt cho mẫu đủ lớn |
| Số người thường gặp | 2 đến 5 chuyên gia; 5 đến 15 người trả lời | 30 đến 50 người | Theo phương pháp phân tích chính |
| Kết quả | Danh sách câu được sửa, thêm, bỏ | Thời gian làm bài, lỗi kỹ thuật, Cronbach's alpha sơ bộ | Toàn bộ chương 4 |
Điểm quan trọng nhất trong bảng: nghiên cứu sơ bộ kiểm tra công cụ, không kiểm định giả thuyết. Leon và cộng sự (2011) cảnh báo riêng về việc dùng kết quả pilot để ước lượng mức tác động: với mẫu nhỏ, ước lượng này dao động quá mạnh để làm căn cứ cho bất kỳ kết luận nào.
Phần 1: Sơ bộ định tính
Thảo luận chuyên gia
Gửi bảng hỏi nháp kèm định nghĩa khái niệm cho 2 đến 5 người hiểu lĩnh vực: giảng viên, quản lý trong ngành. Hỏi họ ba việc cụ thể: mỗi câu có thuộc khái niệm được gán không, có khía cạnh quan trọng nào bị thiếu không, câu nào khó hiểu với đối tượng khảo sát. Ghi lại nhận xét theo từng mã câu.
Phỏng vấn nhận thức
Phỏng vấn nhận thức (cognitive interviewing) kiểm tra xem người trả lời hiểu câu hỏi giống bạn hay không. Willis (2005) mô tả hai kỹ thuật chính:
- Nghĩ thành lời (think-aloud): người tham gia vừa đọc vừa nói ra suy nghĩ khi chọn đáp án.
- Hỏi gợi mở (verbal probing): sau mỗi câu hoặc nhóm câu, bạn hỏi thêm. Ví dụ: "Bạn hiểu 'hữu ích' trong câu này là hữu ích cho việc gì?", "Vì sao bạn chọn mức 4 mà không phải 5?", "Có từ nào bạn thấy lạ không?".
Collins (2003) và Presser và cộng sự (2004) đều mô tả phỏng vấn nhận thức là một trong những phương pháp chính để thử bảng hỏi trước khi phát, vì nó cho thấy người trả lời hiểu câu thế nào, điều mà dữ liệu số không cho thấy. Thường làm với 5 đến 15 người thuộc đúng đối tượng khảo sát, chia thành vài vòng: sửa sau vòng đầu rồi thử lại với người mới.
Phần 2: Sơ bộ định lượng (pilot test)
Cần bao nhiêu mẫu
Không có con số duy nhất, vì cỡ mẫu pilot phụ thuộc mục tiêu. Các mốc có nguồn:
- Khoảng 30 người cho pilot thang đo. Johanson và Brooks (2010) phân tích độ chính xác của các ước lượng trong giai đoạn phát triển thang đo ban đầu và đề xuất tối thiểu 30 người thuộc quần thể mục tiêu.
- Theo mục tiêu ước lượng. Hertzog (2008) cho thấy với mẫu pilot từ 10 đến 40 người, khoảng tin cậy của các ước lượng như hệ số tương quan và độ tin cậy còn rộng; cỡ mẫu nên chọn theo độ chính xác cần thiết, không theo thói quen.
- 12 người mỗi nhóm là quy tắc của Julious (2005), nhưng dành cho thử nghiệm lâm sàng, không phải khảo sát thái độ. Đừng trích quy tắc này cho khoá luận khảo sát.
Ví dụ tính: 30 người phát hiện được lỗi gì
Perneger và cộng sự (2015) đưa ra cách nghĩ hữu ích: nếu một lỗi xảy ra với tỉ lệ p người trả lời (ví dụ 10% hiểu sai một câu), xác suất ít nhất một người trong mẫu n gặp lỗi đó là 1 − (1 − p)ⁿ.
| Số người thử | Lỗi gặp ở 5% người | Lỗi gặp ở 10% người | Lỗi gặp ở 20% người |
|---|---|---|---|
| 10 | 40% | 65% | 89% |
| 20 | 64% | 88% | 99% |
| 30 | 79% | 96% | gần 100% |
| 50 | 92% | gần 100% | gần 100% |
Cách tính với 30 người và lỗi 10%: 0,9 mũ 30 bằng khoảng 0,042; 1 − 0,042 = 0,958, tức 96%. Đọc bảng: 30 người gần như chắc chắn phát hiện lỗi ảnh hưởng tới một phần mười người trả lời, nhưng có khoảng một phần năm khả năng bỏ sót lỗi chỉ gặp ở 5% người. Đây là lý do cỡ 30 đến 50 hợp lý cho pilot khoá luận.
Kiểm tra gì trong pilot
- Thời gian làm bài: lấy trung vị, không lấy trung bình. Thời gian này dùng để viết lời mời ("khoảng 7 phút") và làm ngưỡng lọc phiếu quá nhanh.
- Logic rẽ nhánh: người bị loại ở câu gạn lọc có kết thúc đúng chỗ không.
- Xuất dữ liệu: tải về, nhập vào SPSS, kiểm tra mã hoá từng cột. Hướng dẫn chi tiết cho Google Forms ở bài tạo phiếu khảo sát Google Forms.
- Phân phối từng câu: câu nào gần như ai cũng chọn cùng một mức thì ít thông tin.
- Cronbach's alpha sơ bộ và tương quan biến tổng (xem phần dưới).
- Câu hỏi mở cuối phiếu: "Có câu nào bạn thấy khó hiểu không?". Đây thường là phần cho nhiều thông tin nhất.
Cronbach's alpha sơ bộ: chạy nhưng đọc thận trọng
Chạy Cronbach's alpha trên dữ liệu pilot có ích để phát hiện lỗi, không để quyết định cuối cùng. Với 30 người, alpha của một thang đo có thể dao động nhiều giữa các mẫu khác nhau. Dùng kết quả như sau:
| Dấu hiệu trong pilot | Nguyên nhân thường gặp | Việc nên làm |
|---|---|---|
| Tương quan biến tổng âm | Câu đảo chiều chưa mã hoá lại, hoặc câu bị hiểu ngược | Kiểm tra mã hoá; nếu đúng mã, viết lại câu |
| Alpha rất thấp, dưới 0,5 | Một câu lệch hẳn nội dung, hoặc lỗi dịch | Đọc lại từng câu, đối chiếu phỏng vấn nhận thức |
| Alpha 0,6 đến 0,7 | Có thể chỉ do mẫu nhỏ | Ghi nhận, chưa loại câu |
| Alpha rất cao, trên 0,95 | Các câu gần như lặp ý | Xem có câu trùng nghĩa để rút gọn |
Không loại câu khỏi thang đo kế thừa chỉ vì alpha sơ bộ thấp. Quyết định loại câu dựa trên dữ liệu chính thức, như hướng dẫn trong bài Cronbach's alpha là gì. Tính nhanh trên dữ liệu pilot bằng công cụ tính Cronbach's alpha.
Câu nào làm alpha sơ bộ thấp thì xem cách chẩn đoán trong bác sĩ kết quả trước khi sửa câu chữ; số phiếu cho đợt chính thức tính bằng công cụ tính cỡ mẫu nghiên cứu online.
Có gộp dữ liệu pilot vào mẫu chính không
Nguyên tắc an toàn là không gộp. Lý do: nếu bạn đã sửa câu hỏi sau pilot, hai nhóm trả lời hai phiếu khác nhau. Kể cả khi không sửa gì, người tham gia pilot thường được chọn khác cách (bạn bè, người quen của nhóm) và một số đã được phỏng vấn thêm, nên trả lời không độc lập như mẫu chính. Nếu vì lý do đặc biệt bạn gộp, chỉ gộp khi phiếu giữ nguyên hoàn toàn và phải ghi rõ trong chương 3.
Lịch làm việc gợi ý
| Ngày | Việc |
|---|---|
| 1 đến 2 | Gửi bảng hỏi nháp cho chuyên gia, nhận góp ý |
| 3 đến 4 | Phỏng vấn nhận thức vòng 1 (5 người), sửa câu |
| 5 | Phỏng vấn nhận thức vòng 2 (3 đến 5 người mới) |
| 6 đến 8 | Pilot 30 đến 50 người, xuất dữ liệu, chạy kiểm tra |
| 9 | Chốt phiếu, phát chính thức |
Pilot cần người trả lời nghiêm túc thuộc đúng đối tượng, ngoài nhóm bạn cùng lớp. Nếu mạng quen biết không đủ đa dạng, có thể dùng Genius Data (link giới thiệu), nơi người nghiên cứu tự đặt mức thưởng mỗi câu và chỉ trả cho phiếu được duyệt. Các bước còn lại để thu đủ mẫu chính thức có trong bài cách thu mẫu khảo sát khoá luận.
Câu mẫu cho chương 3
Nghiên cứu được thực hiện qua hai giai đoạn: nghiên cứu sơ bộ và nghiên cứu chính thức. Nghiên cứu sơ bộ định tính gồm thảo luận với 3 giảng viên chuyên ngành và phỏng vấn nhận thức với 8 sinh viên, qua đó 3 câu hỏi được điều chỉnh từ ngữ và 1 câu được bổ sung ví dụ minh hoạ. Nghiên cứu sơ bộ định lượng được thực hiện với 40 sinh viên để kiểm tra bảng hỏi; thời gian trả lời trung vị là 6 phút, hệ số Cronbach's alpha sơ bộ của các thang đo nằm trong khoảng 0,72 đến 0,88. Dữ liệu sơ bộ không được gộp vào mẫu chính thức.
Thay toàn bộ con số bằng số thật. Hội đồng thường hỏi chính xác "em sửa những câu nào sau sơ bộ", nên giữ bảng ghi chép sửa đổi trong phụ lục.
Lỗi thường gặp
- Viết "nghiên cứu sơ bộ" nhưng không làm. Hội đồng hỏi chi tiết là lộ ngay.
- Pilot với bạn cùng nhóm nghiên cứu. Người đã biết mục đích sẽ không phát hiện câu khó hiểu.
- Kết luận giả thuyết từ dữ liệu pilot. Mẫu nhỏ không đủ cho việc đó.
- Loại câu dựa vào alpha sơ bộ rồi mất khả năng so sánh với thang đo gốc.
- Không ghi lại sửa đổi. Không có bảng "trước sơ bộ, sau sơ bộ" thì không chứng minh được giai đoạn này có ích.
Câu hỏi thường gặp
Nghiên cứu sơ bộ có bắt buộc không?
Không có quy định chung, nhưng phần lớn khoa yêu cầu hoặc khuyến khích, và mọi giáo trình phương pháp đều coi thử bảng hỏi là bước cần thiết. Với thang đo dịch từ tiếng Anh, bỏ qua bước này là rủi ro lớn.
Sơ bộ định tính có cần ghi âm, gỡ băng?
Với phỏng vấn nhận thức trong khoá luận, ghi chú theo từng mã câu là đủ. Ghi âm (khi người tham gia đồng ý) giúp bạn không bỏ sót.
Pilot có cần chạy EFA không?
Không nên. EFA cần mẫu lớn hơn nhiều so với 30 đến 50 người, và kết quả sẽ không ổn định. Để EFA cho dữ liệu chính thức. Vì sao mẫu nhỏ làm KMO thấp hoặc không tính được có ở bài KMO và Bartlett là gì.
Đã dùng nguyên thang đo có sẵn bản tiếng Việt thì có cần sơ bộ?
Vẫn nên làm pilot để kiểm tra phiếu, thời gian và logic. Phần định tính có thể rút gọn.
Tài liệu tham khảo
- Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality of Life Research, 12(3), 229–238. https://doi.org/10.1023/A:1023254226592
- Hertzog, M. A. (2008). Considerations in determining sample size for pilot studies. Research in Nursing & Health, 31(2), 180–191. https://doi.org/10.1002/nur.20247
- Johanson, G. A., & Brooks, G. P. (2010). Initial scale development: Sample size for pilot studies. Educational and Psychological Measurement, 70(3), 394–400. https://doi.org/10.1177/0013164409355692
- Julious, S. A. (2005). Sample size of 12 per group rule of thumb for a pilot study. Pharmaceutical Statistics, 4(4), 287–291. https://doi.org/10.1002/pst.185
- Leon, A. C., Davis, L. L., & Kraemer, H. C. (2011). The role and interpretation of pilot studies in clinical research. Journal of Psychiatric Research, 45(5), 626–629. https://doi.org/10.1016/j.jpsychires.2010.10.008
- Perneger, T. V., Courvoisier, D. S., Hudelson, P. M., & Gayet-Ageron, A. (2015). Sample size for pre-tests of questionnaires. Quality of Life Research, 24(1), 147–151. https://doi.org/10.1007/s11136-014-0752-2
- Presser, S., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., Rothgeb, J. M., & Singer, E. (2004). Methods for testing and evaluating survey questions. Public Opinion Quarterly, 68(1), 109–130. https://doi.org/10.1093/poq/nfh008
- Willis, G. B. (2005). Cognitive interviewing: A tool for improving questionnaire design. SAGE Publications. https://doi.org/10.4135/9781412983655