III. Đặc điểm mẫu

Sau khi bỏ các quan sát không phù hợp, dữ liệu bao gồm 64 sinh viên trong lớp kiểm soát và 62 trong lớp thực nghiệm. Như là điển hình của khóa học Những nguyên tắc tại Virginia Tech, sinh viên bao gồm một loạt các chuyên ngành, và bao gồm sinh viên đại học ở tất cả các cấp. Hai mươi phần trăm sinh viên đến từ chuyên ngành kinh doanh, trong khi 50% sinh viên đến từ kỹ thuật, khoa học hoặc toán học. Phần còn lại của tuyển sinh là từ một bộ sưu tập đa dạng chuyên ngành.

Bảng 1 cho thấy các đặc điểm của hai lớp. Phương sai của tất cả các biến (được đo bằng độ lệch chuẩn của chúng) xấp xỉ như nhau cho hai lớp. Các kết quả kiểm tra sự khác biệt về giá trị mean giữa hai mẫu được trình bày cuối cùng cột của bảng (với giá trị p trong ngoặc). Hai nhóm tương tự nhau. Tuổi trung bình là từ 18 đến 19; khoảng 75% sinh viên ở cả hai lớp (kết hợp) từ 19 tuổi trở xuống. Nhóm thử nghiệm trung bình hơi lớn tuổi, mặc dù không có sự khác biệt trong việc phân phối thành tựu lớp học (sinh viên năm nhất, năm hai, năm hai, cấp ba). Khoảng 30% sinh viên ở cả hai nhóm là nữ. Tỷ lệ phần trăm của sinh viên trong nhóm thực nghiệm lớn hơn có học kinh tế học ở trường trung học (% Econ trong HS). Mặc dù xếp hạng trung học phổ thông cao hơn đáng kể trong lớp thực nghiệm, sự khác biệt trong giá trị mean điểm SAT môn toán là không đáng kể.

IV. Các kết quả

A. Đo lường tổng hợp

Phân tích của chúng tôi tập trung chủ yếu vào lớp thi cuối kỳ, đó là đo lường quan trọng nhất của tổng thể việc học tập trong hai lớp. Cả hai lớp đều cho ra bài kiểm tra viết cuối kỳ ở định dạng trắc nghiệm rất giống nhau. Mỗi câu hỏi được khớp với một sinh viên trong kỳ thi khác. Một bộ câu hỏi giống hệt nhau tập trung vào mục tiêu học tập của các bài tập thử nghiệm. Trung bình, sinh viên trong lớp thử nghiệm đạt 3,2 điểm cao hơn (77,45) trong bài kiểm tra cuối cùng so với những người trong lớp kiểm soát (74,25). Sự khác biệt này có ý nghĩa thống kê ở mức ý nghĩa 10%.

Bảng 1 : Thống kê tóm tắt nhân khẩu học  (file đính kèm)

Hình 1 cho thấy sự phân phối điểm thi cuối cùng của hai lớp. Các phân phối điểm cho lớp thực nghiệm rõ ràng được di chuyển sang bên phải đối với phân phối của lớp kiểm soát biểu thị điểm cao hơn bằng cách sử dụng hệ thống WITS.

Hình 1: Phân phối điểm của kỳ thi cuối cùng (file đính kèm)

B. Kết quả hồi quy

Do sự khác biệt giữa hai nhóm sinh viên, điều quan trọng là phải tiến hành phân tích đa biến để kiểm soát các đặc điểm cá nhân của sinh viên. Đường cơ sở cho kết quả kinh tế lượng là một hồi quy OLS có điểm thi cuối cùng (ở định dạng phần trăm) là biến phụ thuộc và một giả định cùng với nhân khẩu học, kinh nghiệm và khả năng đo lường như các biến giải thích. Ngoài ra, một số tương tác của các biến giải thích với giả định đã được tạo ra với mục tiêu để kiểm tra xem các thử nghiệm có ảnh hưởng khác nhau đến hiệu suất của các nhóm nhân khẩu học khác nhau. Những kết quả được thể hiện trong Bảng 2, chứa các ước tính cho ba đặc trưng khác nhau.

Các biến giải thích bao gồm một giả định cho dù một sinh viên có ở trong lớp thực nghiệm (EXP), biến đo lường nhân khẩu học (tuổi, lớp, giới tính và chuyên ngành), kinh nghiệm (cho dù sinh viên học Kinh Tế Học ở trường trung học) và khả năng (xếp hạng trung học và Điểm toán SAT). Ngoài các biến này, một số biến chỉ định cho các chuyên ngành khác nhau và các nhóm chuyên ngành (ví dụ: biến nhị phân cho chuyên ngành kinh doanh và không kinh doanh) đã được tạo ra và người ta thấy rằng không ai trong số này mang hệ số quan trọng hoặc ảnh hưởng đáng kể đến các mối quan hệ còn lại trong các đặc trưng chúng tôi đã thử nghiệm. 

Đặc trưng đầu tiên chỉ chứa giả định thử nghiệm (EXP) và được hiển thị cho mục đích so sánh với hai biến kia. Nó cho thấy rằng có một ý nghĩa thống kê chênh lệch điểm thi cuối kỳ giữa hai lớp 3,20 điểm.  Đặc trưng thứ hai bao gồm nhân khẩu học (nhưng không phải là điều kiện tương tác) và có thể thấy rằng một sự khác biệt tương tự về điểm số (gần 4 điểm) vẫn còn sau khi kiểm soát tất cả các biến nhân khẩu học, kinh nghiệm và khả năng.

Đặc điểm thứ ba bao gồm các điều kiện tương tác được coi là có ý nghĩa. Đặc điểm này cũng bỏ qua biến Tuổi vì tầm quan trọng rất thấp và sự bao gồm của nó tăng lên các lỗi tiêu chuẩn của các hệ số còn lại. Hệ số âm về tương tác của biến thực nghiệm và Lớp (EXP * lớp) chỉ ra rằng các sinh viên mới bắt đầu việc học đại học của họ (sinh viên năm nhất) được hưởng lợi (trong đó lợi ích được đo bằng điểm cuối cùng của họ) từ việc sử dụng các kinh nghiệm nhiều hơn so với sinh viên đã ở trường một thời gian.

Hệ số tương tác của biến thực nghiệm với Nữ (EXP * Nữ) cung cấp bằng chứng rằng phụ nữ được hưởng lợi từ các thử nghiệm nhiều hơn so với nam giới. Một số kiểm tra chẩn đoán trên phần dư được thực hiện cho đặc điểm III;  p-value tương ứng các được trình bày ở cuối bảng. Kết quả kiểm tra cho thấy không có sự khởi đầu từ tiêu chuẩn bình thường hoặc giả định không đồng nhất. 

Bảng 2: Kết quả OLS Biến phụ thuộc: Điểm trong bài kiểm tra cuối kỳ (thống kê t) (file đính kèm)

Để hình dung rõ hơn mức độ khác nhau về hiệu ứng của các thử nghiệm trên hiệu suất của các nhóm nhân khẩu học khác nhau, điểm số được mô phỏng cho 8 cặp Lớp - Giới tính khác nhau (lớp: sinh viên năm nhất, năm hai, năm ba, năm tư; giới tính: nam, nữ).  Với mỗi cặp, hai điểm được mô phỏng, một giả định rằng sinh viên đã tham gia thử nghiệm trong khi người khác cho rằng sinh viên thì không. Do đó, có 16 điểm số mô phỏng. Bảng 3 cho thấy điểm số mô phỏng cho từng cặp Lớp-Giới tính với khoảng độ tin cậy 95% trong ngoặc đơn.

Bảng 3: Điểm thi cuối kỳ mô phỏng của các nhóm nhân khẩu học (file đính kèm)

Bảng này cho thấy rằng khi sinh viên có nhiều năm học hơn, tác động của việc giảng dạy

với các thử nghiệm giảm dần. Lợi ích của việc sử dụng thử nghiệm cho nam sinh viên năm nhất là xấp xỉ 5 phần trăm; tuy nhiên, lợi ích này gần như biến mất trong nam sinh viên năm hai và năm ba và đối với nam sinh viên năm 4, dường như việc sử dụng thí nghiệm có thể có một ảnh hưởng xấu. Tác động của việc sử dụng thử nghiệm đối với các sinh viên nữ mạnh mẽ hơn. Sinh viên năm nhất được hưởng lợi nhiều nhất từ ​​các thử nghiệm bằng cách cải thiện điểm số của chúng khoảng 14 phần trăm. Tác động này giảm khi sinh viên nữ tích lũy thêm nhiều năm trải nghiệm học đại học.

C. Tác động đến việc đánh giá giảng dạy

Tác động của hệ thống WITS cũng được đo lường bằng cách sử dụng đánh giá giảng dạy chuẩn hóa được đưa ra vào cuối học kỳ. Các sinh viên thử nghiệm cung cấp điểm số cao hơn cho hầu hết tất cả các câu hỏi. Tuy nhiên, có một sự khác biệt đáng kể về giá trị mean chỉ cho ba câu hỏi. Theo thang điểm bốn (1 = kém, 2 = trung bình, 3 = tốt, 4 = xuất sắc), sinh viên trong lớp thử nghiệm đánh giá người hướng dẫn là thành công hơn trong việc truyền đạt các vấn đề môn học (3.16 so với 2.83, p = .056) và thấy lớp học hứng thú hơn (3.18 so với 2.78, p = .008) so với sinh viên trong lớp kiểm soát. Ngoài ra, đánh giá tổng thể của giáo sư bởi lớp thử nghiệm cao hơn lớp kiểm soát (3,32 so với 3,07, p = .095). Sinh viên trong hai lớp đánh giá các yếu tố còn lại của lớp là như nhau, bao gồm kiến ​​thức về môn học, mối quan tâm hoặc tôn trọng sinh viên, sự công bằng trong chấm điểm, điều hành lớp học, giá trị giáo dục, và nỗ lực cần thiết. Chúng tôi suy luận điều này mà sinh viên không nhận thấy rằng các sinh viên trong hai lớp được giảng viên đối xử khác nhau. Tuy nhiên, sử dụng thử nghiệm ảnh hưởng đáng kể đến đánh giá tổng thể theo một cách tích cực.

Nguyễn Thị Tuyên Ngôn – Khoa QTKD

Nguồn: Technology Improves Learning in Large Principles of Economics Classes - Using Our WITS - Sheryl B. Ball
Dept. of Economics Virginia Tech Blacksburg, VA 24061 sball@vt.edu; Catherine C. Eckel
School of Social Sciences University of Texas at Dallas Mail Station GR31 Richardson, TX 75080 eckelc@utdallas.edu; Christian Rojas
Dept. of Economics Virginia Tech Blacksburg, VA 24061 crojas@vt.edu.