What Happens When Generative AI Enters College Data Analysis Education? Evaluating Changes in Students' Academic Self-Efficacy, Self-Regulated Learning, and Engagement

Abstract

Generative artificial intelligence (AI) is increasingly used to support learning in higher education, but evidence regarding changes in students' academic self-efficacy, self-regulated learning, and academic engagement remains limited. This study examined changes associated with a six-week generative AI-based data analysis education program among students at a three-year college in Wuhan, Hubei Province, China. A one-group pretest-posttest design was employed. Of 210 questionnaires distributed, 202 valid paired responses were analyzed. Academic self-efficacy, self-regulated learning, and academic engagement were measured using five-point Likert scales, with adapted items informed by established instruments. Descriptive statistics, reliability analysis, Pearson correlations, and paired-samples t tests were conducted. All three outcomes increased significantly: academic self-efficacy from 3.21 to 3.48 (dz = 0.38), self-regulated learning from 3.18 to 3.52 (dz = 0.51), and academic engagement from 3.35 to 3.66 (dz = 0.44). Posttest correlations among the outcomes were positive (r = 0.56-0.65, all p < .001). These findings suggest that structured AI-supported data analysis instruction may accompany improvements in students' confidence, learning regulation, and engagement. However, the one-group design cannot isolate the causal contribution of generative AI from other elements of the instructional program. [Kecerdasan buatan (AI) generatif semakin banyak digunakan untuk mendukung pembelajaran di perguruan tinggi, tetapi bukti mengenai perubahan efikasi diri akademik, regulasi diri dalam belajar, dan keterlibatan akademik mahasiswa masih terbatas. Penelitian ini mengkaji perubahan yang berkaitan dengan program pembelajaran analisis data berbantuan AI generatif selama enam minggu pada mahasiswa perguruan tinggi vokasional tiga tahun di Wuhan, Provinsi Hubei, Tiongkok. Penelitian menggunakan desain satu kelompok dengan prates dan pascates. Dari 210 kuesioner yang dibagikan, sebanyak 202 respons berpasangan yang valid dianalisis. Ketiga konstruk diukur menggunakan skala Likert lima poin dengan butir adaptasi yang mengacu pada instrumen yang telah dikembangkan sebelumnya. Analisis meliputi statistik deskriptif, reliabilitas, korelasi Pearson, dan uji t berpasangan. Seluruh konstruk mengalami peningkatan yang signifikan: efikasi diri akademik dari 3,21 menjadi 3,48 (dz = 0,38), regulasi diri dalam belajar dari 3,18 menjadi 3,52 (dz = 0,51), serta keterlibatan akademik dari 3,35 menjadi 3,66 (dz = 0,44). Korelasi antarkonstruk pada pascates bersifat positif (r = 0,56-0,65; seluruh p < 0,001). Temuan ini menunjukkan bahwa pembelajaran analisis data terstruktur yang didukung AI dapat berkaitan dengan peningkatan keyakinan akademik, regulasi belajar, dan keterlibatan mahasiswa. Namun, desain satu kelompok tidak dapat mengisolasi pengaruh kausal AI generatif dari komponen pembelajaran lainnya.]