XÂY DỰNG BỘ TIÊU CHÍ VÀ ỨNG DỤNG MÔ HÌNH NGÔN NGỮ LỚN TRONG ĐÁNH GIÁ CHẤT LƯỢNG BÀI GIẢNG ĐIỆN TỬ PHỤC VỤ GIÁO DỤC MỞ TẠI TRƯỜNG ĐẠI HỌC MỞ HÀ NỘI

Abstract

Trường Đại học Mở Hà Nội hiện thẩm định chất lượng bài giảng điện tử chủ yếu bằng rà soát thủ công, cách làm tốn nhân lực và khó cho kết quả thống nhất vì chuẩn mới dừng ở mức mô tả, chưa thành bộ tiêu chí chấm cụ thể. Nghiên cứu có hai mục tiêu: xây bộ tiêu chí bám theo Quyết định 5005/QĐ-ĐHM, và thử cho mô hình ngôn ngữ lớn (LLM) chấm phần tiêu chí phù hợp. Điều 4 đến 10 được chuyển thành 37 tiêu chí trên bảy trục, gắn hai nhãn: bản chất xác minh và dữ liệu đầu vào cần kiểm. Thực nghiệm đặt trên nhóm tiêu chí đọc được trên kịch bản, dùng các bài giảng tự soạn gieo lỗi sẵn để so sánh hai cách viết câu lệnh, đối chiếu đáp án chuẩn. Cách buộc mô hình nêu bằng chứng đạt độ nhạy trung bình 96,7%, cao hơn mức 83,3% của cách chấm trực tiếp và lưu được bằng chứng kiểm tra, đổi lại báo động giả tăng nhẹ. Do quy mô thử nghiệm nhỏ, kết quả này mới là chỉ dấu ban đầu. Nghiên cứu đề xuất bản đồ ủy thác hai chiều cho 37 tiêu chí, giữ quyết định cho con người ở xác minh sự thật và các tiêu chí âm thanh, hình ảnh, tương tác. Bộ tiêu chí và bản đồ ủy thác là tài liệu tham chiếu khi nghiệm thu học liệu điện tử của Nhà trường.