TỐI ƯU HÓA SIÊU THAM SỐ CHO MÔ HÌNH PHOBERT TRONG PHÂN TÍCH QUAN ĐIỂM DỮ LIỆU DU LỊCH TIẾNG VIỆT

Abstract

Trong lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt, mô hình ngôn ngữ tiền huấn luyện PhoBERT đã chứng minh hiệu quả vượt trội trong các nhiệm vụ phân loại văn bản nhờ khả năng nắm bắt ngữ cảnh và đặc thù ngôn ngữ học. Bài báo này nghiên cứu sâu về ảnh hưởng của các siêu tham số (hyperparameters) trong quá trình tinh chỉnh mô hình PhoBERT đối với bài toán phân tích quan điểm bình luận tiếng Việt thuộc lĩnh vực du lịch. Quá trình thực nghiệm tập trung đánh giá tác động của các siêu tham số quan trọng: tốc độ học (learning rate), kích thước lô (batch size), số lần huấn luyện (epoch), độ dài chuỗi tối đa (max length) và tỷ lệ dropout. Kết quả cho thấy việc lựa chọn siêu tham số phù hợp có ảnh hưởng đến hiệu năng, giúp mô hình đạt độ chính xác và F1-score vượt trội so với cấu hình mặc định. Đặc biệt, tốc độ học và độ dài chuỗi tối đa được xác định là hai yếu tố có tác động mạnh nhất, phản ánh đặc thù dữ liệu bình luận trực tuyến tiếng Việt thuộc lĩnh vực du lịch. Nghiên cứu này không chỉ đề xuất bộ tham số tối ưu cho mô hình PhoBERT mà còn lấp đầy khoảng trống về đánh giá thực nghiệm siêu tham số trên dữ liệu tiếng Việt thuộc lĩnh vực du lịch.