A Cynical Pilot Study on AI-Assisted University Student Writing Development

Abstract

AI tools are frequently presented as a means to improve EFL student writing; however, the extent to which AI genuinely enhances writing skills—rather than merely composing polished final products—remains an open question. This longitudinal experiment involved 93 first-year Japanese university students completing English writing tasks over one semester. Students were divided into two groups: the self-editing group (control), and the ChatGPT-assisted group (variable). Writing samples were assessed on length, relevance, linguistic diversity, and accuracy. Analysis revealed that ChatGPT-assisted editing does little to improve students’ actual writing skills. While the final drafts of AI-assisted essays were relatively error-free, students’ pre-edited texts showed no statistically significant differences in overall writing quality when compared to the control group. This suggests that AI-assisted editing polishes the final composition rather than developing skills, calling into question the prevailing narrative that AI tools enhance writing ability. AIツールは英語を外国語として学ぶ学生のライティング能力向上手段として頻繁に紹介されるが、AIが単なる完成度の高い最終成果物の作成ではなく、真にライティングスキルを向上させる程度については明確ではない。本研究では、日本の大学1年生93名を対象に、1学期にわたり英作文の課題を実施した。学生は自己編集グループ（対照群）とChatGPTによる支援グループ（実験群）の2群に分けられた。作文は、長さ、内容の関連性、語彙の多様性、正確性に基づいて評価された。分析の結果、ChatGPTによる編集支援は学生の書く力の向上にはほとんど寄与しないことが明らかになった。AI支援による最終稿は比較的誤りが少なかったものの、編集前の文章は対照群とは統計的に有意な差が認められなかった。このことから、AIは作文スキルを育成するよりも、最終的な文章を磨き上げるだけのものであり、AIツールがライティング能力を高めるという一般的な見解に疑問を投げかける結果となった。