A Comparative Study of Student Satisfaction with AI Chatbots for Supporting Learning in a Computer Programming Course: ChatGPT, Gemini, and Claude
Keywords:
Student satisfaction, Generative artificial intelligence, Computer programming, AI Chatbot, Digital LearningAbstract
Purpose: This study aimed to evaluate students’ satisfaction with the use of generative artificial intelligence tools, namely ChatGPT, Gemini, and Claude, in a computer programming course. It also aimed to compare students’ levels of satisfaction with these tools in terms of learning support, programming assistance, debugging support, and the development of analytical thinking skills.
Methodology: The participants consisted of 202 students enrolled in a computer programming course, selected through purposive sampling. The study utilized ChatGPT, Gemini, and Claude as the AI tools under investigation. Data were collected using a five-point Likert-scale questionnaire. Statistical analyses included frequency, percentage, mean, standard deviation, Repeated Measures ANOVA, and Bonferroni pairwise comparisons.
Findings: The results indicated that students were highly satisfied with the use of ChatGPT, Gemini, and Claude. ChatGPT received the highest satisfaction rating, followed by Gemini and Claude. Students reported that AI chatbots effectively explained programming concepts, assisted in debugging, suggested code improvement strategies, and promoted self-directed learning. Each tool demonstrated distinct strengths in terms of depth of explanation, response speed, and code generation capabilities.
Applications of this study: The findings can be applied in the fields of computer science, information technology, software engineering, and education to support programming instruction, digital learning, and the development of analytical thinking skills. Furthermore, the study provides guidance for instructors, curriculum developers, and educational institutions in effectively integrating generative AI tools into future teaching and learning practices.
Downloads
References
กัญชลารักษ์ ทีปกากร. (2568). การเรียนรู้กับ AI ในปี 2568: ครูไทยปรับตัวอย่างไรในยุค Generative AI. วารสารราชสีมาปริทัศน์, 1, 1–10.
จุติมา เมทนีธร. (2567). ปัญญาประดิษฐ์แบบรู้สร้างในการศึกษา: ChatGPT และ Gemini ในบทบาทของเครื่องมือทางการศึกษา. วารสารเทคโนโลยีสารสนเทศและนวัตกรรม, 23(1), 85–99.
ชูศรี วงศ์รัตนะ. (2553). เทคนิคการใช้สถิติเพื่อการวิจัย (พิมพ์ครั้งที่ 12). กรุงเทพฯ: ไทเนรมิตกิจ อินเตอร์ โปรเกรสซิฟ.
ธนารักษ์ สารเถื่อนแก้ว. (2567). การใช้เทคโนโลยีปัญญาประดิษฐ์ AI (ChatGPT) เพื่อส่งเสริมทักษะการเขียน. วารสารปัญญาพัฒน์ (Journal of Applied Education), 2(2), 45–58.
บุศรา นิยมเวช, สัญญา เคณาภูมิ, กฤษดา ตั้งชัยศักดิ์ และ ณรัฐ วัฒนพานิช. (2568). การส่งเสริมการเรียนการสอนด้วยการประยุกต์ใช้เทคโนโลยีปัญญาประดิษฐ์ในการบริหารจัดการอุดมศึกษาในมิติการพัฒนาวัฒนธรรมท้องถิ่น. วารสารศิลปะและวัฒนธรรมลุ่มแม่น้ำมูล, 14(1), 41–56.
อินทิรา ศักดิ์เมียนแก้ว. (2568). ประสบการณ์และมุมมองนักศึกษาต่อการใช้ ChatGPT เพื่อเสริมทักษะการเขียนภาษาอังกฤษเพื่อวัตถุประสงค์เฉพาะ: กรณีศึกษานักศึกษาภาษาอังกฤษธุรกิจ มหาวิทยาลัยราชภัฏศรีสะเกษ. วารสารมหาวิทยาลัยราชภัฏศรีสะเกษ, 19(1), 179–197.
Claude. (2026). Meet your thinking partner: Tackle any big, bold, bewildering challenge with Claude. Retrieved 5 May 2026, from https://claude.com/product/overview
Davis, F.D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13(3), 319–340.
DeLone, W.H., & McLean, E.R. (2003). The DeLone and McLean model of information systems success: A ten-year update. Journal of Management Information Systems, 19(4), 9–30.
Google. (2023). Introducing Gemini: Google's most capable AI model. Retrieved 5 May 2026, from https://blog.google/technology/ai/google-gemini-ai
Hartley, K., Hayak, M., & Ko, U.H. (2024). AI supporting learning to code. Education Sciences, 14(2), 120.
Jing, Y., Wang, H., Chen, X., & Wang, C. (2024). Factors affecting AI in programming problem solving. Humanities and Social Sciences Communications, 11, 266.
Kaewneam, C., Pakpoom, T., Pipattarasakul, P., & Suwanpattama, S. (2026). Using ChatGPT, Claude, and Gemini to identify research directions in the area of English communication. Liberal Arts and Social Studies International Journal, 2(1), 61–73.
Labadze, L., Grigolia, M., & Machaidze, L. (2023). Role of AI chatbots in education: Systematic literature review. International Journal of Educational Technology in Higher Education, 20, 56.
OpenAI. (2022). ChatGPT: Optimizing language models for dialogue. Retrieved 5 May 2026, from https://openai.com/research/chatgpt
Sun, D., Boudouaia, A., Zhu, C., & Li, Y. (2024). Would ChatGPT-facilitated programming mode impact students’ programming behaviors? International Journal of Educational Technology in Higher Education, 21, 27.
UNESCO. (2023). Guidance for generative AI in education and research. Retrieved 5 May 2026, from https://unesdoc.unesco.org/ark:/48223/pf0000386693
Yilmaz, R., & Yilmaz, F.G.K. (2023). Effect of AI on computational thinking. Computers and Education: Artificial Intelligence, 5, 100147.
Zawacki-Richter, O., Marín, V.I., Bond, M., & Gouverneur, F. (2019). Systematic review of research on artificial intelligence applications in higher education. International Journal of Educational Technology in Higher Education, 16, 39.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Journal of Social Development Research and Practice
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
