Chais2025_Heb_and_Eng-web

ע 31 מאיה אושר ספר הכנס העשרים לחקר חדשנות וטכנולוגיות למידה ע"ש צ'ייס: האדם הלומד בעידן הדיגיטלי ד' אולניק - שמש, א' בלאו, נ' גרי, א' כספי, י' סידי, י' עשת - אלקלעי, י' קלמן, א' רבין )עורכים(, רעננה: האוניברסיטה הפתוחה צ'טבוטים מבוססי AI מול מעריכים אנושיים: ניתוח דיוק ציונים ואיכות משוב ים בהשכלה גבוהה ה מאיה אושר HIT מכון טכנולוגי חולון mayau@hit.ac.il AI Chatbots vs. Human Assessors: A Comparative Analysis of Grading Accuracy and Feedback Quality in Higher Education Maya Usher HIT Holon Institute of Technology mayau@hit.ac.il Abstract In recent years, the integration of Generative Artificial Intelligence (GenAI) in education has introduced innovative approaches to assessment. One such approach is AI chatbot- based assessment, which utilizes large language models (LLMs) to provide students with timely and consistent feedback. However, the effectiveness of AI chatbots in generating assessments comparable to human evaluators remains unclear, with limited research offering direct comparisons in educational contexts. This study aims to evaluate and compare the grading accuracy and feedback quality of AI chatbots-based assessments with those provided by a course instructor and peers in a higher education setting. The participants were 76 undergraduate students who engaged in a group project involving three phases: questionnaire development, peer assessment, and chatbot-based assessment. Employing a mixed-methods approach, data were collected through a quantitative comparison of project grades and a qualitative analysis of feedback types and quality. Results indicated that AI chatbots consistently assigned higher grades than human assessors, while peer and instructor grades were similarly lower and closely aligned. Content analysis revealed that AI chatbots generally provided higher-quality feedback compared to peers, often offering detailed insights and specific guidance for improvement. However, there were instances where AI chatbot feedback was irrelevant or contradictory to course content. In contrast, peer feedback tended to be more personalized and context- specific. These findings highlight the importance of human judgment, suggesting that integrating chatbot-based assessments with traditional methods could leverage their complementary strengths to enhance student learning. Keyword: Chatbot-based assessment, Generative Artificial Intelligence (GenAI), Higher education, Peer assessment, Peer feedback. תקציר בשנים האחרונות, שילוב בינה מלאכותית ג ' נרטיבית ) GenAI ב( חינוך פותח אפשרויות חדשות ללמידה ולהערכה. אחת מ האפשרויות הללו היא הערכה מבוססת צ'טבוטים, ה מתייחסת ל שימוש במודלי שפה גדולים ) LLMs ב( כדי לספק לסטודנטים משוב עקבי בזמן אמת. עם זאת, יעילותם של צ'טבוטים ערכ בה ת תוצרי למידה של סטודנטים טרם נבחנה דייה וקיים מחקר מוגבל המציע השוואות ישירות בין הערכה זו לבין הערכה אנושית, בעיקר בה קשרים חינוכיים .