Chais2025_Heb_and_Eng-web

32 ע צ'טבוטים מבוססי AI מול מעריכים אנושיים: ניתוח דיוק ציונים ואיכות משובים בהשכלה הגבוהה מחקר ה מטרת הנוכחי נההי לבחון את יעילותם של צ'טבוטים בהערכת פרויקטים קבוצתיים של סטודנטים, בהשוואה להערכות ה מרצה והערכות עמיתים ה בקורס בהשכלה הגבוהה . יעילות זו נסקרה הן מבחינת מידת דיוק הציונים והן מבחינת איכות המשובים שניתנו לפרויקטים, בהתבסס על אותו המחוון. במחקר השתתפו 76 סטודנטים לתואר ראשון, אשר לקחו חלק בפרויקט קבוצתי שכלל שלושה שלבים: פיתוח שאלו ן, הערכת עמיתים והערכה מבוססת צ’טבוט . הנתונים נאספו דרך השוואה כמותית של ציוני הפרויקטים וניתוח איכותני של סוגי המשוב ים ואיכות . הם ממצאים 'צ הראו כי טבוטים העניקו ציונים ממוצעים גבוהים יותר מ ן ה ה מעריכים אנושיים, בעוד שציוני המרצה ו העמיתים היו נמוכים יותר , אך בקורלציה גבוהה האחד עם השני . ניתוח התוכן הראה כי 'צ טבוטים סיפקו לרוב משוב באיכות גבוהה יותר בהשוואה לעמיתים, ו נטו להציע תובנות מפורטות לצד הנחיות ספציפיות וישימות לשיפור הפרויקטים . עם זאת, היו מקרים בהם המשוב שהופק על ידי צ'טבוטי נמצא כ ם לא רלוונטי או כ סותר את תוכן ה הנלמד ב קורס. מאידך, משוב העמיתים נטה להיות יותר ממוקד בהקשר ו מבחינת התאמה לתכני הקורס . תוצאות אלו מציעות כי שילוב צ’טבוט ים לצד ש יטות הערכה מסורתיות יותר עשוי לנצל את החוזקות המשלימות של כל מתודה, תוך הדגשת חשיבות השיפוט האנושי בתהליכי הערכה בחינוך. מילות מפתח : בינה מלאכותית ג'נרטיבית ) GenAI ,( הערכה מבוססת צ'טבוט, הערכת עמיתים, השכלה גבוהה, משובי עמיתים . מבוא שילובה ההולך וגובר של בינה מלאכותית ג'נרטיבית ) GenAI ( במסגרות חינוכיות פתחה אפיקים חדשים לשיטות הערכה חדשניות ) Usher & Barak, 2024; Chan & Hu, 2023; Tam, 2024 .( בין היישומים המבטיחים ביותר של GenAI ב הקשר לה ערכה הוא השימוש בצ'טבוטים – מתווכים אוטומטיים הפועלים באמצעות מודלי שפה גדולים ומסוגלים לנהל שיחות משמעותיות ומודעות הקשר ) Essel et al., 2022; Labadze et al., 2023 .( יכולות אלו הופכות אותם ל כלי מבטיח לאוטומציה של משימות שונות הקשורות להערכה בסביבות ת חינוכיו (Okonkwo & Ade-Ibijola, 2021) . מחקרים הדגישו את הפוטנציאל , כמו גם את האתגרים , הכרוכים בשילוב צ’טבוטים מבוססי AI בתהליכי הערכה בהשכלה הגבוהה ) Farazouli et al., 2023 .( צ'טבוטי אלו ם מתוארים כ מעין עוזרי הוראה וירטואליים ה עשויים לסייע לסטודנטים במשימות לימודיות שונות, לספק תשובות לשאלותיהם ו להבהיר מושגים מורכבים ) Ding et al., 2023; Labadze et al., 2023 (. הם נתפסים ככלי המספק משוב אינטראקטיבי , דיי ומי סיוע מותאם אישית ותמיכה מקיפה ) Chan & Hu, 2023; Okonkwo & Ade-Ibijola, 2021 .( בנוסף, צ'טבוטים יכולים לשמש כ קיצור דרך מועיל, ולהפחית באופן משמעותי את הזמן הנדרש להשלמת משימות ות אקדמי ) Chan & Hu, 2023; Labadze et al., 2023 (. מעבר לסיוע לסטודנטים, צ'טבוטים עשויים לתמוך גם ב צוותי ההוראה על ידי בדיקת מטלות , הפקת מערכי שיעור ו חומרי למידה אינטראקטיביים ) Walter, 2024 .( שילוב זה מקל על העומס הרב המוטל על מורים ומרצים ו בכך מאפשר להם להתמקד במשימות הוראה מורכבות יותר ) Ding et al., 2023; Essel et al., 2022 .( למרות יתרונות אלו, קיים ה סיכון שצ'טבוטים יפרשו באופן חלקי או שגוי תוצרי את הסטודנטים, מה שעלול להוביל למשוב שאינו רלוונטי או שאינו מדויק ) Chan & Hu, 2023 .( בנוסף, הסטודנטים חייבים להיות בעלי רמת אוריינות מסוימת ב - AI כדי ל ב עשות שימוש יעיל ומושכל ב כלים אלו , שכן איכות המשוב שנוצר תלוי במידה רבה ב מידת ה בהירות ו ה דיוק של ההנחיות הניתנות ) Tam, 2024; Walter, 2024 .( לבסוף , קיימת אי - וודאות בנוגע למידת הקורלציה בין הערכות שנוצרו על ידי צ'טבוטים לבין הערכות אנושיות ) Lu et al., 2024 ( . מחקרים הראו כי מודלים ממוחשבים י מבוסס AI מסוגלים לחזות ציונים ברמת דיוק המתקרבת לזו של מומחים ) Haudek & Zhai, 2023; Morris et al., 2024 (. לדוגמה, מחקר שנערך לאחרונה מצא עקביות בינונית עד טובה ביעילותם של צ'טבוטים במתן ציון לעבודות סטודנטים , בהשוואה להערכות המרצים ) Lu et al., 2024 (. עם זאת, השוואות בין הערכות הניתנות על ידי AI להערכות אנושיות ממשיכות לעורר חששות משמעותיים בכל הנוגע לדיוק ולעקביות ) Okonkwo & Ade-Ibijola, 2021 .( מחקרים קודמים בחנו גם את הקשרים בין הערכות הניתנות על ידי מקורות אנושיים שונים, כגון הערכות עמיתים מול הערכות מרצים . מחקרים וחו ודי כי הערכות עמיתים יכולות להיות אמינות כמו הערכות , מרצים בעיקר כש מספקים מחוון ברור ומציעים לסטודנטים הכשרה מתאימה ) Usher & Barak, 2018; Li et al., 2020 (. עם זאת, יש נם ב מקרים הם הערכות עמיתים עשויות להיות שונות מהערכות המ רצים, במיוחד מבחינת עקביות ועומק המשוב ים הכתובים ) Falchikov & Goldfinch, 2000; Suñol et al., 2016 צב מ(.