Chais2025_Heb_and_Eng-web

36 ע צ'טבוטים מבוססי AI מול מעריכים אנושיים: ניתוח דיוק ציונים ואיכות משובים בהשכלה הגבוהה של סטודנטים ?' " ) S69 , אישה( . ים משוב ו שהופק על ידי צ'טבוטים וקוטלג ו כוונה הכ ו הציג תובנות מפורטות לצד הנחיות ספציפיות ל ביצוע ה מוצעים ה שיפורים , למשל: " ניסוח ה ה אוכלוסיי אינו מבהיר בבירור אילו מורים ייכללו במחקר ]..[ המלצות: ציין בבירור אילו מורים ייכללו [..] . אוכלוסיית המחקר יכולה להיות מנוסחת כך: ' אוכלוסיית המחקר כוללת מורים המועסקים במשרה מלאה או חלקית בבתי ספר יסודיים וחטיבות ביניים ברחבי הארץ. המחקר יתמקד במורים מכל תחומי הדעת והוותק בהוראה. ייעשה מאמץ להבטיח ייצוג הולם של מורים מכל המגזרים והרמות, תוך התחשבות במגדר, גיל וותק ' " ) הופק על ידי Gemini .( עם זאת, היו מקרים בהם משוב שהופק על ידי צ'טבוטים נמצא כ אל רלוונטי ל פרויקט המוערך ולעתים אף סתר מידע שנלמד במהלך ההרצאות . כך לדוגמה, במקרה הבא, הצ'טבוט קהפי משוב ובו הציע לסטודנט להוסיף השערת מחקר, דבר שלא נדון בכיתה: " מטרת המחקר ברורה וניתנת להבנה בקלות ]..[ עם זאת, ניתן לשפר את ניסוח המטר ה על ידי הצגת השערה ספציפית. השערה מוגדרת היטב לא רק ממקדת את המחקר, אלא גם מספקת כיוון ברור לאיסוף וניתוח הנתונים [..] לדוגמה, ניתן להעלות השערה כי אנשים שמחזיקים חיות מחמד נוטים יותר לאינטראקציות חברתיות פנים אל פנים מאשר אלו שלא מחזיקים חיות מחמד " ) הופק על ידי ChatGPT ( . במספר מקרים אחרים, צ' ט בוטים הציעו לפרט את אופי הקשר בשאלת המחקר, דבר שסותר את העקרונות שנלמדו במהלך הקורס , לדוגמה: " ניתן לשפר את ניסוח שאלת המחקר על ידי הצגת אופי הקשר בין המשתנים במפורש. ניסוח מוצע: האם קיים קשר חיובי בין בעלות על כלב לבין תדירות ומגוון האינטראקציות החברתיות של בעליו?" ) הופק על ידי Gemini .( סוג זה של המלצ ות לא רלוונטיות או מנוגדות לנלמד בקורס היה בולט בהיעדרו ממשוב י העמיתים . דיון ממצאי המחקר מספקים תובנות לגבי מידת הדיוק ואיכות ההערכות הניתנות לפרויקטים קבוצתיים של סטודנטים מצד שלושה מקורות: צ'טבוטים מבוססי בינ ה מלאכותית , מרצ ת הקורס והעמיתים. ממצא רכזי מ הצביע על פער ב מידת דיוק הציונים שניתנו לאותם פרוי טק ים מצד שלושת סוגי המעריכים. ה תוצאות לימדו הכי צ'טבוטים נקטו בגישה פחות מחמירה לציינון הפרויקטים , בעוד שהמעריכים האנושיים – בין אם המרצה או העמיתים – נטו ליישם קריטריונים מחמירים יותר . ב המשך לכך, נמצא מתאם חיובי חזק ומובהק בין ציוני המרצה והעמיתים, המעיד על רמת הסכמה גבוהה בין שתי קבוצות אלו . ממצא זה תואם מחקרים קודמים המראים כי בהקשרים מסוימים הערכות עמיתים יכולות להיות מדויקות כמו הערכות מרצ , ים במיוחד כאשר ישנם קריטריונים ברורים להערכה והכשרה מתאימה ) Usher & Barak, 2018; Li et al., 2020; Ocampo et al., 2024 (. לעומת זאת, נמצא מתאם נמוך ולא מובהק בין ציוני העמיתים והצ'טבוטים , ממצא העולה בקנה אחד עם החששות לגבי מידת הדיוק והעקביות של הערכות שנוצרו על ידי בינה מלאכותית, במיוחד כ שמדובר בהערכת תוצרים מורכבים ואיכותיים ) Lu et al., 2024; Okonkwo & Ade-Ibijola, 2021 .( ממצא מרכזי נוסף קשור לאיכות המשוב ים שהופקו ה על ידי צ'טבוטים בהשוואה לעמיתים. ניתוח התוכן חשף הבדלים מובהקים בין שני המקורות הללו , כאשר ה צ'טבוטים נטו לספק משובים באיכות גבוהה יותר בהשוואה לעמיתים. מעל ל - 60% מהמשובים שנכתבו על ידי העמיתים סווגו ב קטגוריות 'הצהרה' או 'אימות', המוגדרות כמשוב באיכות נמוכה עד בינונית. לעומת זאת, הערות מסוג 'הכוונה' - שהוגדרו כמשוב באיכות הגבוהה ביותר - היו נפוצות כמעט פי שישה בקרב ה צ'טבוטים אל מול ה עמיתים. ממצא ים אלו עולים בקנה אחד עם מחקרים קודמים שהראו כי עמיתים נוטים לספק פחות הצעות קונקרטיות לשיפור, ובמקום זאת מתמקדים בהסבר ההיגיון שמאחורי השיפוטים שלהם ) Usher & Barak, 2018; Voet et al., 2018 (. יתר על כן, ייתכן שהפערים הללו קשורים לתחושת חוסר ביטחון של סטודנטים או חוסר הנוחות המתלווה למתן משוב ביקורתי לעמיתיהם ) Usher & Barak, 2018; Li et al., 2020 .( למרות שהצ'טבוטים סיפקו משובים מפורט ים ועקביים , היו מקרים שבהם הציעו משוב שאינו תואם את הה נחיות ולעיתים אף ס ו תר את התוכן ד נלמה . מגבלה זו עולה בקנה אחד עם מחקרים שדיווחו כי מערכות בינה מלאכותית ע לולות לעיתים לפרש באופן שגוי את תגובות ה לומדים, מה שעשוי להוביל ל חוסר דיוק במשוב ) Chan & Hu, 2023; Lu et al., 2024 .( לעומת זאת, י משוב העמיתים הי ו מי מותא ם אישית יותר, התייחסו לתוכן הקורס ולדיונים שנערכו במסגרתו , ושיקפו את נקודות המבט והניסיון הייחודיים של כל מעריך . סוג זה של משוב יכול לעודד מ עורבות עמוקה יותר עם התוכן , ליצור חיבור משמעותי לחוויית הלמידה ) Usher & Barak, 2018; Usher & Barak, 2024 ( וכן לתרום ל יצירת סביבת למידה שיתופית ותומכת ) Deeley & Bovill, 2017; Li et al., 2020 ( . לסיכום, ממצאי המחקר ים מדגיש את הסיכון הפוטנציאלי שבהסתמכות יתר על משובים שהופקו על ידי צ'טבוטים, עלולים ש להטעות את ה סטודנטים אם ב לא ייבחנו וייערכו בצורה ביקורתית ומושכלת. דברה