Chais2025_Heb_and_Eng-web

ע 33 מאיה אושר זה מעלה שאלות בנוגע למידת ההתאמה בין סוגי הערכות שונים – בין אם מבוססות צ'טבוטים , הערכות מרצים או עמיתים ) Lu et al., 2024; Tam, 2024 .( מטרה ושאל ו ת המחקר מטרת המחקר הי נ ה לבחון ולהשוות את מידת ה דיוק ציונים וא יכות המשוב ים הניתנים לפרויקטים קבוצתיים של סטודנטים משלושה מקורות: צ'טבוטים מבוססי AI , מרצ ת הקורס והעמיתים . מכאן עלו שאלות המחקר הבאות : 1. מהי מידת דיוק ה ציונים המופקים ע ל ידי צ’טבוטים אל מול ציוני המרצה והעמיתים עבור פרויקטים קבוצתיים של סטודנטים? 2. כיצד סוג י ואיכות המשוב ים ה מופקים על ידי צ'טבוטים ונים מאל ש ו כתבים הנ על ידי העמיתים עבור פרויקטים קבוצתיים של סטודנטים ? אוכלוסיית וסביבת המחקר במחקר השתתפו 76 סטודנטים לתואר ראשון ) 89% נשים, 11% גברים( שהשתתפו בקורס ב העוסק מדידה והערכה ב שנת הלימודים 2023-24 . כחלק מדרישות הקורס, הסטודנטים עבדו על פרויקט בקבוצות של 3-4 משתתפים, אשר חולק לשלושה שלבים: פיתוח שאלון, הערכת עמיתים, והערכה מבוססת צ'טבוט. ראשית, הסטודנטים עבדו בקבוצות על פיתוח שאלון מקוון בנושא לבחירתם , שכלל לפחות ארבע שאלות סגורות ו לפחות שתי שאלות פתוחות. בשלב השני, כל סטודנט ביצע הערכת עמיתים לשני פרויקטים ו של חברי כיתה ל . התהליך היה אנונימי, והסטודנטים השתמשו ב מחוון מפורט ש חולק לשישה חלקים: מטרת המחקר, אוכלוסיית המחקר, שאלות המחקר, שאלות סגורות בשאלון , שאלות פתוחות בשאלון והקדמה לשאלון . עבור כל אחד מששת חלקי המחוון צוינו הנחיות מילוליות וכן ציון כמותי מתוך הציון הכולל. הסטודנטי ם העניקו ציונים מספריים ומשוב כתוב עבור כל אחד מששת ם חלקי ה . לבסוף, הסטודנטים ביצעו הערכה מבוססת צ'טבוטים , בה התבקשו לבחור צ'טבוט לפי העדפתם )דוגמת ChatGPT או Gemini ו( להפיק באמצעותו ש הערכה התבססה על אותו המחוון בכדי לספק ציונים מספריים ומשוב כתוב . מרצת הקורס העריכה את השאלונים כשלב אחרון, לאחר שהוגשו כל חלקי הפרויקט. תשיט המחקר , כלי המחקר וניתוח במחקר נעשה שימוש ב מתודת המחקר המשולב המקביל. הרכיב הכמותי כלל את השוואת הציונים שניתנו לפרויקטים על ידי 'צ , טבוטים המרצה והעמיתים, תוך שימוש באות ו המחוון בעל ששת הקריטריונים . נ הנתונים ותחו באמצעות סטטיסטיקה תיאורית ו מבחן ANOVA חד - כיווני למד יד ות חוזרות על מנת להעריך הבדלים בממוצעי הציונים בין שלוש קבוצות המעריכים. בנוסף, נערכו מבחני t למדגמים מזווגים כדי ב להשוות את ממוצעי הציונים שניתנו על ידי כל זוג מעריכים. לבסוף, בוצעו מבחני מתאם מסוג פירסון על מנת להעריך את הקשרים בין ציוני הפרויקטים ו במטרה לקבוע את עוצמת וכיוון הקשרים בין מקורות ההערכה השונים. הרכיב האיכותני כלל ניתוח תוכן של סוגי ואיכות המשוב ים הכתובים משני מקורות: ה ערכות עמיתים והערכות ה 'צ טבוטים . הסטודנטים רשמו משוב נפרד עבור כל אחד מששת הקריטריונים ב מחוון, עבור כל אחד משני הפרויקטים ש העריכו . הצ'טבוטים יצרו משוב עבור כל הפרויקט, גם כן בהתאם לאותם הקריטריונים. תהליך זה הניב של סך 1,368 הערות משוב – 912 הת ו מהערכ עמיתים ו - 456 ערכות המ הצ'טבוטים. המשובים דורגו לפי רמת איכותם על סולם הנע בין 1 )נמוך ביותר( ל -5 )גבוה ביותר(, בהתבסס על סטנדרטים שנקבעו במחקר קודם ) Usher & Barak, 2018 .( הסולם מפורט כדלהל ן: חיזוק ) 1 נקודה( – הערות כלליות ללא כל תרומה קוגניטיבית לשיפור הפרויקט המוערך. ה צהרה ) 2 נקודות( – הערות המציינות עמידה או אי עמידה בהנחיות הפרויקט על פי המחוון , ללא ניתוח מעמיק או הצעות לשיפור . אימות ) 3 נקודות( – ה הערות מצביעות על חלקים מסוימים טעוני שיפור בפרויקט המוערך, אך ללא הסבר מפורט ו/או ניתוח מעמיק. הרחבה ) 4 נקודות( – הערות אינפורמטיביות המספקות תובנות מפורטות והסבר אילו חלקים יש לשפר ו מדוע השיפורים נחוצים. הכוונה ) 5 נקודות( – הערות באיכות גבוהה המספקות תובנות מפורטות והסבר אילו חלקים יש לשפר , מדו ע השיפורים נחוצים ואף הצעות ספציפיות ליישום השיפורים המוצעים . הניתוח האיכותני נעשה על ידי מרצת הקורס וכותבת המאמר. לבחינת מהימנות תהליך הניתוח, נבחרה באקראי דגימה של כ - 10% מהמשובים והוערכה ל ידי ש ע י שופט ת ות נוספות , סטודנטיות לדוקטורט