כרטיסיות AI עם מקורות: איך בודקים איכות?

במה כרטיסיות שנוצרו באמצעות AI עלולות להיכשל?

כרטיסיות AI יכולות להיראות מסודרות גם כשהתוכן אינו מתאים ללמידה. שאלה יכולה להיות מעורפלת, תשובה יכולה להוסיף מידע שלא מופיע במקור, ואפשרות שגויה במבחן יכולה להיות נכונה בתנאי שלא הוזכר. בודקים בנפרד את רמת החשיבה, את איכות אפשרויות התשובה ואת הקשר למקור. עיצוב נעים אינו מחליף את הבדיקה הזאת.

המדריך עוסק בחמישה היבטים: מטרת השאלה, מסיחים, מצב מקור, משוב של מורה פרטי ותכנון חזרות. הם מתייחסים לשלבים שונים במסלול הלמידה. תלמיד יכול לדעת הגדרה בלי להצליח להשתמש בה בבעיה, וגם שאלה שמכוונת לרמה גבוהה יכולה להיות שגויה. לכן לא מחליפים בדיקה מקצועית בדירוג כללי של היישום.

מה רמת החשיבה שהשאלה באמת בודקת?

הטקסונומיה המעודכנת של Bloom מסווגת מטרות למידה לשש רמות קוגניטיביות. שאלה על נוסחת האנרגיה הקינטית בודקת בעיקר זכירה. היא אינה חסרת ערך, אבל תשובה נכונה אינה מוכיחה יכולת לפתור מצב חדש. סקירת Krathwohl מסבירה את השינוי במיון ואת הקשר בין סוגי ידע לבין הפעולות הקוגניטיביות.מקור Krathwohl, D.R. (2002). A Revision of Bloom's Taxonomy: An Overview. Theory Into Practice 41(4), 212-218. https://doi.org/10.1207/s15430421tip4104_2 · ברשימת המקורות

בעבודה עם חומר קורס, קובעים קודם מה יידרש בבחינה: לזהות מושג, להסביר קשר, לחשב או לנתח מצב. רק אז בוחרים ניסוח. יישום של נוסחה דורש גם נתונים ויחידות; הסבר דורש טענה שניתן לנמק. כאשר שאלה מערבבת כמה מטרות בלי להבחין ביניהן, קשה לדעת מה חוסר ההצלחה אומר על הידע.

ב־Quanta אפשר לבחור, ממסלול Essential, אחת משלוש רמות שמאגדות את שלבי Bloom לצורך היצירה. הבחירה משפיעה על סוג הטיוטות המבוקש, אבל אינה הופכת כל טיוטה לתקינה. את ההסבר המלא של המיון אפשר לקרוא בעמוד Bloom, בגרמנית. לומדים בעברית יכולים לשמור מונח קורס באנגלית כאשר זהו המונח שמשמש בבחינה.

איך נראות זכירה ויישום באותו נושא?

אותו נושא יכול להוליד שתי משימות שונות. השאלה הראשונה מבקשת נוסחה; השנייה דורשת שימוש בנתונים והסבר של שינוי אנרגיה. לא צריך לבחור תמיד ברמה הגבוהה ביותר. קודם בודקים אם הנוסחה והמשמעות הבסיסית ידועות, ואחר כך מתרגלים את הדרישה המסוימת של הקורס.

בדוגמת המכונית ממירים קודם את המהירות למטרים בשנייה. הנוסחה E = ½mv² משתמשת ביחידות המתאימות, ולא במספר 100 כאילו הוא מהירות במטרים בשנייה. עצם זיהוי הנוסחה אינו מספיק. השאלה נשארת דוגמת לימוד; היא אינה ניסוי שמדד השפעה של כרטיסיות Quanta על ציוני מבחן.

מהן שש הרמות של Bloom?

המיון כולל שש רמות. הטבלה הבאה משתמשת באותו נושא כדי להראות את השינוי במשימה, בלי לטעון שכל רמה היא קושי גבוה יותר בכל מקרה. גם התוכן הנדרש ומידת ההיכרות של הלומד משנים את הקושי. שם הרמה הוא כלי לבחירת מטרה, לא ציון איכות לכרטיסייה.

Quanta מאגדת את שש הרמות לשלוש רמות בחירה ליצירה. מסלול הבחינה מוסיף גם מצבי תשובה פתוחה ומשוב מובנה. זו תיאור של היכולת והמטרה, לא הוכחה שהמשתמש יפתור כל שאלת העברה. בודקים אם הטיוטה שנוצרה כוללת את כל הנתונים ואם אפשר להסביר מדוע התשובה נובעת מהם.

איך מבחינים בין מסיח סביר לשאלה מבלבלת?

מסיח הוא אפשרות תשובה שגויה במבחן רב־ברירה. מסיח שימושי יכול לשקף טעות מושגית רגילה, אבל עדיין צריך להיות שגוי לפי התנאים שניתנו. Haladyna ו־Downing בחנו כללים לכתיבת שאלות כאלה, ובהם ניסוח ואפשרויות תשובה. אפשרות מגוחכת שאף אחד לא יבחר בה אינה בודקת את אותה הבחנה כמו בלבול אמיתי במושג.מקור Haladyna, T.M.; Downing, S.M. (1989). A Taxonomy of Multiple-Choice Item-Writing Rules. Applied Measurement in Education 2(1), 37-50. https://doi.org/10.1207/s15324818ame0201_3 · ברשימת המקורות

אפשרויות שנוצרו אוטומטית עשויות להישמע סבירות בלי לייצג טעות מסוימת. בודקים אם המסיח מחליף מושג, מתעלם מתנאי או טועה בחישוב. אם הוא נעשה נכון בפרשנות אחרת של השאלה, מתקנים את הניסוח. גם הסבר שמציג רק את התשובה הנכונה אינו אומר מה היה שגוי באפשרויות האחרות.

Quanta כוללת בדיקת סבירות של מסיחים בתהליך יצירת החומר. הבדיקה תומכת בניסוח הטיוטות ואינה מחליפה את בדיקת הלומד. בעמוד יצירת כרטיסיות ומבחני רב־ברירה מתואר מסלול ההכנה. מדריך המשוב מסביר מה עושים אחרי שבוחרים במסיח.

מה ציון המקור כן מוכיח ומה הוא אינו מוכיח?

מודל שפה יכול לנסח תוכן שנשמע נכון גם כאשר חסר לו בסיס. ללמידה יש לכך משמעות: תשובה שגויה על נוסחה יכולה להפוך לחומר שחוזרים עליו. לכן בודקים אם הטענה עצמה מופיעה במקור, אם התנאים נשמרו ואם התשובה לא מוסיפה הסבר שאין לו תמיכה. עצם קיומו של קישור אינו הבדיקה הזאת.

Quanta Verified מתאר את מסלול הנושאים שמתחיל במקורות בעלי רישיון פתוח ובודק התאמת ציטוט למקור. במסלול הזה פריטים שלא קיבלו התאמה מאושרת אינם נשמרים ככרטיסיות מאומתות. זהו מסלול נפרד מכרטיסיות שנוצרו מתוך מסמך משתמש ומיצירה ללא מקור מאומת. תיאור מצבי המקור מופיע בעמוד כרטיסיות עם מקורות.

התאמת ציטוט מציינת קשר לטקסט המוצג. היא אינה אישור אוטומטי לנכונות המקור או לכל ניסוח של התשובה. ציטוט יכול להיות נכון מבחינה מילולית ובכל זאת לא לתמוך במסקנה שנכתבה. למשל, נתון על ממוצע אינו מצדיק החלפה שלו בחציון. דוגמת מצגות הלימוד מראה את ההבדל עם חומר מקור מלא.

מסמך אישי דורש בדיקה מול המקור האישי. טקסט שיובא מקובץ CSV אינו מקבל אוטומטית סימון של מקור מאומת. אם המקור אינו תומך בתשובה, משנים את התשובה, מוסיפים מקור מתאים בצורה מפורשת או מסירים את הפריט. אין סיבה לשמור טענה לא מבוססת רק משום שכבר נוצרה כרטיסייה בעיצוב תקין.

איך שאלות המשך יכולות לעזור להסביר מושג?

שאלת המשך כמו מדוע לדעתכם זה כך או מה ישתנה אם הטמפרטורה תעלה דורשת להסביר את ההנחה. Chi ועמיתיה בדקו את תרומתם של דיאלוגים אינטראקטיביים ללמידה. המאמר מתאר מסגרת של שיחות הוראה; הוא אינו מדידת מוצר של Quanta או הבטחה שכל שיחת AI תייצר את אותה תוצאה.מקור Chi, M.T.H.; Siler, S.A.; Jeong, H.; Yamauchi, T.; Hausmann, R.G. (2001). Learning from human tutoring. Cognitive Science 25(4), 471-533. https://doi.org/10.1207/s15516709cog2504_1 · ברשימת המקורות

המורה הפרטי של Quanta משתמש בשאלות המשך ובמשוב מובנה כדי לעודד ניסוח במילים שלכם וטיפול בפערים. בודקים בכל מקרה אם השאלה עוסקת במושג הנכון ואם ההסבר תואם את חומר הקורס. תגובה ארוכה אינה בהכרח משוב שימושי. כאשר חסר שלב בחישוב, ההמשך צריך לעזור לזהות אותו ולא להחליף את הבעיה בנושא אחר.

מה תכנון חזרות מוסיף לחומר שנבדק?

Quanta מתכננת חזרות באמצעות FSRS על בסיס דירוג התשובה בזמן הלמידה. אם הטקסט שנשמר שגוי, תזמון אינו מתקן אותו. קודם בודקים את התוכן ואז מנסים לענות לפני חשיפת התשובה. Anki תומך גם הוא ב־FSRS. השימוש באותו סוג מתזמן אינו מעיד שכל מוצר מתאים באותה מידה לכל משימת הכנה.

Ye ועמיתיו בדקו מודל זיכרון במסגרת מחקרית מוגדרת. המחקר אינו השוואה בין Quanta ל־Anki ואינו מעניק שיעור הצלחה למשתמש יחיד. אין להסיק ממנו ש־FSRS תמיד מדויק יותר מ־SM-2 בכל מסגרת. טענת המחקר, התזמון שמומש במוצר ותוצאת הלמידה של המשתמש הם שלושה דברים שצריך להבחין ביניהם.מקור Ye, Junyao; Su, Jingyong; Cao, Yilong (2022). A Stochastic Shortest Path Algorithm for Optimizing Spaced Repetition Scheduling. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 4381-4390. https://doi.org/10.1145/3534678.3539081 · ברשימת המקורות

בסבב הלמידה מדרגים את התשובה האמיתית. זיהוי של מילה אינו שווה לפתרון עצמאי של בעיה. אחרי תיקון של שאלה או תשובה, בודקים שהגרסה המעודכנת היא זו שמופיעה. עמוד יישום הכרטיסיות מתאר את ההמשך בסביבת הלמידה, ומדריך עומס הלמידה, באנגלית מסביר את ההפרדה בין חומר חדש לחזרות.

אילו חמש בדיקות עושים לפני שמתחילים ללמוד?

הטבלה מסכמת בדיקות נפרדות. אין מדובר בניקוד שמכריע איזה מוצר הוא הטוב ביותר. כל בדיקה עוסקת בשאלה, בתשובה או בצעד למידה שאפשר לבדוק. אם אחת מהן אינה ברורה, חוזרים לחומר המקור או מתקנים את הטיוטה לפני שנכנסים לסבב ארוך של חזרות.

Quanta מחברת את היכולות האלה בסביבת הלמידה והיצירה. זו תיאור מוצר, לא הוכחה שהשילוב עדיף לכל לומד או לכל תחום. המשקל של כל בדיקה תלוי בקורס, בחומר ובפורמט הבחינה. כדי לראות את היקף האפשרויות לצד יישומים אחרים, אפשר לקרוא את עמוד ההשוואה בעברית.

איך עוברים מחומר בדוק לתרגול ראשון?

בוחרים מקטע קטן, יוצרים טיוטות, בודקים את התוכן שנשמר ומתקנים את מה שצריך. לאחר מכן עונים על כרטיסייה בלי לראות את הצד השני, משווים לתשובה ומדרגים בכנות. במבחן רב־ברירה קוראים את ההסבר גם אם הבחירה הייתה נכונה אבל לא בטוחה. התרגול הראשון צריך להראות מה יודעים, ולא רק לאשר שהקובץ או היצירה הסתיימו.

לחומר קיים אפשר להתחיל ממבנה קובץ CSV ו־TXT. לחומר חדש מתוך מצגות מתחילים מהכנת PDF קריא. בודקים את תנאי המסלול לפני יצירה נוספת באמצעות AI: מכסת Starter החד־פעמית שייכת לתהליך ההתחלה המודרך, ואינה מכסה רגילה שמתחדשת לכל מסמך. שאלת הכמות אינה צריכה לבוא לפני שאלת האיכות.