נתונים סינתטיים: מנוע האימון החדש של רובוטים ומערכות אוטונומיות

למה נתוני אמת אינם מספיקים

מערכות AI לומדות מדוגמאות, אך בעולם הפיזי קשה לאסוף את כל הדוגמאות הדרושות. תקלות חמורות, כמעט-תאונות, מזג אוויר קיצוני ומצבי קצה מתרחשים לעיתים רחוקות. איסוף שלהם יקר, איטי ולעיתים בלתי אפשרי מבחינה בטיחותית. נתונים סינתטיים מציעים דרך ליצור תרחישים מדומים שנועדו להשלים את נתוני האמת.

בסביבה וירטואלית ניתן לשנות תאורה, מיקום מצלמה, חומר, עומס, מהירות ותנאי שטח. כך אותו תרחיש בסיסי הופך לאלפי וריאציות. המטרה אינה ליצור תמונה יפה, אלא להציג למודל מגוון שמכין אותו למצבים שלא הופיעו במדגם המקורי.

ממפעל פיזי למפעל נתונים

ב-2026 NVIDIA הציגה Blueprint למפעל נתונים עבור Physical AI. התהליך מאחד איסוף, סינון, הרחבה, יצירה והערכה של נתונים לרובוטים, מערכות ראייה ורכב אוטונומי. מודלי עולם כמו Cosmos משמשים ליצירת סביבות וסרטונים, וכלי הערכה מסננים תוצרים שאינם עקביים מבחינה פיזיקלית.

הרעיון של 'מפעל נתונים' מדגיש שהנתונים אינם תוצר לוואי. הם מוצר הנדסי עם מפרט, בדיקות איכות וגרסאות. כל דוגמה צריכה לכלול תוויות, מקור, פרמטרים והקשר שמאפשרים להבין כיצד נוצרה.

המבחן הקשה: הפער בין סימולציה למציאות

מערכת יכולה להצטיין בסביבה מדומה ולהיכשל בשטח. תופעה זו מכונה לעיתים sim-to-real gap. הסימולציה עשויה לפשט חיכוך, החזרי אור, רעש חיישן או התנהגות אנושית. אם המודל לומד סימנים מלאכותיים שקיימים רק בהדמיה, הוא אינו מכליל לעולם האמיתי.

אחת השיטות לצמצום הפער היא domain randomization - שינוי רחב של תנאים כך שהמודל לא יישען על פרט חזותי יחיד. שיטה נוספת היא כיול הסימולציה מול מדידות אמיתיות. בכל מקרה, נתונים סינתטיים צריכים להשלים נתוני אמת ולא להחליף את הבדיקה בשטח.

מקרים נדירים הם גם הזדמנות וגם מלכודת

היתרון הגדול ביותר של נתונים סינתטיים הוא יצירת long-tail scenarios: חפץ שנופל בזווית חריגה, אדם שנכנס לפתע למסלול, חסימה חלקית של חיישן או שילוב נדיר של תנאי מזג אוויר. תרחישים אלה מאפשרים לבדוק התנהגות לפני אירוע אמיתי.

אבל אם מפתח מדמיין רק את הסיכונים שהוא כבר מכיר, בסיס הנתונים עדיין יהיה עיוור להפתעות. לכן נדרש תהליך שכולל ניתוח אירועים מהשטח, משוב ממפעילים, בדיקות יריבותיות ועדכון מתמשך של ספריית התרחישים.

איכות לפני כמות

הפקת מיליוני דוגמאות אינה מבטיחה מודל טוב. כפילויות, תוויות שגויות או פיזיקה לא סבירה עלולות להטות את האימון. יש למדוד כיסוי תרחישים, גיוון, עקביות והשפעה על ביצועים בעולם אמיתי. הנתון החשוב הוא לא כמה קבצים נוצרו, אלא אילו כשלים המערכת למדה לזהות וכיצד הוכח שהיא פועלת בבטחה.

נתונים סינתטיים הופכים לתשתית מרכזית של Physical AI, אך כוחם נובע משילוב נכון בין סימולציה, מדידה ואימות. כאשר התהליך מתועד ונבדק, ניתן לקצר מחזורי פיתוח ולבחון מצבים שאי אפשר לייצר באופן אחראי במציאות.

כיצד בונים סט נתונים סינתטי אחראי

תחילה מגדירים מטרת בדיקה ורשימת תרחישים, ולא מתחילים מיצירה אקראית של תמונות. לכל תרחיש נקבעים הפרמטרים המשתנים, טווחים פיזיקליים ותוצאה צפויה. לאחר הייצור מבצעים בדיקות אוטומטיות וסקירת מומחים, מסירים דוגמאות לא סבירות ומודדים האם נוספה שונות אמיתית.

בשלב הבא מאמנים או בודקים את המודל ומשווים אותו לקו בסיס שמבוסס על נתוני אמת. אם הביצועים משתפרים רק על נתונים סינתטיים, אין הוכחה לערך. יש לבצע ניסוי שטח מבוקר ולבדוק קבוצות שונות של תנאים. לבסוף שומרים גרסה של המחולל, הפרומפטים, הפרמטרים והמסננים, כדי שניתן יהיה לשחזר את התהליך ולחקור תקלה עתידית.

יש להתייחס גם לזכויות ולפרטיות בנתוני המקור. יצירת וריאציות מחומר אמיתי אינה בהכרח מנתקת אותו מהאדם או מהנכס שממנו נאסף. נדרש לבדוק הרשאות שימוש, לבצע אנונימיזציה כשאפשר ולהגדיר זמן שמירה. תיעוד המקור מסייע למנוע מצב שבו מידע רגיש נכנס למודל דרך צינור סינתטי לכאורה.