ניצחון ל-NVIDIA: מודל חדש כובש את Kaggle

בימים האחרונים של תחרות האולימפיאדה המתמטית של ה-AI, צוות NVIDIA התמודד עם אתגר עולמי. בכל ערב, שני חברי צוות משני קצוות ארצות הברית הגישו מודל בינה מלאכותית לפתרון בעיות מתמטיות ל-Kaggle, הפלטפורמה המובילה בתחום מדעי הנתונים ולמידת מכונה. לאחר המתנה מתוחה של חמש שעות, הם גילו כיצד המודל התמודד עם סט של 50 בעיות מתמטיות מורכבות.

לאחר קבלת התוצאות, הצוות בארצות הברית העביר את המקל לחברי הצוות המתעוררים בארמניה, פינלנד, גרמניה וצפון אירלנד, אשר עבדו במהלך היום על בדיקות, שינויים ואופטימיזציה של גרסאות שונות של המודל.

"כל לילה הייתי מאוכזב מהציון שלנו, אבל אז הייתי מתעורר ורואה את ההודעות שהגיעו במהלך הלילה מחברי הצוות באירופה," אמר איגור גיטמן, מדען בכיר ביישומים. "התקוות שלי היו עולות והיינו מנסים שוב."

בעוד שהצוות היה מאוכזב מחוסר השיפור על סט הנתונים הציבורי בימים האחרונים של התחרות, המבחן האמיתי של מודל AI הוא כיצד הוא מצליח להכליל לנתונים שלא נראו. כאן המודל שלהם קפץ לראש הטבלה - ענה נכון על 34 מתוך 50 שאלות האולימפיאדה בתוך חמש שעות בעזרת אשכול של ארבעה GPUs מסוג NVIDIA L4.

"בסוף קיבלנו את הקסם," אמר דארה הנלי מצפון אירלנד, חבר צוות ומומחה טכנולוגיות מודלים לשוניים גדולים.

צוות NVIDIA התחרה תחת השם NemoSkills, כהוקרה לשימוש שלהם באוסף NeMo-Skills לצורך האצת אימון, הערכה והסקת מודלים לשוניים גדולים. כל אחד משבעת חברי הצוות תרם תחום מומחיות שונה, החל מאימון מודלים לשוניים גדולים, דיסטילציה של מודלים ואופטימיזציה של הסקה.

לצורך האתגר ב-Kaggle, מעל 2,200 צוותים משתתפים הגישו מודלים של AI שנדרשו לפתור 50 שאלות מתמטיות - בעיות מורכבות ברמת האולימפיאדה הלאומית, הכוללות אלגברה, גיאומטריה, קומבינטוריקה ותורת המספרים - בתוך חמש שעות.

המודל המנצח של הצוות משתמש בשילוב של הסקת שפה טבעית וביצוע קוד Python. כדי להשלים את אתגר ההסקה על אשכול קטן של GPUs מסוג NVIDIA L4 הזמינים דרך Kaggle, צוות NemoSkills היה צריך להיות יצירתי.

המודל המנצח שלהם השתמש ב-Qwen2.5-14B-Base, מודל בסיס עם יכולות הסקת שרשרת מחשבה, אותו הצוות כיוונן על מיליוני פתרונות סינתטיים שנוצרו לבעיות מתמטיות.

"גם ללא תחרות Kaggle, היינו ממשיכים לעבוד על שיפור מודלים להסקת AI למתמטיקה," אמר גיטמן. "אבל Kaggle נותן לנו את ההזדמנות לבחון ולגלות עד כמה המודלים שלנו מצליחים להכליל לסט נתונים של צד שלישי."

לאחר הניצחון בתחרות, הנקל חזר לתואר אלוף העולם של Kaggle - מדורג במקום הראשון מבין מעל 23 מיליון משתמשי הפלטפורמה. חבר צוות נוסף, איוון סורוקין מפינלנד, זכה בתואר Grandmaster של Kaggle, תואר שמחזיקים בו רק מעל 350 אנשים ברחבי העולם.

על הניצחון במקום הראשון, הקבוצה זכתה בפרס של $262,144 שהם מכוונים לקרן NVIDIA לתמיכה בארגונים צדקה.