אם אפל נשארת מאוד דיסקרטית לגבי עבודתה על דגמי שפות גדולים, החברה פועלת מאחורי הקלעים כדי לשלב את הטכנולוגיות הללו במכשיריה.
Apple GPT באייפון?
נחשפו מספר הדלפותשאפל עבדה באופן פעיל על שילוב מודלים עיקריים של שפה בתוך המערכות השונות שלה. צוותי קופרטינו מפתחים כעת רובוט שיחה ומודל שפה גדול המסוגל להתחרות ב-ChatGPT של OpenAI, ב-Google Gemini וב-LAMA 2 של Meta. אם אפל לא מתכוונת להישאר מאחור בשוק ההולך וגדל הזה, החברה בהחלט לא מתכוונת להכתים את תדמיתה בהתבסס על כיבוד הסודיות, וכןלכן צריך לנסות להפעיל את מודל השפה הגדול שלו באופן מקומי, במיוחד באייפון.
עם זאת, דגמי שפה גדולים הם עתירי זיכרון RAM, ואפל תצטרך למצוא דרך לגרום לטכנולוגיה שלה לעבוד על הסמארטפונים שלה שאין להם כמויות גדולות של זיכרון. קופרטינו פרסם עבודה בנושא.כותרתLLM במהירות הבזק, מסמך זה מזכיר את האפשרות להשתמש באחסון הפנימי של התקנים, וזה הרבה יותר חשוב(אך לאחר מכן יהיה צורך לשמור חלק מהאחסון לשימוש זה),תוך הגבלת השימוש ב-RAM, בעיקר הודות לטכניקות שלחלונות
ושלצרור שורות-עמודות
המתואר בתוך הקובץ.
עקיפת חוסר ב-RAM
על ידי שילוב שתי השיטות הללו, אפל לא רק תוכללעקוף את בעיית המחסור בזיכרון על ידי שימוש בדגמים שתופסים מקום כפול מכמות ה-RAM הזמין, אך גם כדי להשיג עיבוד יעיל. המסמך מזכיר עיבוד מהיר פי 4 עד 5 באמצעות המעבד ופי 20 עד 25 מהיר יותר באמצעות ה-GPU מהשיטה המסורתית.
אפל יכולה אפוא להסתמך על עבודה זו כדי להציע עיבוד מקומי, ובכך לכבד את הסודיות המקודשת של נתוני המשתמשים שלה, כמו גם ביצועים משביעי רצון.נותר לראות מתי ואיך אפל תיכנס לקרב רובוטי השיחה(סוף סוף תהיה לנו סירי מוצלחת?), ובאיזו רמה הדגם שלה ישווה למתחרים
