המירוץ אחר AI נמשך וההתקדמות לפעמים מהירה מאוד. בזירה זו, סטארט-אפ צרפתי יוצא מהמערכה וכבר מתחרה במודלים של שחקנים מרכזיים בשוק.
הכל זז מהר מאוד בעולם הבינה המלאכותית, לפחות כשהאנשים הנכונים עובדים יחד. שופט יותר,הסטארט-אפ Mistral AI הוקם במאי האחרון על ידי שלושה בוגרים מפוליטכניקה ו-Ecole Normale Superieure והודיע זה עתה ב-10 בדצמבר כי גייסה כ-385 מיליון יורו, להערכת שווי שכבר הגיעה לכמעט 2 מיליארד יורו!לכן חד קרן צרפתי חדש ראה את אור היום. לדברי ארתור מנש, מנהל המשרד:
מאז הקמתה של Mistral AI במאי, עקבנו אחר שאיפה ברורה: ליצור אלוף אירופה עם ייעוד עולמי בבינה מלאכותית.
ארתור מנש, לאחר שעבד ב-DeepMind, חטיבת הבינה המלאכותית של גוגל, אינו לבד מכיוון שהוא נתמך על ידי שני מייסדים מוכשרים נוספים, Timothée Lacroix, חוקר לשעבר ב-Meta, וגיום לממפל, אחד היוצרים של מודל ה-LLama של Meta וכן צוות של 22 עובדים. בין התומכים של Mistral AI, יש הרבה אנשים, כולל Xavier Neil, אריק שמידט, Nvidia, BNP Paribas, ואפילו CMA CGM.
דגם המסוגל להתחרות ב-GPT-3.5
דגם Mixtral 8x7B, המתקדם ביותר מבין הסטארט-אפים, הואדגם פתוחMoE
עבור Mixture of Experts, מערכת שמפיצה נתונים לרשתות עצביות מיוחדות, בניגוד לתאומים הגוגללְדוּגמָה. התבנית פועלת בצרפתית, גרמנית, ספרדית, איטלקית ואנגלית. ויכול לפעול באופן מקומי על Mac M1.
Mixtral הוא MoE. זהו מודל מפענח בלבד שבו בלוק המשוב בוחר מתוך קבוצה של 8 קבוצות נפרדות של פרמטרים. בכל שכבה, עבור כל אסימון, רשת נתבים בוחרת שתיים מהקבוצות הללו ("המומחים") כדי לעבד את האסימון ולשלב את הפלטים שלהם באופן נוסף.
טכניקה זו מגדילה את מספר הפרמטרים במודל תוך שליטה בעלות והשהייה מכיוון שהמודל משתמש רק בחלק מהפרמטר הכולל שנקבע לכל אסימון. באופן קונקרטי, ל- Mixtral יש 46.7 מיליארד פרמטרים בסך הכל, אך משתמשת רק ב-12.9 מיליארד פרמטרים לכל אסימון. לכן הוא מעבד קלט ומייצר פלט באותה מהירות ובאותה עלות כמו דגם 12.9B.
Mistral 8x7B כבר נראה יעיל מאוד למרות גילו הצעיר, וכפי שניתן לראות מהטבלה למעלה, מתחרה ב-LLama 2.70B של Meta וב-GPT-3.5 של OpenAI בכמה מדדים. הסטארט-אפ שיצטרך להתחשב בו מתכוון להתקדם מאוד בחודשים הקרובים ולהציע במהירות הצעה מסחרית.
אנו מחויבים לשחרר את הדגמים הפתוחים היעילים ביותר לצד פיתוח ההיצע המסחרי שלנו. אנו נציע מודלים קנייניים המותאמים לפריסת ענן פרטי מקומי/וירטואלי. אנו עובדים באופן פעיל על פתרונות מתארחים ופריסה ייעודית לעסקים.
אנחנו כבר מאמנים דגמים הרבה יותר גדולים ומתקדמים לעבר ארכיטקטורות חדשות.
