לופ ונצ'רספרסם את תוצאות מבחן המכוון לעוזרים דיגיטליים. כדי להשיג אותם, החוקרים שאלו שאלותSiri, Google Assistant, Alexa, etקורטנהבסמארטפון, ולאחר מכן השוו את מסקנותיהם למבחן הקודם מאפריל 2017.
נראה שסירי משתפרת עם הזמן,העוזר של אפל הבין 99% מהבקשות, וענה נכון על 78.5%.. זה טוב משמעותית מאשר במהלך המבחן באפריל 2017, שבו רק 66.1% מהתשובות היו נכונות. בעוד שלופ ונצ'רס בחנה מתודולוגיות דומות בעת בדיקת רמקולים חכמים בפברואר, החוקרים מסבירים זאתלא רלוונטי להשוות בין התוצאות כי מקרי השימוש שונים באופן משמעותי בין עוזרים דיגיטליים לרמקולים חכמים.
לופ ונצ'רסמסווג כל עוזר דיגיטלי לפי שני קריטריונים:האם הוא הבין מה נשאל?
etהאם הוא סיפק תשובה נכונה?
השאלות הגיעו מחמש קטגוריות, כולל מיקום כאיפה בית הקפה הקרוב?
, מסחראתה יכול להזמין לי פרחים?
, ניווטאיך מגיעים לתחנת הרכבת הקרובה?
, מידעמי זכה בגביע העולם בכדורגל?
, וביקוש כלליתזכיר לי להתקשר לסטיב בשעה 14:00 היום
.
השאלות נשאלו את סירי ב-aאייפוןתחת iOS 11.4, Google Assistant ב-Pixel XL, Alexa ו-Cortana ב-iOS. סירי בלטה בבקשות כלליות בכך שהגיבה נכונה. 90% מהשאלות, עולים על עוזרים אחרים בנקודה זו.
בחברות שלMountain Viewעומד בראש וכתפיים מעל הדיון, למעט בקשות כלליות. למעשה, Google Assistant ענה נכון על 85.5% מ-800 השאלות שנשאלו והבין את כולן. אלכסה ענתה נכון על 61.4% מהשאלות והבינה לא נכון 13, בעוד שקורטנה הייתה אחרונה, עם 52.4%, ולא הבינה 19 שאלות.
בין שני המבחנים, סירי שיפרה את הציון שלה ב-13%,לופ ונצ'רסמציין להיותמתרשם מהמהירות שבה הטכנולוגיה משתנה עבור רוב העוזרים
. החוקרים הסבירו אז שרבות מהבעיות שנתקלו בהן בשנה שעברה בוטלו על ידישיפורים בעיבוד שפה טבעית ובקישוריות בין מכשירים.
לבסוף, הרפתקאות לופ אומר שהוא להוט לנסותסיריב-iOS 12, עםהאפשרות לבצע אוטומציה של פונקציות מסוימות, ושהגעתו צפויה לתחילת שנת הלימודים.
