מודלי שפה גדולים (LLMs) הם אבני היסוד של כמה מיישומי ה-AI הבולטים ביותר בתקופה האחרונה. אבל גודלם ומאפייני היישום שלהם מהווים חסמים עבור ארגונים, שמתקשים לשלב אותם בפעילות השוטפת באופן יעיל וחסכוני.
לאור כך, פעלה אנבידיה (NVIDIA) בשיתוף פעולה עם שורה של חברות בולטות בתחום, בהן מטא, Grammarly, Deci, Cohere ואחרות, על מנת להאיץ ולייעל את תהליך ההסקה (Inference) של מודלי שפה גדולים (LLMs), וזאת באמצעות חבילת תוכנה חדשה בקוד פתוח בשם NVIDIA TensorRT-LLM, שתשוחרר בשבועות הקרובים.
חבילת התוכנה NVIDIA TensorRT-LLM תאפשר למפתחים להתנסות במודלי שפה חדשים, להגיע לאופטימיזציה ביישום שלהם ולהתאים אותם לצרכים הספציפיים של הארגון, גם ללא ידע נרחב בשפות כגון ++C או NVIDIA CUDA. כך למשל, בעוד עד עתה היה ה-NVIDIA H100 GPU מהיר פי ארבע ממעבדי A100 בביצועי Inference, השימוש ב-TensorRT-LLM, מביא לשיפור כפול של פי שמונה בהשוואה ל-A100. דוגמה נוספת היא שימוש במודל השפה הפופולרי LLAMA 2 של מטא, ומשמש ארגונים רבים לשילוב יכולות בינה מלאכותית יוצרת בפעילותם. הוספת TensorRT-LLM האיצה את שלב ההסקה בשימוש במודל פי 4.6 לעומת הרצה על מעבדי NVIDIA A100 – כל זאת באמצעות אופטימיזציה ברמת התוכנה בלבד. חדשות טכנולוגיה TechZ.co.il
NVIDIA AI Summit
כזכור הודיעה לאחרונה אנבידיה על כנס הטכנולוגיה והמפתחים NVIDIA AI Summit שיתקיים באקספו תל אביב ב-15-16 באוקטובר. את הכנס יפתח מנכ"ל ומייסד אנבידיה, ג'נסן הואנג, שיגיע לביקור מיוחד בישראל לכבוד הכנס.
במסגרת כנס NVIDIA AI Summit, בו צפויים להשתתף למעלה מ-2,500 מפתחים, סטארט-אפים ובכירי תעשיית ההייטק הישראלית, יציג הואנג שורת חידושים ופריצות דרך בתחום הבינה המלאכותית היוצרת (Generative AI). כמו כן, תתקיים בכנס תערוכה שתספק הצצה לטכנולוגיות אנבידיה ושותפותיה, וכן לפיתוחיהם של עשרות סטארט-אפים מתוכנית NVIDIA Inception.
אנבידיה – מאז הקמתה בשנת 1993, אנבידיה (NASDAQ:NVDA) הייתה חלוצה בתחום המחשוב המואץ. המצאת המעבד הגרפי (GPU) על ידי החברה ב-1999 הזניקה את הצמיחה של שוק הגיימינג העולמי, הגדירה מחדש את הגרפיקה הממוחשבת, הציתה את עידן הבינה המלאכותית המודרני ומניעה קדימה את הדיגיטציה התעשייתית בכל השווקים. אנבידיה היא כיום חברת פלטפורמות מחשוב מקצה לקצה, עם פתרונות בקנה מידה של מרכזי נתונים, המעצבים מחדש את התעשייה.
לעוד מידע על טכנולוגיה , בינה מלאכותית וסקירות גאדג'טים , עקבו אחרינו באתר חדשות טכנולוגיה TechZ.co.il
