הדור הבא: מטא משיקה מודלים מתקדמים לעריכת וידאו ומידול 3D

מטא מציגה דור חדש של כלים מתקדמים לעריכת תמונות ווידאו, עם שני חידושים מעניינים שנוספו למשפחת Segment Anything. הכלים החדשים, SAM 3 ו SAM 3D, צפויים לשנות את הדרך שבה יוצרים ויוצרות עובדים עם תמונות, וידאו ותוכן תלת מימדי.

SAM 3 מאפשר לזהות, לחתוך ולעקוב אחרי אובייקטים בתמונות ובסרטונים בעזרת הנחיות טקסט וגם בעזרת רמזים חזותיים. המשמעות היא שאפשר סוף סוף לתאר במילים מאד מדויקות מה רוצים למצוא בתמונה, והמודל יודע לסמן או לבצע מעקב בהתאם ברמה גבוהה.

מודל SAM 3 יכול להבין הנחיות מאד ספציפיות ומדויקות יותר, כמו אוטובוס בית ספר צהוב או כובע בייסבול אדום, ואף לתפוס את כל האובייקטים המתאימים בתמונה או בוידאו.

כאשר משלבים אותו עם מודלים לשוניים מתקדמים, הוא אף מסוגל להבין בקשות מורכבות בהרבה, לדוגמה אנשים שיושבים אבל לא חובשים כובע בייסבול אדום. בקיצור מטא מביאה כאן מהפכה משמעותית בתחום.

תמונה שווה יותר מאלף מילים, צפו בסרטון ההדגמה:

היכולת החדשה מבית מטא פותחת דלת לכלי עריכה מדויקים ונוחים במיוחד. במוצרי הוידאו של מטא, כמו Edits, אשר צפויים לצאת בקרוב עם אפקטים חדשים שניתן להחיל על דמויות או חפצים מסוימים בלבד. בקרוב נראה גם יכולות יצירה חדשות ב Vibes בתוך אפליקציית Meta AI.

לצד SAM 3 מטא משיקה גם את SAM 3D, מודל שמביא איתו קסם נוסף: יצירת מודלים תלת מימדיים של אנשים וחפצים מתמונה אחת בלבד. טכנולוגיה כזו יכולה לקדם חוויות חדשות בעולם התלת מימד, יצירת אביזרים דיגיטליים, דמויות, מוצרים ועוד, בלי צורך בסריקות מורכבות או חומרה מיוחדת.

שני המודלים זמינים להתנסות בפלטפורמה חדשה בשם Segment Anything Playground. במטא רואים בהם את יסודות בניית הדור הבא של כלי יצירה ומולטימדיה, כלים שיסייעו להבין את העולם החזותי בצורה נוחה ואינטואיטיבית יותר ויאפשרו שדרוג בתהליכי עריכת וידאו ותמונות ברמה שלא הייתה זמינה עד היום.