SingSong: חוקרי בינה מלאכותית של גוגל מוצאים דרך ליצור מוזיקה לליווי שירה קלט
בקיצור
המערכת החדשה בשם SingSong משתמשת בעומק מודל למידה לייצר מוזיקה יותר מסונכרנת עם השירה מאשר מערכות קיימות.
החוקרים אומרים שהמערכת יכולה לשמש ליצירת רצועות קריוקי לזמרים מקצועיים או לעזור לזמרים חובבים למצוא ליווי התואם את קולם.
חוקרים בגוגל מצאו דרך להשתמש בבינה מלאכותית כדי ליצור מוזיקה התואמת לשירה. המערכת החדשה, הנקראת SingSong, משתמשת במודל למידה עמוקה כדי ליצור ליווי שמסתנכרן יותר עם השירה מאשר מערכות קיימות אחרות. החוקרים אומרים שהמערכת יכולה לשמש ליצירת רצועות קריוקי לזמרים מקצועיים או לעזור לזמרים חובבים למצוא ליווי שמתאים יותר לקולותיהם.
לשיר שיר היא מערכת שפותחה על ידי גוגל שיוצרת מוזיקה אינסטרומנטלית לליווי קולות קלט. זה עשוי לספק גם למוזיקאים וגם ללא מוזיקאים גישה חדשה ופשוטה ליצירת מוזיקה הכוללת את הקולות שלהם. מפתחים מתבססים על ההתקדמות האחרונה בהפרדת מקורות מוזיקלית והפקת אודיו כדי להשיג זאת. מפתחים משתמשים במיוחד בשיטת הפרדת מקור חדשנית כדי לבנות צמדי מקורות קוליים ואינסטרומנטליים מיושרים מתוך קורפוס עצום של הקלטות מוזיקה. לאחר מכן, מפתחים משנים AudioLM, שיטה מתקדמת להפקת אודיו ללא תנאי, כך שניתן יהיה לאמן אותה בזוגות מופרדים במקור (קולי, אינסטרומנטלי) למשימות יצירת "אודיו-אודיו" מותנות.
חוקרי בינה מלאכותית חוקרים תכונות שונות של כניסות ווקאליות, שהטובה שבהן משפרת את הביצועים הכמותיים על שירה מבודדת ב-53% בהשוואה להגדרות ברירת המחדל של AudioLM, על מנת לשפר את ההכללה של המערכת מנתוני אימון מופרדים במקור (כאשר הקוליות מכילות חפצים של אינסטרומנטלי) עד שירה מבודדת מפתחים עשויים לצפות ממשתמשים. המאזינים הפגינו העדפה ניכרת עבור כלי נגינה המיוצרים על ידי SingSong על פני אלו מקו בסיס אחזור חזק בהשוואה זוגית עם אותן קלט קול.
המערכת החדשה, לעומת זאת, משתמשת ב-a מודל למידה עמוקה שהוכשר על מערך נתונים גדול של מוזיקה. זה מאפשר למערכת לייצר ליווי המסונכרן עם הקול והתזמון של הזמר.
לצורך המחקר, ניתנים למאזינים שני מאש-אפ קולי-אינסטרומנטלי של 10 שניות שבהם הקולות (שנלקחו ממבחן MUSDB18) זהים בעוד שהמכשירים שונים ומגיעים ממקורות שונים (אמת קרקע, דגמי גוגל, או קווי בסיס). השאלה מבקשת מהמאזינים לבחור איזה משני השילובים הם מרגישים שהגיבוי האינסטרומנטלי מתאים יותר לשירה מבחינה מוזיקלית.
דוגמאות טריות של SingSong
על ידי שימוש בסדרה של רשתות עצביות עמוקות ו מודלים גנרטורים, מפתחים מסוגלים להפיק ליווי הרמוני ללא חביון למקטעים ארוכים יותר.
הקולות המקצועיים של מערך הנתונים MUSDB18 שימשו בדוגמאות הקודמות. אנחנו גם מסוקרנים מהיכולת של SingSong לתמוך ולאפשר לכל אחד ליצור מוזיקה עם הקול שלו. כאן, אנו בוחנים זאת באמצעות דגימות ווקאליות ממערך הנתונים של Vocadito, הכולל הקלטות של זמרים חובבים שנעשו על מוצרי אלקטרוניקה.
המערכת עדיין בשלבי פיתוח מוקדמים. בעוד החוקרים טוענים כי יהיה צורך לשפר אותו לפני שניתן יהיה להשתמש בו מסחרית, הם מאמינים שיש לו פוטנציאל לחולל מהפכה בתעשיית הקריוקי ולעזור לזמרים חובבים למצוא ליווי שעובד היטב עבורם.
קרא עוד מאמרים קשורים:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
