AudioCraft terdiri atas tiga model yaitu MusicGen yang dapat membuat musik, AudioGen yang menghasilkan efek suara, dan EnCodec sebagai dekoder AI generatif.
Model MusicGen dilatih menggunakan 400 ribu rekaman musik bersama dengan teks deskripsi dan metadata. Meta menyebutkan memiliki koleksi musik dengan total durasi 20 ribu jam yang dilisensikan khusus untuk melatih MusicGen.
“Dengan lebih banyak kontrol, kami rasa MusicGen dapat berubah menjadi jenis instrumen baru – seperti synthesizer ketika pertama kali muncul,” kata Meta.
Untuk menggunakan MusicGen pengguna hanya perlu memasukkan deskripsi tentang instrumen yang ingin dihasilkan contohnya “instrumen jazz, tempo menengah, piano bersemangat” atau “musik elektronik 80-an dengan ketukan drum”.
Sedangkan AudioGen dilatih menggunakan efek suara yang umum digunakan dan mampu menghasilkan berbagai suara seperti gonggongan anjing, bunyi klakson mobil, atau suara langkah kaki di lantai kayu.
Terakhir, Meta menghadirkan versi terbaru EnCodec yang dapat menghasilkan musik dengan kualitas tinggi menggunakan komponen yang lebih sedikit.
Raksasa teknologi itu meluncurkan AudioCraft sebagai model open-source agar dapat dimanfaatkan oleh peneliti dan praktisi untuk melatih model mereka menggunakan dataset yang dimilikinya serta memajukan ranah pembuatan musik dan audio menggunakan AI.
Meskipun terlihat canggih, Meta mengakui bahwa kumpulan data yang digunakan untuk melatih model AudioCraft masih kurang beragam khususnya pada kumpulan data musik.
Sebagian besar data yang digunakan untuk melatih MusicGen adalah musik bergaya barat. Selain itu, teks dan metadata yang digunakan terbatas hanya dalam bahasa Inggris.
“Dengan membagikan kode untuk AudioCraft, kami berharap peneliti lain dapat lebih mudah menguji pendekatan baru untuk membatasi atau menghilangkan potensi bias dan penyalahgunaan model generatif,” ujar perusahaan pimpinan Mark Zuckerberg itu.
Penerjemah: Farhan Arda Nugraha
Editor: Siti Zulaikha
COPYRIGHT © ANTARA 2023
