Mirello, menarik investasi sebesar 59,1 miliar… Menggunakan AI untuk menambahkan suara drum pada video yang dibisukan

Sumber: TokenPost Judul Asli: 미렐로, 591억 투자 유치…AI로 음소거 영상에 드럼 소리 입힌다 Tautan Asli: Startup AI pembuatan audio berbasis Jerman, Mirelo(Mirelo) baru-baru ini menarik dana sebesar 41 juta dolar(sekitar 591 milyar rupiah) dalam putaran pendanaan benih dan menarik perhatian. Index Ventures dan Andreessen Horowitz memimpin bersama, serta Atlantic Ventures dan TriplePoint Capital turut mendukung pendanaan.

Mirelo berfokus pada fitur pembuatan audio yang sesuai dengan video, dan model unggulannya, ‘SFX 1.5’, telah berhasil mengenali adegan drum dalam video yang dibisukan dan secara akurat menghasilkan suara seperti suara drum nyata. Menurut penilaian dari juri eksternal independen, model ini menunjukkan kinerja yang jauh lebih baik dibandingkan model pembuatan audio komersial yang ada. Khususnya, mampu mengurangi kebisingan yang tidak diinginkan dan menyesuaikan sinkronisasi suara dan gambar secara tepat bahkan dalam video yang bergerak cepat, sehingga menunjukkan keunggulan kompetitif yang berbeda.

Model ini tersedia melalui aplikasi ‘Mirelo Studio’, yang dapat diakses oleh pengguna umum maupun melalui API. Pengguna dapat menghasilkan berbagai versi audio melalui prompt teks dan memilih hasil terbaik untuk diedit lebih lanjut. Platform ini dirancang agar para non-teknisi juga dapat dengan mudah mengakses pembuatan audio berbasis AI.

Berdasarkan investasi ini, Mirelo memulai pengembangan model generasi berikutnya yang melampaui SFX 1.5. Algoritma baru ini diharapkan dapat memperkuat konsistensi dan konektivitas alami antar audio, serta bertujuan untuk ekspansi ke bidang pembuatan konten berkualitas tinggi seperti film dan permainan video.

Perusahaan juga menggunakan klaster GPU berkinerja tinggi berbasis Nvidia H100 dan H200 untuk melatih model, yang dioperasikan melalui sistem distribusi Slurm(Slurm). Kerangka kerja AI mereka mengadopsi PyTorch(PyTorch) dari Meta, dan secara aktif memanfaatkan fitur FSDP(Fully Sharded Data Parallel) yang dioptimalkan untuk pelatihan model besar secara terdistribusi.

Saat ini, Mirelo merekrut peneliti AI yang ahli dalam struktur diffusion(diffusion) dan autoregressive(autoregressive). Khususnya, autoregressive termasuk arsitektur transformer, yang menjadi teknologi kunci dalam pengembangan AI audio tidak hanya untuk bahasa tetapi juga untuk pembuatan musik dan audio lainnya.

Mirelo berencana memperkuat tim riset, memperluas diversifikasi produk, dan mempercepat ekspansi ke pasar global, guna memperkuat posisi terdepan di pasar AI pembuatan audio.