Google, DeepMind ile şimdi de videolara fon müziği oluşturacak

Google’ın DeepMind yapay zeka laboratuvarı, görüntülere eşlik edecek müzikler ve hatta diyaloglar oluşturabilen yeni bir teknoloji üzerinde çalışıyor.

Laboratuvar, Google Veo ve OpenAI’nin Sora’sı üzere başka görüntü oluşturma araçlarıyla eşleştirilebilen görüntüden sese (V2A) teknoloji projesindeki gelişmeleri bir görüntüyle paylaştı.

DeepMind grubu, blog yazısında sistemin ham pikselleri anlayabildiğini ve ekranda olup bitenler için ses efektleri oluşturmak üzere bu bilgileri metin istemleriyle birleştirebildiğini argüman ediyor.

Yeni yapay zeka aracı sayesinde, sessiz sinemalar ve başka sessiz görüntüler üzere klasik çekimler için art plan müzikleri oluşturmak için de kullanılabilmesi mümkün görünüyor.

Yapay zekayı nasıl eğittiler?

DeepMind’ın araştırmacılarına nazaran bu yapay zeka, görüntüler, ses kayıtları ve seslerin detaylı açıklamalarını içeren açıklamalar üzerinde eğitildi. Bu sayede, yapay zeka belli sesleri görsel sahnelerle ilişkilendirmeyi öğrendi.

Yeni araçta metin istemi kullanmak isteğe bağlı olsa da, son eseri mümkün olduğunca hakikat ve gerçekçi olacak biçimde şekillendirmek ve uygunlaştırmak için kullanıcı metin üzerinden yapay zekaya müdahalede bulunabiliyor. Örneğin çıktıyı istediğiniz sesleri oluşturmaya yönlendirmek için olumlu istemler yahut istemediğiniz seslerden uzaklaştırmak için olumsuz istemler girebiliyorsunuz. Aşağıdaki görüntüde izleyeceğini örnekte grup şu ipucunu kullanmış: “Sinematik, tansiyon, endişe sineması, müzik, tansiyon, ambiyans, beton üzerindeki ayak sesleri.“

Videodaki ses efektleri şimdi çok etkileyici ve gerçekçi görünmese de bu alanda bir başlangıç olduğunu ve kısa müddette kendini geliştireceğini de unutmamak gerekiyor.