Yapay Zeka GIF'leri ve Videoları Oluşturmak için Kararlı Difüzyon Nasıl Kullanılır?


Özet: Stable Diffusion web kullanıcı arabirimini kullanarak bir animasyon yapmak için Inpaint'i kullanarak taşımak istediklerinizi maskeleyin ve ardından varyasyonlar oluşturun, ardından bunları bir GIF veya video oluşturucuya aktarın. Alternatif olarak, sıfırdan animasyonlar oluşturmak için Deforum uzantısını yükleyin.

Kararlı Difüzyon, durağan görüntülerden daha fazlasını üretme yeteneğine sahiptir. Bazı yerleşik araçlar ve özel bir uzantı ile fazla çaba harcamadan çok güzel AI videoları elde edebilirsiniz. Hareketli bir GIF veya Stable Diffusion ile gerçek bir video dosyası için karelerin nasıl oluşturulacağı aşağıda açıklanmıştır.

Kararlı Difüzyon Video Oluşturabilir mi?

Yapay zeka tarafından üretilen film hala gelişmekte olan bir alan olsa da, Stable Diffusion ile GIF veya gerçek bir video dosyası olarak bazı basit animasyonlar oluşturmak teknik olarak mümkündür. Yine de sınırlamalar var.

img2img, belirli bir görüntünün varyasyonlarını oluşturmayı kolaylaştırdığından, Stable Diffusion, özellikle döngüsel olanlar olmak üzere animasyonlar için bir grup kareyi hızlı bir şekilde oluşturmaya uygundur. Bir ateşten yükselen alevleri, bir arabanın tekerleklerini ya da bir çeşmeden sıçrayan suyu düşünün. Pratik bir kullanım, bazı RPG çizimlerine gerçeğe yakın bir ortam vermek olabilir:

Yapay görüntüler yerine gerçek görüntülere dayalı videolar bile oluşturabilirsiniz. Burada sulanan bir bitkinin fotoğrafını çektim ve birkaç tıklamayla su akışını hareketlendirdim:

Bir nesneyi A noktasından B noktasına hareket edecek şekilde canlandırmak istiyorsanız, bu, Stabil Difüzyon için uzun bir emirdir (en azından şimdilik). Büyük olasılıkla bilgi istemleri ve ayarlar üzerinde ince ayar yapmak için çok zaman harcıyor, ardından en iyi kareleri bulmak ve bunları doğru sıraya yerleştirmek için bir ton çıktı üzerinde çalışıyor olacaksınız. Bu noktada, Adobe Illustrator'ı açıp elle canlandırmaya başlayabilirsiniz.

Buna rağmen, temel bir Stable Difusion kurulumu ve bir animasyonda kareleri birleştirmek için seçtiğiniz başka bir araçla harika, basit animasyonlar oluşturabilirsiniz. Oldukça ilginç görünen dönüştürme animasyonları oluşturmak için Kararlı Difüzyon kullanan Deforum adlı bir proje de var. Bir MP4 videosu çıkarır, bu nedenle hiçbir harici araç gerekmez ve hatta ses eklemenize bile izin verir. Size her iki yöntemin de temellerini göstereceğiz.

Inpaint Kullanarak Bir Görüntüyü Canlandırın

Inpaint img2img aracını kullanarak, bir görüntünün canlandırmak istediğiniz bölümünü vurgulayabilir ve bunun çeşitli varyasyonlarını oluşturabilirsiniz. Ardından bunları bir GIF veya video oluşturucuya bırakacak ve kareleri bir animasyon olarak kaydedeceksiniz.

1. Adım: Bir Görüntü ve İstemi Alın

Canlandırmak istediğiniz bir görüntüyü img2img aracının Inpaint sekmesine bırakarak başlayın. Halihazırda oluşturulmuş bir fotoğrafınız yoksa, iyi bir başlangıç fotoğrafı elde etmek için iyi bir komut istemi yazmak için biraz zaman ayırın. Fotoğrafını çektiğiniz veya kendi çizdiğiniz bir görüntüyü de içe aktarabilirsiniz.

Stable Diffusion ile oluşturmadığınız bir görüntüyü içe aktarıyorsanız, varyasyonları oluşturmak için yine de uygun bir isteme ihtiyacınız olacak, bu nedenle Img2Img sayfasının üst kısmındaki CLIP'i Sorgula seçeneğine tıklayın. Bu, Stable Diffusion düşündüğü görüntünüzün içeriğine dayalı olarak bir başlangıç istemi oluşturur. Diğer önemli ayrıntıları ekleyerek istemi tamamlayın.

Rehberimiz için, kayan yıldızlar ve geçen galaksiler ile hızlandırılmış bir tür animasyon vermek istediğimiz bir gece gökyüzünün altında bir robotun 512×512 görüntüsünü oluşturduk.

Kesin olarak takip etmek istiyorsanız, kullandığımız komut istemiyle yeniden oluşturabilirsiniz:

a robot stands in a field looking up at the night sky during a meteor shower, shooting stars, galaxies, the cosmos, milky way, ultra realistic, highly detailed, 4k uhd

Bunlar da kullandığımız ayarlar:

Kontrol Noktası: Kararlı Difüzyon 2.0 Örnekleme Yöntemi: DPM++ SDE Örnekleme Adımları: 20 CFG Ölçeği: 5 Tohum: 4177542269

2. Adım: InPaint ile Canlandırmak İçin Parçaları Maskeleyin

Görüntünüz ve komut isteminiz yerindeyken, Inpaint aracında, görüntünün canlandırmak istediğiniz her bölümünü maskelemek (örtbas etmek) için boya fırçasını kullanın. Statik olmasını istediğiniz her şeyi açıkta bırakın.

Örneğimizde, gökyüzünün çoğunu kaplıyoruz. Robotun etrafına biraz yastık bıraktık çünkü testimizde çok yaklaşırsak Stable Difusion bazen robota antenler ve diğer uzantılar eklerdi.

3. Adım: Çerçevelerinizi Oluşturun

Görüntünüzün hareket ettiğini görmek istediğiniz her parçasını maskelediğinize göre artık animasyonumuzun karelerini oluşturma zamanı. Ama önce, img2img'nin doğru ayarlara sahip olduğundan emin olmak isteyeceksiniz. Kafa karıştırıcı olabilirler, bu yüzden bazılarının ne anlama geldiğini ve neden onları değiştirmek isteyip istemediğinizi açıklayacağız:

  • Maske Modu: Inpaint Masked – Bu, kapsanan her şeyin değişmesini sağlar, tersi olmaz. Herhangi bir nedenle bunun yerine maskesiz kısmı değiştirmek isterseniz, bunu Maskelenmemiş İç Boyama olarak değiştirin.
  • Maskelenmiş İçerik: Orijinal – Bu, Stabil Difüzyon'un varyasyon oluştururken mevcut görüntüyü görmesini ve dikkate almasını sağlar. Aksi takdirde, maskelenmiş içeriği boş veya rastgele bir tuval olarak kabul eder.
  • İç Boyama Alanı: Tüm Resim – Bu, Stable Difüzyon'u orijinal görüntüyle bütünleştirmeden önce her kare için tamamen yeni bir görüntü oluşturmaya zorlar. Yalnızca Maskeliye geçmek, oluşturmayı hızlandırabilir ancak size daha kötü sonuçlar da verebilir.
  • Örnekleme Yöntemi: DPM++ SDE – Bu, orijinal görüntümüzü oluşturmak için kullandığımız örnekleme yönteminin aynısıdır ve tutarlı bir görünüm sağlamak için buna bağlı kalıyoruz. Ne kullanacağınızı bilmiyorsanız Euler a her açıdan iyi bir seçimdir.
  • Toplu Sayı: 60 – Bu, oluşturmak istediğiniz görüntü sayısıdır. Animasyon dizinizin ne kadar hızlı ve ne kadar uzun olmasını istediğinize bağlı olarak daha fazla veya daha azına ihtiyacınız olabilir.
  • CFG Ölçeği: 5 – CFG ölçeği, bir anlamda, Kararlı Difüzyonun ne kadar yaratıcı özgürlüğe sahip olduğunu belirler. Sayı ne kadar yüksek olursa, Kararlı Difüzyon isteminizi o kadar sıkı takip etmeye çalışacaktır. Arttırmak ve iyi sonuçlar almak, çok iyi bir bilgi istemine sahip olmayı gerektirir.
  • Gürültü Giderme Gücü: 0,3 – Bu proje için muhtemelen en önemli ayar olan gürültü giderme ölçeği, Kararlı Difüzyonun orijinal görüntüyü ne kadar değiştireceğini belirler. Kareden kareye çok fazla değişiklik animasyonu mahvedebileceğinden muhtemelen 0,2 veya 0,3 civarında tutmak istersiniz.
  • Tohum: -1 – Bu, Stable Difüzyon'a rastgele bir tohumla başlamasını söyler. Alacağınız varyasyon miktarını (varsa) azalttığı için, orijinal görselinizin çekirdeğini yeniden kullanmanızı önermiyoruz.

Tüm ayarlarınız yerindeyken, Oluşturu tıklayın ve Stable Diffusion sizin için animasyon karelerinizi çizerken arkanıza yaslanın. Bunları Kararlı Yayılma dizininizin /outputs/img2img-images klasöründe bulacaksınız. Sonuçları beğenmediyseniz, ayarları değiştirin (muhtemelen gürültü giderme ve örnekleme adımlarıyla başlayarak) ve tekrar deneyin.

4. Adım: Çerçevelerinizi Toplu Olarak Yükseltin (İsteğe Bağlı)

Yüksek tanımlı bir video oluşturmayı planlıyorsanız, yeni oluşturulan tüm karelerinizi istediğiniz çözünürlüğe yükseltmeyi unutmayın. Başlamak için Ekstralara Gönderi tıklayın.

Ekstralar içinde, Toplu İşlem sekmesine geçin.

Yeniden Boyutlandır ölçeğini yeniden boyutlandırmak istediğiniz sayıya ayarlayın (2'ye ayarlamak 512×512 görüntüyü 1024×1024 görüntüye değiştirir). Alternatif olarak, Ölçekleme ölçütünden Şuna ölçeklemeye geçin ve belirli bir çözünürlük ayarlayın. Ayrıca “Upscaler 1” öğesini seçtiğiniz upscaler'a ayarlayın. R-ESRGAN 4x+ ile yeterince iyi sonuçlar elde ettik, ancak resimlerinizi en iyi hangisinin işlediğini görmek için denemekten çekinmeyin.

Ardından Oluştur düğmesine basın ve Stable Difüzyon size her karenin /outputs/extras klasörünüze kaydedilmiş daha yüksek çözünürlüklü bir sürümünü verecektir.

5. Adım: Bir GIF veya Video Oluşturucuda Kareleri Hareketlendirin

Artık karelerinizi aldığınıza göre, hepsini bir araya getirme ve son animasyonunuzu oluşturma zamanı. Ezgif ve flixier gibi kullanımı kolay ve birçok ince ayar kontrolüne sahip ücretsiz özel web siteleri de dahil olmak üzere bunu yapabileceğiniz birçok araç vardır. Ancak, bu web sitelerinin yüklediğiniz her şeyi görebildiğini unutmayın, bu nedenle onlara, dünyanın bilmesinden rahatsız olduğunuz hiçbir şey vermeyin.

Bu web siteleri oldukça açıklayıcı olsa da, bir GIF oluşturmak için ücretsiz bir çevrimdışı fotoğraf düzenleme aracı olan GIMP'yi nasıl kullandığınızı göstereceğiz. Bir video dosyası istiyorsanız, bunun yerine Kdenlive veya benzeri bir video düzenleyici kullanın; yalnızca, istediğiniz saniyede kaç kareye bağlı olarak tüm karelerinizin bir saniye veya daha kısa klipler olarak içe aktarılacağı şekilde ayarları ince ayar yaptığınızdan emin olun.

Başlamak için GIMP'yi indirin ve henüz yapmadıysanız bilgisayarınıza kurun. Başlatın, ardından Dosya > Katman Olarak Aç'a gidin.

Oluşturduğunuz çerçevelerin nerede olduğunu bulun ve Açı tıklamadan önce hepsini birden seçin. (Hızlı bir şekilde birden fazla dosya seçmek için Shift tuşunu basılı tutun.) GIMP, tüm resimlerinizi tek bir tuval üzerinde ayrı bir katman olarak içe aktaracaktır. Bunu istiyoruz çünkü GIMP'nin GIF oluşturma yöntemi, her katmanı aşağıdan yukarıya doğru geçmek ve her ardışık katmanı animasyondaki bir sonraki kare olarak ele almaktır.

Şimdi eğlenceli kısım. GIF'inizin önizlemesini izlemek için Filtreler > Animasyon > Oynatma'ya gidin.

GIF'i oynatmak ve duraklatmak için boşluk çubuğuna basın. Çerçeveler çok hızlı veya yavaş geçiyorsa, oynatma iletişim kutusunun alt kısmındaki FPS'yi ayarlayın ve önizlemeyi yeni kare hızıyla yeniden yüklemek için üst kısımdaki yenile düğmesine tıklayın.

Animasyon size iyi göründüğünde, GIF dosyasını oluşturma zamanı. Önizlemeyi kapatın ve Dosya > Farklı Dışa Aktar'ı tıklayın. Dosya kaydetme adını yazdığınızda, GIMP'nin bir GIF istediğinizi anlaması için .gif uzantısını sonuna ekleyin.

Görünen GIF dışa aktarma iletişim kutusunda, “Animasyon Olarak” kutusunun işaretli olduğundan emin olun. Farklı bir kare hızı istiyorsanız, kareler arasındaki milisaniye sayısını da ayarlayın. Saniyede 1000 milisaniye vardır, bu yüzden 100 size yaklaşık 10 FPS verir. Son olarak, Dışa Aktarı tıklayın.

Boom, animasyonlu GIF'inizin tamamına sahipsiniz.

Deforum Kullanarak Video Oluşturun

Stable Diffusion ile daha ilginç animasyonlar oluşturmak ve üzerinde çalışmanız için yalnızca bir grup kare yerine video dosyaları çıktısını almak istiyorsanız, Deforum'u kullanın. Bu, sesle bile MP4 video dosyalarını yönetmenizi ve oluşturmanızı sağlayan, Stable Diffusion web kullanıcı arabirimi için mevcut bir uzantıya sahip bir görüntü sentezi projesidir. Kamera kaydırma ve yakınlaştırma, birden çok komut istemi ve video içe aktarma dahil olmak üzere denenecek birçok ayara sahip çok güçlü ve karmaşık bir araçtır.

Amaçlarımız doğrultusunda, sizi oldukça basit ama ilginç bir animasyon oluşturmanın temelleriyle tanıştıracağız.

1. Adım: Deforum Uzantısını Kurun

Deforum uzantısını edinmek için bir komut istemi açın ve dizinleri stable-diffusion-web-ui klasörünüze değiştirin. Ardından, uzantılar klasörü kullanımınıza Deforum'u yüklemek için bu git clone komutunu kullanın.

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

Stable Diffusion web kullanıcı arayüzünü normal şekilde başlatın ve artık arayüzünüzde bulunan Deforum sekmesini açın.

2. Adım: İstemlerinizi Yazın

Stable Diffusion ile bireysel bilgi istemleri yazmaya alışık olabilirsiniz, ancak Deforum, planlanmış birden çok istem yazmanıza izin verir, yani animasyonda seçtiğiniz herhangi bir noktada, programdaki bir sonraki istem.

İstemler sekmesine tıklayın ve parantez ve sekme yapısını yerinde tutarak mevcut istemleri istediğiniz şekilde değiştirin. Örneğimiz için, şu istem dizisini kullanacağız:

{
    "0": "a robot stands under the night sky during a meteor shower, shooting stars, galaxies, the cosmos, milky way, ultra realistic, highly detailed, 4k uhd",
    "40": "a space station flies through space during a meteor shower, ultra realistic, highly detailed",
    "80": "a supernova explodes, vibrant colors, ultra realistic, highly detailed"
}

Peki bu sayılar ne anlama geliyor? Deforum varsayılan olarak animasyonunuz için 120 kare oluşturur ve biz bu kare grubunu üç parçaya ayırıyoruz. 0 ilk kareyi belirtir, dolayısıyla o ve ondan sonraki tüm kareler ilk istemin im2img varyasyonları olacaktır. Ardından, 40. karede, Stable Difusion, ikinci istemimize göre varyasyonlar yapmaya başlayacaktır. 80'de üçüncüye geçer. Anahtar Kareler sekmesinde istediğiniz kadar bilgi istemi değişikliği ekleyebilir ve maksimum kare sınırını gerektiği gibi ayarlayabilirsiniz.

3. Adım: Deforum Ayarlarını Düzenleyin

Muhtemelen Deforum'da tonlarca ayar olduğunu fark etmişsinizdir, ancak başlamanız için birkaçını gözden geçireceğiz. İlk olarak, Çalıştır sekmesinde, tipik Kararlı Difüzyon ayarlarınızın çoğunu bulacaksınız. Partiyi yeniden adlandırın, başlamak istediğiniz çekirdeği girin (robotumuz için olanı yeniden kullanıyoruz) ve örnekleyiciyi istediğiniz tohumla değiştirin.

Anahtar Kareler sekmesinde, animasyon için kameranın hareketini ayarlayabilirsiniz. Varsayılan olarak aralıklarla yakınlaştıracak şekilde ayarlanmıştır, ancak dikey bir kaydırma hareketi eklemek istiyoruz, bu nedenle Çeviri Y'ye 0:(-2), 100:(4) ekleyeceğiz. çerçeve. Bu, Deforum'a ilk kareyi Y ekseni üzerinde piksel -2'deymiş gibi ele almasını, ardından kare 100'de piksel 4'e geçmesini söyler. Bu, animasyon ilerledikçe bize hafif bir yukarı kaydırma sağlayacaktır.

Çıktı sekmesinde, MPEG video dosyasına ek olarak bize bir GIF dosyası verecek olan “GIF Yap” kutusunu işaretleyeceğiz. Burası aynı zamanda, eğer varsa, “Film Müziği Ekle” ve “Film Müziği Yolu” ayarlarıyla ses ekleyeceğiniz yerdir.

4. Adım: Videonuzu Oluşturun

Son olarak, o büyük Oluştur düğmesine basın. Deforum birçok kare oluşturup birleştirdiğinden, bu zaman alacaktır, bu yüzden beklerken biraz kahve alın. Tamamlandığında, /outputs/img2img-images dizininizde MPEG dosyasını, GIF sürümünü, artı her bir kareyi ve toplu iş adı altında kullandığınız ayarların bir okumasını bulacaksınız.

İstemimizin bize kazandırdığı şey şu:

Gişe rekorları kıran bir yaz filmi değil ama yine de büyüleyici! Ayarlayabileceğiniz diğer tüm düğmeler ve kadranlar hakkında bilgi edinmek için resmi Deforum hızlı başlangıç kılavuzuna göz atın.

Başka harika yapay zeka projeleri arıyorsanız, Stable Diffusion ile Minecraft doku paketlerini nasıl oluşturacağınızı öğrenin veya ChatGPT'ye başlayın ve ayrıca ChatGPT ile yapabileceğiniz şaşırtıcı şeyleri yapın.