Lade Waifu Diffusion herunter und führe es aus: Das Stable Diffusion-Anime-Modell [Tutorial]

Nach der Veröffentlichung von Stable Diffusion, Waifu Diffusion entpuppte sich als eine der beliebtesten Stable Diffusion Anime-Feinabstimmungen.

Beim Feintuning wird ein Modell, das auf einem großen Datensatz trainiert wurde, auf einem Datensatz, der dich besonders interessiert, weiter trainiert.

In diesem Fall hat Waifu Diffusion v1.4 (die neueste Version) Stable Diffusion v2 genommen und eine Feinabstimmung vorgenommen, indem es 5.468.025 Anime-Text-Bild-Beispiele heruntergeladen von Danbooru, dem beliebten Anime-Imageboard.

In dieser Anleitung zeige ich dir, wie du das Animeboard herunterlädst und ausführst. Waifu Diffusion mit AUTOMATIC1111’s Stable Diffusion WebUI.

Installation

Der Installationsprozess dauert weniger als 10 Minuten, abzüglich der Downloadzeiten. Du brauchst etwa 10 GB freien Speicherplatz auf deiner Festplatte.

Bevor du mit der Installation fortfährst, sind hier die empfohlenen technischen Daten:

• 16GB RAM
• NVIDIA-Grafikprozessor (GTX 7xx oder neuer) mit mindestens 2 GB VRAM (AMD-Grafikprozessoren funktionieren auch, aber NVIDIA wird empfohlen)
• Linux oder Windows 7/8/10+ oder Mac M1/M2 (Apple Silicon)
• 10 GB Festplattenspeicher (einschließlich Modelle)

1. Lade die Modelldatei herunter

Das Modell ist alles, worauf die KI trainiert wurde und was sie erzeugen kann. Modelldateien enden auf ‚.ckpt‚, was für ‚Kontrollpunkt‘ steht.

Du kannst das neueste Waifu-Diffusionsmodell hier herunterladen:

https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/wd-1-4-anime_e2.ckpt

Lade die Datei herunter:

wd-1-4-anime_e2.ckpt

2. Lade die Web UI herunter

Dies ist die Benutzeroberfläche, die du zum Ausführen der Generationen verwenden wirst.

Die beliebteste Benutzeroberfläche für Stable Diffusion ist AUTOMATIC1111’s Stable Diffusion WebUI. Ich habe ein paar davon benutzt und ich kann sehen, warum: Die Entwickler sind blitzschnell und fügen immer wieder tolle Funktionen hinzu.

Hier sind die Installationsanweisungen für die WebUI, abhängig von deiner Plattform:

• Installation für Windows: Anleitung
• Installation für Apple Silicon (Mac M1/M2): Anleitung
• Installation für Linux: Anleitung von Joshua Kinsey

3. Platziere das Model im Web UI Ordner

Nachdem du die Dateien heruntergeladen hast, platziere sie beide im Ordner stable-diffusion-webui/models/Stable-diffusion.

Wo stable-diffusion-webui der Ordner ist, in dem sich die Web-UI befindet, die du im vorherigen Schritt heruntergeladen hast.

Da du alle zukünftigen Modelle in diesem Ordner ablegen wirst, wähle einen aussagekräftigen Namen, der dir hilft, dich daran zu erinnern, was das Modell ist.

4. Starte die Web UI

• Windows: Doppelklick auf webui-user.bat zum Starten
• Linux: ausführen webui-user.sh zum Starten
• Mac: Führe den Befehl aus ./webui.sh im Terminal aus, um zu starten

Du weißt, dass es fertig ist, wenn du die Zeile siehst Running on local URL: http://127.0.0.1:7860

Öffnen wir unseren Webbrowser und gehen wir zu dieser Adresse: http://127.0.0.1:7860

Oben findest du einen Schalter namens „Stable Diffusion Checkpoint“.

Ändere dies auf das Waifu-Diffusionsmodell, das du gerade heruntergeladen hast (wd-1-4-anime_e2.ckpt).

5. Erzeugen!

Du hast keine Ideen mehr? Sieh dir die folgenden Souffleusen an:

• Unser NovelAI Souffleur-Leitfaden. Auch wenn dieser Leitfaden für NovelAI geschrieben wurde, lassen sich die Techniken übertragen.
• P1atdevs Notion-Bibliothek (Japanisch)

Prompting-Grundlagen

• Beginne deine Prompts mit masterpiece, best quality
• Beginne in den Negativen Prompts mit den folgenden Angaben: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name
• Verwende -1 im Seed-Feld, um ihn zu randomisieren, oder gib einen Seed an, um die Konsistenz zwischen den Generationen zu gewährleisten.

Ich habe einige detaillierte Souffleurtechniken geschrieben, um deine Bildergebnisse zu verbessern. Wenn du diesen Leitfaden verwendest, ersetze {} mit (). Stabile Diffusion verwendet () und die NovelAI-Website verwendet {}.

Modelle für den nächsten Versuch

Zurzeit ist Anything V3 das beliebteste Anime-Modell. Es gibt noch ein paar andere tolle Modelle, die du ausprobieren kannst:

• OrangeMix ist eine Sammlung von Modellen, die durch das Zusammenführen anderer Modelle entstanden sind. BloodOrangeMix ist in der japanischen SD-Community ziemlich beliebt und von sehr guter Qualität.

Schau dir das an vollständige Liste der Anime-Modelle für mehr.