"Wow... Akaza spricht Deutsch?"
Eine unglaubliche Funktion, die Fan-Träume wahr werden lässt: Wir haben ElevenLabs' 'Dubbing Studio' selbst getestet.
Aber wussten Sie, dass auch KI Fehler macht?
Wir verraten Ihnen alles: von den essenziellen Ersteinstellungen für perfekte Synchronisation über manuelle Korrekturtipps bis hin zur „Credit-Falle“.
Hallo und herzlich willkommen im Sonetho! ⚡
Heute zeige ich Ihnen die deutsche Synchronfassung eines Trailers für [Demon Slayer: Kimetsu no Yaiba – Der Infinity Castle Arc], den ich selbst erstellt habe.
Sprecher engagieren? Ein Aufnahmestudio buchen? Von wegen! Alles nur mit KI erstellt.
📺 1. Das Ergebnis: Unglaubliche Lippensynchronität?
Die Hintergrundmusik (BGM) und die Soundeffekte wurden beibehalten, nur die japanischen Dialoge wurden durch deutsche KI-Stimmen ersetzt.
Achten Sie auf die Emotionen und die geklonten Stimmen.
Was meinen Sie? Der Dialog "Das ist eine gute Nacht..." – klingt er nicht wie ein echter Synchronsprecher? 😲
⚙️ 2. Gut geplant ist halb gewonnen! (Anleitung zu essenziellen Einstellungen)
Einfaches Hochladen eines Videos führt oft nicht zum gewünschten Ergebnis. Die Qualität und die Möglichkeit zur Nachbearbeitung hängen entscheidend von den Anfangseinstellungen ab.
🕵️♂️ Menü aufrufen und Projekt erstellen
① Spracheinstellung (Language)
- Quelle: Die Sprache des Originalvideos (z.B. Japanisch)
- Ziel: Die Sprache, in die übersetzt werden soll (z.B. Deutsch)
② Dubbing-Projekt erstellen (Unbedingt aktivieren! ⭐)
- Nur wenn Sie diese Option aktivieren, können Sie später im Editor die Dialoge bearbeiten und das Timing anpassen. (Dafür werden zusätzliche Credits verbraucht)
- Wenn Sie diese Option nicht aktivieren, erhalten Sie nur die fertige Audiodatei und können keine Bearbeitung vornehmen!
③ Anzahl der Sprecher (Number of speakers)
- Geben Sie möglichst die genaue Anzahl der im Video erscheinenden Charaktere an.
- Je genauer die Angabe, desto besser kann die KI unterscheiden: "Das ist Zenitsus Stimme, das ist Akazas Stimme."
(Bei sehr vielen Charakteren ist die Option 'Auto' aber auch in Ordnung!)
④ Stimmenklonung deaktivieren (Disable voice cloning)
- Deaktiviert (Standard): Die Originalstimme wird so genau wie möglich geklont.
- Aktiviert: Die Stimmen werden durch Standardstimmen von ElevenLabs ersetzt.
🛠️ 3. KI ist nur ein Werkzeug, der Mensch vollendet das Werk (Korrekturtipps)
Sie denken vielleicht, man lädt einfach ein Video hoch und drückt einen Knopf, und alles ist fertig? Absolut nicht.
Ich teile meine Erfahrungen mit den verblüffenden Fehlern der KI, die mir während meiner Arbeit unterlaufen sind, und wie ich sie behoben habe. Wer diese Tipps nicht beachtet, riskiert, sein Video zu ruinieren.
🕵️♂️ Vom Laborleiter selbst korrigierte Punkte
① Nenn mich bei meinem richtigen Namen! (Transkriptionsfehler)
- KI-Fehler: Der Name des Protagonisten 'Zenitsu (善逸)' wurde immer wieder als 'Zentius' transkribiert... (Ein typischer Fehler der KI-Transkription!)
- 👉 Lösung: Sie müssen ihn im Skriptfeld manuell auf 'Zenitsu' korrigieren. Prüfen Sie Eigennamen immer sorgfältig!
② Verschluckte Dialoge: Wenn die KI weghört
- KI-Fehler: Die KI verschluckt Dialoge, wenn die Hintergrundmusik zu laut ist oder Charaktere leise flüstern.
(Auch in diesem Video wurde der Dialog "Ii Yorudane (Was für eine gute Nacht)" komplett ignoriert.) - 👉 Lösung: Sie müssen auf der Zeitleiste doppelt klicken, um manuell einen Block hinzuzufügen und den Dialog einzutragen.
③ Schluss mit holprigen Übersetzungen (Lokalisierung ist Trumpf)
- KI-Übersetzung: "Es ist Partyzeit." (Klingt eher nach einem Straßenfest)
- 👉 Korrektur: "Es ist Zeit für das Bankett." (Für natürlichere Übersetzungen ist es besser, andere KIs wie ChatGPT oder Gemini anstelle der integrierten KI-Übersetzung der Website zu verwenden!)
④ Der Schlüssel zu Timing und emotionaler Ausdruckskraft (Fixed vs. Dynamic)
- Wenn Sie die Synchronisation zum ersten Mal erstellen, sind die Längen der Blöcke oft unterschiedlich und passen nicht immer perfekt zur Lippensynchronisation im Video.
- In diesem Fall können Sie die Blocklänge auf der Zeitleiste mit der Maus verlängern oder verkürzen, aber entscheidend ist die richtige Einstellung.
🎯 Dynamic Duration (Standardeinstellung)
Egal, wie sehr Sie die Blocklänge verlängern, die KI liest den Text in der ursprünglichen Geschwindigkeit vor.
Das klingt zwar natürlich, aber bei längeren, gedehnten Dialogen des Charakters fehlt es an Emotion und es wirkt zu abrupt.
🎯 Fixed Duration (Essenziell ⭐)
Nachdem Sie einen Block auf der Zeitleiste verlängert haben, passt diese Einstellung die Sprechgeschwindigkeit an die neue Dauer an.
Da der Text entsprechend der Verlängerung langsam und bedächtig gesprochen wird, ist die emotionale Ausdruckskraft wesentlich reicher und die Lippensynchronisation einfacher.
Nur durch das geschickte Mischen dieser beiden Modi bei der Bearbeitung entsteht der natürliche Klang, als ob ein echter Synchronsprecher die Rolle gesprochen hätte.
💸 4. Achtung! Die „Credit-Falle“ bei Synchronisationsprojekten
Diese Information ist wirklich Gold wert. (Meine kostbaren Credits... 😭)
⚠️ Verbleibende Credits können nicht erstattet werden!
Das Dubbing Studio weist die geschätzten Credits bereits beim Hochladen des Videos zu.
Auch wenn nach Abschluss der Arbeit, wie im Bild oben zu sehen, noch 5.352 Credits übrig sind, können diese nur innerhalb dieses spezifischen Projekts verwendet werden. Sie können sie nicht für andere Videos nutzen.
✅ Empfehlung des Laborleiters:
Laden Sie nicht von Anfang an ein komplettes, langes 10-Minuten-Video hoch.
Teilen Sie lange Videos in 1-2-minütige Abschnitte (ideal für Shorts) auf und bearbeiten Sie nur die benötigten Passagen, um die Verschwendung von Credits zu vermeiden.
🎓 Möchten Sie die Qualität Ihrer Synchronisation noch verdoppeln?
Möchten Sie über die reine Synchronisation hinausgehen und sogar die 'Atemgeräusche' und die 'Emotionen' eines Charakters perfekt klonen?
Wir haben die drei Klontechnologien von ElevenLabs (Clip vs. Track vs. IVC) verglichen und analysiert.
🚀 Werden Sie zum Synchronregisseur im eigenen Wohnzimmer!
YouTube Shorts, TikTok, Reels... heutzutage dominieren immersive Sounds die Aufrufe.
Erstellen Sie Ihre eigenen Synchronisationsinhalte ganz einfach mit ElevenLabs, ohne komplizierte Ausrüstung.
Abonnieren Sie den [Sonetho YouTube-Kanal], denn dort werden weiterhin interessante Synchronisationsbeispiele hochgeladen!
📺 YouTube-Kanal abonnieren
Wir kommen bald mit weiteren spannenden Funktionen zurück!
❓ Häufig gestellte Fragen (FAQ)
Q1. Kann ich den Dialog nach der Synchronisation bearbeiten?
A. Sie müssen beim Erstellen des Projekts die Option 'Create Dubbing project' aktivieren, um Bearbeitungen vorzunehmen.
Dies ist erforderlich, damit Sie Dialoge in der Zeitleiste anpassen und das Timing steuern können.
Falls Sie dies nicht tun, erhalten Sie nur die Ergebnisdatei und können keine Änderungen mehr vornehmen.
Beachten Sie jedoch, dass die Aktivierung dieser Option zusätzlichen Kredit verbraucht.
Q2. Wird der Ton meiner Originalstimme beibehalten?
A. In den Standardeinstellungen wird die Stimme so nah wie möglich am Original geklont.
Wenn Sie 'Disable voice cloning' wählen, wird kein Klon erstellt und stattdessen die Standardstimme von ElevenLabs verwendet.
Zudem gilt: Je genauer Sie die Anzahl der Sprecher unter 'Number of speakers' angeben, desto besser kann die KI die Sprecher unterscheiden.
Q3. Die KI hat einen Teil des Dialogs komplett ausgelassen.
A. Wenn die Hintergrundmusik zu laut ist oder ein Charakter nur flüstert, kann es vorkommen, dass Dialoge übersehen werden.
Tatsächlich ist bei diesem Arbeitsschritt auch ein ganzer Dialogabschnitt verloren gegangen.
Sie können die Zeitleiste doppelklicken, um manuell einen Block hinzuzufügen und den Text selbst einzugeben.
Fehler bei der Transkription von Eigennamen sind häufig, daher sollten Sie diese unbedingt im Skriptfenster überprüfen.
Q4. Die Lippensynchronisation wirkt etwas ungenau.
A. Verlängern Sie den Block in der Zeitleiste und verwenden Sie dann 'Fixed Duration'.
Bei der Standardeinstellung 'Dynamic Duration' wird der Text unabhängig von der Blocklänge immer im Originaltempo gesprochen.
Da 'Fixed Duration' das Sprechtempo an die gewählte Länge anpasst, wird auch die emotionale Ausdruckskraft verbessert.
Für ein natürliches Ergebnis empfiehlt es sich, beide Modi je nach Situation kombiniert zu verwenden.
Q5. Kann ich verbleibende Credits für ein anderes Video verwenden?
A. Nein, das ist nicht möglich.
Das Dubbing-Studio weist beim Hochladen eines Videos die geschätzten Credits vorab diesem speziellen Projekt zu.
Auch wenn nach Abschluss der Arbeit Credits übrig bleiben, können diese nur innerhalb dieses Projekts genutzt werden und sind nicht erstattungsfähig.
Vermeiden Sie es daher, 10-Minuten-Videos am Stück hochzuladen, und arbeiten Sie stattdessen in Abschnitten von 1 bis 2 Minuten, um Credits zu sparen.
Q6. Die Übersetzung klingt unnatürlich.
A. Es ist oft besser, das Skript mit einer anderen KI zu übersetzen und dann einzufügen, anstatt die automatische Übersetzung auf der Seite zu nutzen.
Ein Beispiel wäre, eine wörtliche Übersetzung wie 'Es ist Zeit für das Fest' in ein natürlicheres 'Es ist Zeit für das Bankett' zu ändern.
Sie können ChatGPT oder Gemini nutzen, um Sätze kontextgerecht zu verfeinern und diese dann in das Skriptfenster einfügen.
Das war das Sonetho! ⚡