Koreanisch-STT im Realitätscheck: Naver CLOVA vs ElevenLabs Scribe, dasselbe Audio 24-mal transkribiert

Wir haben dieselben 8 koreanischen Audios durch Navers CLOVA Speech Recognition (CSR) sowie ElevenLabs Scribe v1 und v2 geschickt und die Zeichenfehlerrate (CER) gemessen. Bei reinem Koreanisch praktisch Gleichstand, beim Englisch-Mix ein Unterschied um Faktor 4. Rohdaten offengelegt.

Hallo, hier ist Sonetho. ⚡

 

"Für Koreanisch ist die Spracherkennung von Naver doch besser, oder?"
Das hört man ständig, aber kaum jemand hat es wirklich nachgemessen.
Also haben wir selbst gemessen.
Dieselben 8 koreanischen Audios gingen in drei Engines, abgeglichen Zeichen für Zeichen mit dem Originalskript.

 

📊 Ergebnisse im Überblick (Zeichenfehlerrate CER, niedriger ist besser)

KategorieCLOVA CSRScribe v1Scribe v2
Emotionale Dialoge3.2%1.1%1.1%
Vorlesen im Nachrichtenstil0~0.8%0~0.8%0~0.8%
Mix aus Englisch und Zahlen36.9~37.7%8.5~13.8%8.5~20.8%
Konsistenz bei langen Texten1.7~7.3%0%0%
Durchschnitt11.4%3.2%4.0%

 

Zuerst ein Wort zugunsten von CLOVA.
Bei reinem Koreanisch liefert auch CSR praktisch die volle Punktzahl.
Beim Vorlesen im Nachrichtenstil lagen alle drei Engines gleichauf im 0%-Bereich.
Wer nur dieses Szenario braucht, kann jede der drei nehmen.

 

💥 Entschieden wurde das Duell beim Englisch-Mix

Sobald Markennamen und Zahlen in koreanischen Sätzen auftauchen, geht die Schere weit auf.
Hier einige echte CSR-Ausgaben, unverändert übernommen.

 

SollAusgabe von CLOVA CSR
ChatGPT"채취 pt" (sinnfreie koreanische Silben plus "pt")
Gemini"나재민이", "개 미니" (klingt wie ein koreanischer Name; "Mini-Hund")
일레븐랩스 (ElevenLabs auf Koreanisch)"11 x"
약 15달러 수준 ("etwa 15 Dollar" auf Koreanisch)"약 시부터 여수 중" (sinnfreie koreanische Wortfolge)

 

Bei YouTube-Untertiteln, IT-Content oder heutigen Meeting-Protokollen mit eingestreutem Englisch wird genau dieser Unterschied direkt zu Korrekturaufwand.
Scribe hat in denselben Passagen ChatGPT, Gemini und API komplett originalgetreu erhalten.

 

🧐 Auch Scribe war nicht perfekt

Der Ehrlichkeit halber legen wir auch die Fehler von Scribe offen.
Bei Eigennamen, die es zum ersten Mal sieht, schwächelt es.
Aus "sonetho.com" wurde "sonto.com", und in einem Sample verstand es "11 Dollar" als "1 Dollar".
Wenn Zahlen direkt Geld bedeuten, ist die Prüfung bei jeder Engine Pflicht.

 

Auch der Unterschied zwischen v1 und v2 war spannend.
v2 normalisiert die Schreibweise von sich aus: aus "22 Dollar" wird "$22".
In unserer Bewertung (CER) zählt das als Fehler, inhaltlich ist die Ausgabe aber korrekt.
Wer die wörtliche Form braucht, nimmt v1; wer gut lesbare Untertitel und Dokumente will, nimmt v2.
v2 gibt es auch als Echtzeit-Streaming-Version.

 

💰 Was kostet das Ganze?

ElevenLabs Scribe: $0.22 pro Stunde (im Batch-Modus).
Schon der Gratis-Plan enthält 4.5 Stunden pro Monat.
Der Starter für $6 bringt 27 Stunden mit, der Creator für $22 sogar 100 Stunden, damit sind die meisten privaten Projekte im Plan abgedeckt.

 

CLOVA Speech Recognition (CSR): nutzungsbasierte Abrechnung, aufgerundet in 15-Sekunden-Blöcken.
Den genauen Preis zeigt der Kostenrechner von Naver Cloud.
Wichtig: CSR ist eine API für kurze Sprachaufnahmen mit einem 60-Sekunden-Limit.
Für lange Aufnahmen und Sprechertrennung braucht es das separate Produkt CLOVA Speech.

 

🤔 Was soll ich also nehmen?

CLOVA CSR passt, wenn
kurze, fast rein koreanische Sprachaufnahmen verarbeitet werden.
das Projekt eine Cloud-Infrastruktur in Korea vorschreibt.
das Team ohnehin schon im Naver-Cloud-Ökosystem arbeitet.

 

ElevenLabs Scribe passt, wenn
Untertitel oder Protokolle für Content mit Englisch-Koreanisch-Mix entstehen.
IT- oder Marketing-Audio voller Markennamen transkribiert wird.
Mit den 4.5 Gratis-Stunden lässt sich die Qualität erst einmal selbst prüfen, bevor man sich entscheidet.

 

ElevenLabs Scribe kostenlos testen →

 

🧪 Messmethode (reproduzierbar)

Skripte aus 4 Kategorien (emotionale Dialoge, Nachrichtenstil, Englisch-Zahlen-Mix, Langtext) wurden mit zwei hochwertigen TTS-Stimmen (Ara Pro von CLOVA und Hyuk von ElevenLabs) zu 8 Audios synthetisiert.
Jedes Audio lief durch alle drei Engines und wurde Zeichen für Zeichen mit dem Skript abgeglichen (CER).
Die Grenzen nennen wir ebenfalls.
Der Input ist rauschfreie TTS-Synthese, also Idealbedingungen; mit echten Sprechern oder Störgeräuschen können die Werte abweichen.
Einzelne Fehler könnten auch aus der Aussprache des TTS stammen.

 

❓ Häufige Fragen (FAQ)

Q. Welches STT ist für Koreanisch am genauesten?
In diesem Test hatte Scribe v1 mit 3.2% die niedrigste durchschnittliche Zeichenfehlerrate.
Bei rein koreanischer Standardsprache liegt aber auch CLOVA CSR gleichauf im 0%-Bereich; entscheidend ist, ob im Audio Englisch vorkommt.

 

Q. Was unterscheidet CLOVA Speech Recognition (CSR) von CLOVA Speech?
CSR ist eine API für kurze Sprachaufnahmen bis 60 Sekunden, CLOVA Speech ein separates Produkt für lange Aufnahmen inklusive Sprechertrennung.
Getestet wurde hier CSR.

 

Q. Scribe v1 oder v2?
Wenn die wörtliche Schreibweise erhalten bleiben soll, v1; wenn eine gut lesbare Ausgabe mit automatisch normalisierten Angaben wie Währungssymbolen gewünscht ist, v2.
v2 unterstützt außerdem Echtzeit-Streaming ($0.39 pro Stunde).

 

Wie sich Interview-Transkription und Sprechertrennung in der Praxis schlagen, zeigt der STT-Vergleich: ElevenLabs vs Whisper vs Deepgram.
Bis zum nächsten Artikel. Das war Sonetho. ⚡