Hej, det här är Sonetho. ⚡
"Koreansk taligenkänning, där är väl ändå Naver bäst?"
Det hör man ofta, men få har faktiskt mätt saken.
Så vi gjorde det själva.
Samma åtta koreanska ljudklipp kördes genom tre motorer och jämfördes tecken för tecken mot facit.
📊 Resultat i korthet (teckenfelfrekvens CER, lägre är mer träffsäkert)
| Kategori | CLOVA CSR | Scribe v1 | Scribe v2 |
|---|---|---|---|
| Känslosamma repliker | 3.2% | 1.1% | 1.1% |
| Nyhetsuppläsning | 0~0.8% | 0~0.8% | 0~0.8% |
| Engelska och siffror blandat | 36.9~37.7% | 8.5~13.8% | 8.5~20.8% |
| Konsekvens i långa texter | 1.7~7.3% | 0% | 0% |
| Genomsnitt | 11.4% | 3.2% | 4.0% |
Först ett gott ord för CLOVA.
På ren koreanska är även CSR i praktiken felfri.
I nyhetsuppläsningen låg alla tre motorer kring 0% och gick helt jämnt.
Tittar man bara på den delen spelar valet ingen roll.
💥 Avgörandet kom när engelskan blandades in
I samma stund som varumärkesnamn och siffror dök upp i de koreanska meningarna drog fältet isär.
Här är några av CSR:s faktiska utskrifter, ordagrant återgivna.
| Facit | CLOVA CSR:s utskrift |
|---|---|
| ChatGPT | "채취 pt" |
| Gemini | "나재민이", "개 미니" |
| 일레븐랩스 (ElevenLabs på koreanska) | "11 x" |
| 약 15달러 수준 ("cirka 15 dollar") | "약 시부터 여수 중" |
För YouTube-undertexter, IT-innehåll och dagens mötesprotokoll, där engelska ord ständigt smyger sig in, blir den här skillnaden ren arbetstid.
Scribe bevarade ChatGPT, Gemini och API helt intakta i samma avsnitt.
🧐 Scribe var inte heller perfekt
I ärlighetens namn redovisar vi även Scribes fel.
Motorn är svag på egennamn den aldrig har sett.
Den skrev "sonetho.com" som "sonto.com", och i ett prov hörde den "11달러" (11 dollar) som "1달러" (1 dollar).
Om siffrorna i dokumentet är direkt kopplade till pengar är korrekturläsning ett måste, oavsett motor.
Skillnaden mellan v1 och v2 var också intressant.
v2 normaliserar skrivsättet på egen hand och gör "22달러" till "$22".
I vår poängsättning (CER) räknas det som ett fel, men innebörden är helt korrekt.
Är den exakta ursprungsformen viktig väljer du v1, vill du ha lättlästa undertexter och dokument är v2 rätt val.
v2 finns dessutom i en version för strömning i realtid.
💰 Vad kostar det
ElevenLabs Scribe: $0.22 per timme (batch).
Även gratisplanen inkluderar 4,5 timmar per månad.
Starter för $6 ger 27 timmar och Creator för $22 ger 100 timmar, så de flesta egna projekt ryms gott och väl i planen.
CLOVA Speech Recognition (CSR): betalning per användning, avrundad uppåt i block om 15 sekunder.
Exakta priser hittar du i Naver Clouds priskalkylator.
Notera att CSR är ett API för korta yttranden med en gräns på 60 sekunder.
Behöver du långa inspelningar och talarseparering krävs den separata produkten CLOVA Speech.
🤔 Så vad ska du välja
CLOVA CSR passar när
du hanterar korta yttranden på i huvudsak ren koreanska.
projektet kräver molninfrastruktur i Sydkorea.
teamet redan använder Naver Cloud-ekosystemet.
ElevenLabs Scribe passar när
du textar eller protokollför innehåll där engelska och koreanska blandas.
ljudet är IT- eller marknadsföringsmaterial fullt av varumärkesnamn.
Med de 4,5 gratistimmarna kan du dessutom testa kvaliteten själv innan du bestämmer dig.
Prova ElevenLabs Scribe gratis →
🧪 Så mätte vi (reproducerbart)
Fyra manuskategorier (känslosamma repliker, nyhetsstil, engelska och siffror blandat, långa texter) syntetiserades med två högkvalitativa TTS-röster (CLOVA Ara Pro och ElevenLabs Hyuk) till åtta ljudfiler.
Varje fil kördes genom de tre motorerna och jämfördes tecken för tecken mot facit (CER).
Vi vill också vara öppna med begränsningarna.
Indata är TTS-syntes, alltså brusfria idealförhållanden, och siffrorna kan bli andra med verkligt mänskligt tal eller bakgrundsljud.
Vissa fel kan dessutom ha sitt ursprung i TTS-rösternas uttal.
❓ Vanliga frågor (FAQ)
Q. Vilken STT är mest träffsäker på koreanska?
I vår mätning hade Scribe v1 lägst genomsnittlig teckenfelfrekvens med 3.2%.
På ren formell koreanska låg dock även CLOVA CSR kring 0% och gick jämnt, så avgörandet är om ljudet innehåller engelska.
Q. Vad är skillnaden mellan CLOVA Speech Recognition (CSR) och CLOVA Speech?
CSR är ett API för korta yttranden på högst 60 sekunder, medan CLOVA Speech är en separat produkt som stöder långa inspelningar och talarseparering.
Det här testet gäller CSR.
Q. Ska jag använda Scribe v1 eller v2?
v1 om det är viktigt att bevara texten exakt som den yttrades, v2 om du vill ha lättläst utdata där sådant som valutasymboler städas upp automatiskt.
v2 stöder även strömning i realtid ($0.39 per timme).
Fortsättningen om intervjutranskribering och talarseparering i praktiken hittar du i jämförelsen ElevenLabs vs Whisper vs Deepgram STT.
Vi ses i nästa inlägg. Det här var Sonetho. ⚡