Cześć, z tej strony Sonetho. ⚡
„Koreańskie rozpoznawanie mowy? Przecież Naver robi to najlepiej.”
Słyszymy to często, ale mało kto naprawdę to sprawdził.
Więc zmierzyliśmy sami.
Ten sam zestaw 8 koreańskich nagrań trafił do trzech silników i został porównany znak po znaku z wzorcowym skryptem.
📊 Wyniki w skrócie (współczynnik błędów znakowych CER, im niżej, tym dokładniej)
| Kategoria | Clova CSR | Scribe v1 | Scribe v2 |
|---|---|---|---|
| Kwestie z emocjami | 3.2% | 1.1% | 1.1% |
| Czytanie w stylu serwisu informacyjnego | 0~0.8% | 0~0.8% | 0~0.8% |
| Mieszanka angielskiego i liczb | 36.9~37.7% | 8.5~13.8% | 8.5~20.8% |
| Spójność długiego tekstu | 1.7~7.3% | 0% | 0% |
| Średnia | 11.4% | 3.2% | 4.0% |
Najpierw słowo w obronie Clovy.
Na czystym koreańskim CSR też jest praktycznie bezbłędny.
Przy czytaniu w stylu serwisu informacyjnego wszystkie trzy silniki szły łeb w łeb, w okolicach 0%.
Jeśli wasz przypadek kończy się tutaj, można wziąć cokolwiek.
💥 O wszystkim zdecydowały wtrącenia angielskiego
Gdy w koreańskim zdaniu pojawiają się nazwy marek i liczby, przepaść zaczyna rosnąć.
Oto kilka prawdziwych wyników CSR, przepisanych jeden do jednego.
| Wzorzec | Wynik Clova CSR |
|---|---|
| ChatGPT | "채취 pt" |
| Gemini | "나재민이", "개 미니" |
| 일레븐랩스 (ElevenLabs po koreańsku) | "11 x" |
| 약 15달러 수준 (około 15 dolarów) | "약 시부터 여수 중" |
Napisy na YouTube, treści IT, dzisiejsze notatki ze spotkań: jeśli w nagraniu mieszają się angielskie słowa, ta różnica zamienia się wprost w godziny poprawek.
Scribe w tych samych fragmentach zachował ChatGPT, Gemini i API w nienaruszonej formie.
🧐 Scribe też nie jest idealny
Uczciwie pokazujemy również błędy Scribe.
Słabo radzi sobie z nazwami własnymi, które widzi pierwszy raz.
„sonetho.com” zapisał jako „sonto.com”, a w jednej próbce usłyszał „1 dolar” zamiast „11 dolarów”.
Jeśli liczby dotyczą pieniędzy, korekta jest obowiązkowa przy każdym silniku.
Ciekawa okazała się też różnica między v1 a v2.
Wersja v2 sama porządkuje zapis: „22 dolary” zamienia na „$22”.
W naszej metodzie oceny (CER) liczy się to jako błąd, choć znaczenie jest w pełni poprawne.
Jeśli liczy się oryginalny zapis, wybierzcie v1; jeśli celem są czytelne napisy i dokumenty, v2.
Wersja v2 ma też wariant strumieniowy działający w czasie rzeczywistym.
💰 Ile to kosztuje
ElevenLabs Scribe: $0.22 za godzinę (w trybie wsadowym).
Nawet darmowy plan zawiera 4,5 godziny miesięcznie.
Starter za $6 daje 27 godzin, a Creator za $22 aż 100, więc większość osobistych projektów mieści się w planie.
Rozpoznawanie mowy Clova (CSR): rozliczenie za zużycie, zaokrąglane w górę co 15 sekund.
Dokładną stawkę sprawdzicie w kalkulatorze cen Naver Cloud.
Uwaga: CSR to API do krótkich wypowiedzi, z limitem 60 sekund.
Do długich nagrań i rozdzielania mówców służy osobny produkt, CLOVA Speech.
🤔 Więc co wybrać
Clova CSR sprawdzi się, gdy
Przetwarzacie krótkie wypowiedzi, niemal wyłącznie w czystym koreańskim.
Projekt wymaga infrastruktury chmurowej w Korei.
Zespół korzysta już z ekosystemu Naver Cloud.
ElevenLabs Scribe sprawdzi się, gdy
Robicie napisy i notatki do treści, w których angielski miesza się z koreańskim.
Pracujecie na nagraniach IT i marketingowych pełnych nazw marek.
Darmowe 4,5 godziny pozwala najpierw samemu sprawdzić jakość i dopiero potem decydować.
Wypróbuj ElevenLabs Scribe za darmo →
🧪 Jak mierzyliśmy (do odtworzenia)
Skrypty w 4 kategoriach (kwestie z emocjami, styl serwisu informacyjnego, mieszanka angielskiego i liczb, długi tekst) zsyntetyzowaliśmy dwoma wysokiej klasy silnikami TTS (Clova Ara Pro i ElevenLabs Hyuk), uzyskując 8 nagrań.
Każde nagranie trafiło do trzech silników i zostało porównane znak po znaku ze wzorcem (CER).
Ograniczenia też wykładamy na stół.
Wejściem była mowa syntetyczna, czyli idealne warunki bez szumów; przy prawdziwych ludzkich głosach i w hałasie wyniki mogą się różnić.
Część błędów mogła też wynikać z wymowy samego TTS.
❓ Najczęstsze pytania (FAQ)
Q. Który STT jest najdokładniejszy dla języka koreańskiego?
W naszym pomiarze najniższy średni współczynnik błędów znakowych, 3.2%, osiągnął Scribe v1.
Na czystym, formalnym koreańskim Clova CSR idzie jednak łeb w łeb w okolicach 0%, więc kryterium wyboru jest to, czy w nagraniu pojawia się angielski.
Q. Czym różni się rozpoznawanie mowy Clova (CSR) od CLOVA Speech?
CSR to API do krótkich wypowiedzi do 60 sekund, a CLOVA Speech to osobny produkt obsługujący długie nagrania i rozdzielanie mówców.
Ten test dotyczy CSR.
Q. Scribe v1 czy v2, co wybrać?
Wybierzcie v1, gdy liczy się zachowanie oryginalnego zapisu; v2, gdy chcecie czytelny wynik z zapisem, na przykład symbolami walut, uporządkowanym automatycznie.
Wersja v2 obsługuje też streaming w czasie rzeczywistym ($0.39 za godzinę).
Praktyczny ciąg dalszy o transkrypcji wywiadów i rozdzielaniu mówców czeka w porównaniu STT: ElevenLabs vs Whisper vs Deepgram.
Do zobaczenia przy kolejnym wpisie. Tu Sonetho. ⚡