Точность корейского STT в реальном тесте: CLOVA против ElevenLabs Scribe, 24 прогона одних и тех же аудио

Мы прогнали одни и те же 8 корейских аудиозаписей через Naver CLOVA Speech Recognition (CSR) и ElevenLabs Scribe v1 и v2 и измерили посимвольную ошибку (CER). На чистом корейском практически ничья, а на смеси с английским разница в 4 раза. Исходные данные открыты.

Здравствуйте, это Sonetho. ⚡

 

"Корейскую речь всё-таки лучше распознаёт Naver, разве нет?"
Слышим это постоянно, но мало кто проверял на практике.
Поэтому мы измерили сами.
Одни и те же 8 корейских аудиозаписей прогнали через три движка и посимвольно сверили с эталонным текстом.

 

📊 Итоги вкратце (посимвольная ошибка CER, чем ниже, тем точнее)

КатегорияCLOVA CSRScribe v1Scribe v2
Эмоциональные реплики3.2%1.1%1.1%
Чтение в новостном стиле0~0.8%0~0.8%0~0.8%
Смесь английского и цифр36.9~37.7%8.5~13.8%8.5~20.8%
Стабильность на длинных текстах1.7~7.3%0%0%
В среднем11.4%3.2%4.0%

 

Начнём со слова в защиту CLOVA.
На чистом корейском CSR тоже показывает практически идеальный результат.
В новостном чтении все три движка держались около 0% и шли вровень.
Если смотреть только на этот участок, подойдёт любой из них.

 

💥 Всё решила смесь с английским

Стоило в корейских фразах появиться названиям брендов и цифрам, как разрыв резко вырос.
Вот несколько реальных выводов CSR, приводим их без правок.

 

ЭталонВывод CLOVA CSR
ChatGPT"채취 pt"
Gemini"나재민이", "개 미니"
일레븐랩스 (ElevenLabs по-корейски)"11 x"
약 15달러 수준 ("примерно 15 долларов")"약 시부터 여수 중"

 

Для субтитров YouTube, IT-контента и современных протоколов встреч, где постоянно мелькают английские слова, эта разница напрямую превращается в объём ручной работы.
Scribe на тех же участках сохранил ChatGPT, Gemini и API в исходном виде.

 

🧐 Scribe тоже оказался не идеален

Честно покажем и ошибки Scribe.
Он слаб на именах собственных, которые видит впервые.
"sonetho.com" он записал как "sonto.com", а в одном сэмпле расслышал "11달러" (11 долларов) как "1달러" (1 доллар).
Если цифры в документе напрямую связаны с деньгами, вычитка обязательна при любом движке.

 

Разница между v1 и v2 тоже оказалась любопытной.
v2 сам нормализует запись: "22달러" превращается в "$22".
По нашей методике подсчёта (CER) это засчитывается как ошибка, хотя по смыслу вывод точный.
Если важна исходная форма записи, выбирайте v1; если нужны удобочитаемые субтитры и документы, берите v2.
У v2 есть и версия с потоковым распознаванием в реальном времени.

 

💰 Сколько это стоит

ElevenLabs Scribe: $0.22 за час (в пакетном режиме).
Даже бесплатный план включает 4,5 часа в месяц.
Starter за $6 даёт 27 часов, Creator за $22 даёт 100 часов, так что большинство личных задач укладывается в рамки плана.

 

CLOVA Speech Recognition (CSR): оплата по факту использования, тарификация блоками по 15 секунд с округлением вверх.
Точные расценки смотрите в калькуляторе стоимости Naver Cloud.
Учтите, что CSR рассчитан на короткие фразы: у API действует лимит в 60 секунд.
Для длинных записей и разделения спикеров понадобится отдельный продукт CLOVA Speech.

 

🤔 Так что же выбрать

CLOVA CSR подойдёт, если
вы обрабатываете короткие фразы преимущественно на чистом корейском.
проекту нужна облачная инфраструктура на территории Кореи.
команда уже работает в экосистеме Naver Cloud.

 

ElevenLabs Scribe подойдёт, если
вы делаете субтитры или протоколы для контента со смесью английского и корейского.
в аудио часто звучат названия брендов: IT, маркетинг и подобные темы.
Бесплатные 4,5 часа позволяют сначала самому проверить качество и только потом решать.

 

Попробовать ElevenLabs Scribe бесплатно →

 

🧪 Как мы измеряли (воспроизводимо)

Четыре категории сценариев (эмоциональные реплики, новостной стиль, смесь английского и цифр, длинные тексты) мы озвучили двумя качественными TTS-голосами (CLOVA Ara Pro и ElevenLabs Hyuk) и получили 8 аудиофайлов.
Каждый файл прогнали через три движка и посимвольно сверили с эталонным текстом (CER).
Честно скажем и об ограничениях.
На входе синтезированная TTS-речь, то есть идеальные условия без шума; на живой человеческой речи и в шумной обстановке цифры могут отличаться.
Часть ошибок могла возникнуть и из-за произношения самих TTS-голосов.

 

❓ Частые вопросы (FAQ)

Q. Какой STT самый точный для корейского языка?
В нашем замере лучший средний результат показал Scribe v1: 3.2% посимвольной ошибки.
Однако на чистом формальном корейском CLOVA CSR тоже держится около 0% и идёт вровень, так что главный критерий выбора: есть ли в аудио английский.

 

Q. Чем CLOVA Speech Recognition (CSR) отличается от CLOVA Speech?
CSR предназначен для коротких фраз до 60 секунд, а CLOVA Speech продаётся отдельно и поддерживает длинные записи и разделение спикеров.
Этот тест проводился на CSR.

 

Q. Что выбрать: Scribe v1 или v2?
v1, если важно сохранить написание в исходном виде; v2, если нужен удобочитаемый вывод, где обозначения вроде валютных символов приводятся в порядок автоматически.
v2 также поддерживает потоковое распознавание в реальном времени ($0.39 за час).

 

Практика расшифровки интервью и разделения спикеров продолжается в сравнении STT: ElevenLabs vs Whisper vs Deepgram.
До встречи в следующей статье. С вами был Sonetho. ⚡