Uji Nyata Akurasi STT Bahasa Korea: CLOVA vs ElevenLabs Scribe, Hasil Menjalankan Audio yang Sama 24 Kali

Kami memasukkan 8 audio bahasa Korea yang sama ke Naver CLOVA Speech Recognition (CSR) serta ElevenLabs Scribe v1 dan v2, lalu mengukur Character Error Rate (CER). Untuk bahasa Korea murni hasilnya praktis seri; begitu tercampur bahasa Inggris, selisihnya mencapai 4 kali lipat. Data mentah kami publikasikan.

Halo, Sonetho di sini. ⚡

 

"Untuk speech-to-text bahasa Korea, bukankah Naver tetap yang terbaik?"
Kalimat ini sering sekali terdengar, tapi hampir tidak ada yang benar-benar mengukurnya.
Jadi kami ukur sendiri.
Kami memasukkan 8 audio bahasa Korea yang sama ke tiga mesin, lalu membandingkannya dengan naskah asli karakter demi karakter.

 

📊 Ringkasan Hasil (Character Error Rate CER, makin rendah makin akurat)

KategoriCLOVA CSRScribe v1Scribe v2
Dialog emosional3.2%1.1%1.1%
Pembacaan gaya berita0~0.8%0~0.8%0~0.8%
Campuran Inggris dan angka36.9~37.7%8.5~13.8%8.5~20.8%
Konsistensi teks panjang1.7~7.3%0%0%
Rata-rata11.4%3.2%4.0%

 

Mari kita bela CLOVA dulu.
Untuk bahasa Korea murni, CSR praktis mendapat nilai sempurna.
Pada pembacaan gaya berita, ketiga mesin sama-sama seri di kisaran 0%.
Kalau hanya melihat bagian ini, pakai yang mana pun tidak masalah.

 

💥 Penentu Kemenangannya: Campuran Bahasa Inggris

Begitu nama brand dan angka masuk ke kalimat bahasa Korea, jaraknya langsung melebar.
Berikut beberapa output asli CSR, kami salin apa adanya.

 

Teks asliOutput CLOVA CSR
ChatGPT"채취 pt"
Gemini"나재민이", "개 미니"
일레븐랩스 (ElevenLabs)"11 x"
약 15달러 수준 (artinya "sekitar 15 dolar")"약 시부터 여수 중"

 

Kalau audio Anda mengandung kata-kata Inggris seperti subtitle YouTube, konten IT, atau notulen rapat zaman sekarang, selisih ini langsung berubah menjadi beban kerja Anda.
Di bagian yang sama, Scribe mempertahankan ChatGPT, Gemini, dan API sepenuhnya dalam bentuk aslinya.

 

🧐 Scribe Juga Tidak Sempurna

Supaya adil, kesalahan Scribe pun kami buka.
Ia lemah terhadap nama diri yang baru pertama kali didengar.
"sonetho.com" ditulis sebagai "sonto.com", dan di satu sampel "11달러" (11 dolar) keliru terdengar sebagai "1달러" (1 dolar).
Kalau angka di dokumen Anda berhubungan langsung dengan uang, proofreading wajib, mesin apa pun yang dipakai.

 

Perbedaan v1 dan v2 juga menarik.
v2 otomatis menormalkan "22달러" (22 dolar) menjadi "$22".
Dalam metode penilaian kami (CER) itu terhitung sebagai kesalahan, padahal secara makna outputnya benar.
Kalau bentuk penulisan asli penting, pilih v1; kalau tujuannya subtitle atau dokumen yang enak dibaca, v2 jawabannya.
v2 juga punya versi streaming real-time.

 

💰 Bagaimana dengan Harganya

ElevenLabs Scribe: $0.22 per jam (basis batch).
Paket gratis pun sudah termasuk 4,5 jam per bulan.
Starter $6 mencakup 27 jam dan Creator $22 mencakup 100 jam, jadi kebanyakan pekerjaan pribadi selesai di dalam paket.

 

CLOVA Speech Recognition (CSR): model bayar sesuai pemakaian yang dibulatkan ke atas per 15 detik.
Tarif pastinya bisa dicek di kalkulator harga Naver Cloud.
Sebagai catatan, CSR adalah API untuk ucapan pendek dengan batas 60 detik.
Untuk rekaman panjang dan pemisahan pembicara, Anda perlu produk terpisah bernama CLOVA Speech.

 

🤔 Jadi, Mana yang Harus Dipakai

CLOVA CSR cocok kalau
Anda memproses ucapan pendek yang hampir seluruhnya bahasa Korea murni.
Proyek Anda mensyaratkan infrastruktur cloud domestik Korea.
Tim Anda sudah memakai ekosistem Naver Cloud.

 

ElevenLabs Scribe cocok kalau
Anda membuat subtitle atau notulen dari konten campuran Inggris-Korea.
Audio Anda penuh nama brand, khas konten IT dan marketing.
Dengan 4,5 jam gratis, Anda bisa menguji kualitasnya sendiri dulu sebelum memutuskan.

 

Coba ElevenLabs Scribe Gratis →

 

🧪 Metode Pengukuran (Bisa Direproduksi)

Kami menyusun naskah dalam 4 kategori (dialog emosional, gaya berita, campuran Inggris dan angka, teks panjang), lalu mensintesisnya dengan dua TTS berkualitas tinggi (CLOVA Ara Pro dan ElevenLabs Hyuk) menjadi 8 audio.
Setiap audio dimasukkan ke tiga mesin dan dibandingkan dengan naskah asli karakter demi karakter (CER).
Keterbatasannya juga kami akui.
Karena inputnya suara sintesis TTS, kondisinya ideal tanpa noise; dengan suara manusia asli atau lingkungan bising, angkanya bisa berbeda.
Sebagian kesalahan mungkin juga berasal dari pelafalan TTS itu sendiri.

 

❓ Pertanyaan yang Sering Diajukan (FAQ)

Q. STT mana yang paling akurat untuk bahasa Korea?
Dalam pengukuran ini, Scribe v1 mencatat rata-rata Character Error Rate terendah, yaitu 3.2%.
Namun untuk bahasa Korea formal murni, CLOVA CSR juga seri di kisaran 0%; jadi kriteria pemilihannya adalah ada tidaknya campuran bahasa Inggris di audio Anda.

 

Q. Apa bedanya CLOVA Speech Recognition (CSR) dan CLOVA Speech?
CSR adalah API untuk ucapan pendek di bawah 60 detik, sedangkan CLOVA Speech adalah produk terpisah yang mendukung file rekaman panjang dan pemisahan pembicara.
Pengujian kali ini memakai CSR.

 

Q. Pilih Scribe v1 atau v2?
Kalau mempertahankan bentuk penulisan asli itu penting, pilih v1; kalau Anda ingin output rapi yang otomatis membereskan simbol mata uang dan sejenisnya, pilih v2.
v2 juga mendukung streaming real-time ($0.39 per jam).

 

Praktik nyata transkripsi wawancara dan pemisahan pembicara berlanjut di perbandingan STT ElevenLabs vs Whisper vs Deepgram.
Sampai jumpa di artikel berikutnya. Salam, Sonetho. ⚡