⚡ 3줄 요약
• 더빙스튜디오 수작업 없이 톤·억양·연기까지 알아서 — v1과 차원이 다름
• 귀멸의 칼날 무한열차를 한국어로 자동 더빙해본 실사용 후기
• 크리에이터가 자기 목소리 그대로 해외 진출하는 시대가 열렸다
안녕하세요, Sonetho입니다. ⚡
지난 Dubbing v2 출시 소식을 전하면서 "직접 검증해보겠다"고 예고했었죠.
그 약속대로, 귀멸의 칼날 — 무한열차편의 한 장면을 v2로 직접 한국어 더빙해봤습니다.
결론부터 말하면… 가히 미친 성능입니다. 예전에 부족했던 2%가 채워지다 못해 넘쳤습니다.
▲ ElevenLabs Dubbing v2 · 한국어 자동 더빙 (원본 일본어 → 한국어) · Speaker similarity 7
예전 v1은 이게 너무 힘들었다
이전에 애니메이션 더빙 클로닝(Clip vs Track vs IVC) 글에서 다뤘듯이, v1 시절의 작업 흐름은 이랬습니다.
자동 더빙은 싱크도 안 맞고 번역도 제멋대로라, 후편집이 필수였습니다.
그래서 더빙 스튜디오에서 목소리가 나오는 클립을 일일이 잘라 각각 클론을 만들어야 했습니다.
그러다 보니 장면마다 목소리 톤이 왔다갔다 했습니다. 한 캐릭터인데 클립마다 다른 사람 같았죠.
학습 데이터가 그 짧은 클립 하나로 한정되니, 출력이 제멋대로·랜덤으로 나왔습니다.
맘에 드는 결과가 나올 때까지 재출력을 수없이 반복해야 했고, 그렇게 뽑아도 어딘가 2% 부족한 더빙이었습니다.
한마디로, "AI가 더빙해준다"기보다 "AI를 데리고 내가 더빙한다"에 가까웠습니다.
v2는… 더빙스튜디오를 안 열었는데도 됐다
이번 v2는 솔직히 놀랐습니다.
더빙 스튜디오에서 따로 손보지도 않았는데, 그것도 단 한 번의 출력만에 —
원본 화자의 목소리 톤과 억양을 비슷하게 잡아주고,
연기(감정 표현)도 나쁘지 않게 살려줍니다.
클립을 따로 자르고 클론을 만들던 그 모든 수작업이 사라졌습니다.
v1과 비교하면 훨씬 좋아졌다는 게 솔직한 평가입니다.
위 영상에서 직접 들어보세요 — 예전 같은 "AI 티 나는 어색함"이 확 줄었습니다.
설정 한 가지 — Speaker similarity
v2에는 Advanced 메뉴에 'Speaker similarity'라는 슬라이더가 하나 있습니다.
이게 더빙된 목소리가 "원본 화자와 얼마나 닮게" vs "번역 언어에서 얼마나 자연스럽게" 나올지를 조절합니다.
이번 무한열차 더빙은 기본값인 7로 설정했습니다. (0~10 중)
▲ 7로 설정 — 번역 언어에서 자연스러우면서 원본 억양도 살짝 묻어남
슬라이더는 이렇게 양 극단으로도 조절할 수 있습니다. 같은 장면을 0과 10으로도 뽑아봤으니, 설정 화면과 실제 더빙 결과를 같이 비교해보세요.
설정값 | 결과 |
|---|---|
0 (자연스럽게) | 연기 톤의 높낮이 폭이 가장 크고 전문 성우 같은 느낌. |
7 (이번 설정) | 자연스러움 + 원본 억양이 적당하게 (추천 밸런스 4~7) |
10 (원본 그대로) | 원본 화자 억양에 가장 가깝지만, |
🔊 Speaker similarity 0 — 가장 자연스럽게
▲ 0 설정 — 번역 언어 기준 가장 자연스러움 (원본 화자와는 덜 닮음)
직접 들어보니, 0이 의외로 가장 좋았습니다.
연기 톤의 높낮이 폭이 훨씬 크고, 전문 성우가 연기한 듯한 느낌이 났거든요.
"원본과 덜 닮는다"는 설명과 달리, 한국어 더빙 자체의 완성도는 0 쪽이 더 풍부했습니다.
🔊 Speaker similarity 10 — 원본 화자에 가장 가깝게
▲ 10 설정 — 원본 화자 억양을 강하게 따라감 (번역 언어에선 다소 부자연스러울 수 있음)
반대로 10은 연기가 확실히 딱딱했습니다.
원본 화자의 억양을 최대한 따라가려다 보니, 한국어로는 톤이 평탄하고 경직된 인상이 강했습니다.
🎬 0 vs 10 — 직접 들어보기
▲ 같은 장면을 0(자연 우선)과 10(원본 억양 우선)으로 번갈아 — 연기 차이를 직접 비교
들어보면 차이가 확실하죠?
정리하면 값이 낮을수록(0에 가까울수록) 번역 언어 기준으로 연기가 풍부하고 자연스럽고,
높을수록(10) 원본 억양을 따라가느라 딱딱해지는 경향이 있었습니다.
그래서 감정·연기가 중요한 콘텐츠일수록 오히려 낮은 값이 유리하고,
원본 화자의 음색·억양을 꼭 살려야 하는 경우에만 높이는 게 좋습니다.
개인적으로는 언어별로 다르겠지만 4~7 사이에서 콘텐츠에 맞춰 조절하는 걸 추천합니다.
한 가지 — 고유명사는 손봐야 한다
자동 번역 품질도 생각보다 나쁘지 않았습니다. 다만 고유명사는 반드시 직접 확인해야 합니다.
예를 들어 귀멸의 칼날에서 '오니(鬼)'를 한국어 정식판은 '혈귀'라고 부릅니다.
그런데 자동 더빙 번역은 이걸 '도깨비'라고 옮기더군요. 😅
의미는 통하지만, 팬이라면 바로 어색함을 느낄 부분이죠.
그래서 v2를 쓰더라도 번역 텍스트를 한 번 검수하고 고유명사를 교정하는 과정은 여전히 필요합니다.
(이건 오히려 사람의 역할이 남아있다는 뜻이기도 하고요.)
💡 참고로 현재 v2는 아직 Alpha 버전이라 더빙 스튜디오 기능이 활성화되어 있지 않습니다.
정식 출시 후에는 더빙 스튜디오에서 번역을 커스텀으로 직접 수정할 수 있게 될 것으로 보입니다.
(고유명사 교정이 훨씬 편해지겠죠!)
이게 의미하는 것 — 더빙 시장의 지각변동
이 정도 퀄리티가 버튼 몇 번으로 나온다는 건, 단순한 기능 업데이트가 아닙니다.
더빙 시장에 큰 타격이 불가피해 보입니다. 기존 더빙 외주 단가·납기와 비교하면 격차가 큽니다.
그리고 크리에이터에게는 엄청난 희소식입니다.
이제 성우를 따로 쓰지 않아도, 본인 목소리 그대로 해외 진출이 가능한 시대가 됐습니다.
유튜브 글로벌 채널, 다국어 콘텐츠를 진지하게 고민한다면 v2는 "한 번 써볼까"가 아니라 "안 쓰면 뒤처지는" 도구에 가까워졌습니다.
직접 해보고 싶다면
지금 Creator 이상 플랜 첫 7일간 더빙 30분 무료(Starter는 15분, Free는 1분)로 제공됩니다.
위에서 본 무한열차 더빙도 이 무료 분량으로 충분히 테스트할 수 있습니다.
※ 위 링크는 Sonetho 공식 제휴 링크입니다 (추가 비용 없음).
📚 함께 읽으면 좋은 글
ElevenLabs Dubbing v2 출시! — 90개 이상 언어, "원본 연기 그대로" 더빙
애니메이션 더빙, 싱크로율 99%의 비밀: 3가지 클로닝 방법 (Clip vs Track vs IVC)
ElevenLabs Dubbing 완벽 가이드: 영상을 자동 번역·더빙하는 법 (v1)
🚀 마치며
v1 시절의 "AI 티 나는" 부담이 v2에서 확 줄었습니다.
물론 고유명사 검수처럼 사람 손이 필요한 부분은 남아있지만, 출발선 자체가 달라졌습니다.
여러분의 채널도 이제 국경 없이 — 본인 목소리 그대로!
오늘도 좋은 창작 되세요!
Sonetho ⚡