"와... 아카자가 한국어를 한다고?"
덕후들의 상상을 현실로 만들어주는 미친 기능,
일레븐랩스 'Dubbing Studio(더빙 스튜디오)'를 직접 써봤습니다.
하지만 AI도 실수를 한다는 사실, 알고 계셨나요?
완벽한 더빙을 위한 초반 필수 세팅법부터 수동 보정 노하우, 그리고 크레딧 함정까지 싹 다 공개합니다.
안녕하세요, Sonetho입니다. ⚡
오늘은 제가 직접 제작한 [귀멸의 칼날: 무한성편] 예고편의 한국어 더빙 버전을 보여드리려고 합니다.
성우 섭외? 녹음실? 하나도 안 썼습니다. 오직 AI로만 만들었습니다.
📺 1. 결과물 공개: 싱크로율 실화?
배경음악(BGM)과 효과음은 그대로 살리고, 일본어 대사만 한국어 AI 성우로 교체했습니다.
감정선과 복제된 목소리를 주목해서 들어보세요.
어떠신가요? "좋은 밤이군..." 하는 대사, 진짜 성우 같지 않나요? 😲
⚙️ 2. 시작이 반이다! (필수 세팅 가이드)
무작정 영상만 넣으면 실패합니다. 처음 설정을 어떻게 하느냐에 따라 퀄리티와 수정 가능 여부가 갈립니다.
🕵️♂️ 메뉴 진입 및 프로젝트 생성
① 언어 설정 (Language)
- Source: 원본 영상의 언어 (예: Japanese)
- Target: 바꿀 언어 (예: Korean)
② Create Dubbing project (체크 필수! ⭐)
- 이걸 체크해야만 나중에 타임라인에서 대사를 수정하고
타이밍을 조절할 수 있습니다. (대신 크레딧 사용 多)
- 체크 안 하면 그냥 결과물 파일만 툭 던져줍니다. (수정 불가!)
③ Number of speakers (화자 수)
- 가능하면 영상에 등장하는 캐릭터가 몇 명인지 숫자를 넣어주세요.
- 정확히 넣을수록 AI가 "아, 이건 젠이츠 목소리, 이건 아카자 목소리" 하고 똑똑하게 구분합니다.
(등장 인물이 너무 많으면 Auto도 괜찮습니다!)
④ Disable voice cloning (목소리 복제 여부)
- 체크 해제 (기본): 원본 목소리와 최대한 비슷한 톤으로 복제합니다.
- 체크 설정: 복제하지 않고 일레븐랩스 기본 성우 목소리로 바꿉니다.
🛠️ 3. AI는 거들뿐, 완성은 '사람'이 한다 (보정 꿀팁)
영상을 넣고 버튼만 누르면 뚝딱 나올 것 같죠? 절대 아닙니다.
제가 작업하면서 겪은 AI의 황당한 실수들과 해결 과정을 공유합니다. 이걸 모르면 영상 망칩니다.
🕵️♂️ 에디터가 직접 수정한 포인트
① 이름 좀 제대로 불러라! (전사 오류)
- AI의 실수: 주인공 '젠이츠(善逸)'를 자꾸 '제이스'라고 번역함... (AI 전사 기능의 오류!)
- 👉 해결: 스크립트 창에서 직접 '젠이츠'로 수정해 줘야 합니다. 고유명사는 꼭 확인하세요!
② 안 들리는 척하지 마 (대사 누락)
- AI의 실수: 배경음악이 웅장하거나 캐릭터가 작게 속삭일 때 대사를 씹어먹습니다.
(이번 영상에서도 "이이 요루다네(참 좋은 밤이구나)" 대사가 통째로 날아갔습니다.) - 👉 해결: 타임라인을 더블 클릭해서 블록을 수동으로 추가하고 대사를 적어넣어야 합니다.
③ 번역투는 이제 그만 (초월 번역)
- AI 번역: "잔치 시간이다." (뭔가 동네 잔치 같음)
- 👉 수정: "연회 시간이다." (번역은 사이트내 AI번역 보다, 다른 AI(Chat GPT, Gemini 등을 쓰는게 더 자연스럽습니다!)
④ 타이밍과 감정 조절의 핵심 (Fixed vs Dynamic)
- 처음 더빙을 생성하면 길이가 제각각이라 영상 속 입모양(Lip-sync)과 미묘하게 안 맞을 때가 있습니다.
- 이때 타임라인에서 블록 길이를 마우스로 늘리거나 줄일 수 있는데, 중요한 건 설정값입니다.
🎯 Dynamic Duration (기본값)
블록 길이를 아무리 늘려도 AI는 원래 속도대로 읽어버립니다.
자연스럽긴 하지만, 캐릭터가 길게 끄는 대사를 칠 때는 감정이 부족하고 급하게 끝나는 느낌이 듭니다.
🎯 Fixed Duration (필수 ⭐)
타임라인에서 블록을 길게 늘린 뒤, 이 버튼을 누르면 그 길이에 맞춰서 말하는 속도를 조절합니다.
늘린 만큼 천천히, 듬들이며 말하기 때문에 감정 표현이 훨씬 풍부해지고 싱크 맞추기가 쉽습니다.
"이 두 가지 모드를 상황에 따라 적절히 섞어서 편집해야, 진짜 성우가 연기한 것 같은 자연스러운 맛이 살아납니다."
💸 3. 주의! 더빙 프로젝트의 '크레딧 함정'
이건 진짜 피가 되고 살이 되는 정보입니다. (내 아까운 크레딧... 😭)
⚠️ 남은 크레딧은 환불이 안 됩니다!
더빙 스튜디오는 영상을 업로드할 때 예상 크레딧을 미리 배정합니다.
작업을 마치고 위 사진처럼 5,352 크레딧이 남아도, 이건 해당 프로젝트 안에서만 쓸 수 있습니다. 다른 영상 만들 때 못 씁니다.
✅ 에디터의 조언:
처음부터 10분짜리 긴 영상을 통째로 넣지 마세요.
1분~2분 단위로 짧게 끊어서(Shorts용) 필요한 부분만 작업하는 게 크레딧 낭비를 막는 최고의 방법입니다.
🎓 더빙의 퀄리티를 2배 더 올리고 싶다면?
단순 더빙을 넘어, 캐릭터의 '숨소리'와 '감정'까지 완벽하게 복제하고 싶으신가요?
일레븐랩스의 3가지 클로닝 기술(Clip vs Track vs IVC)을 비교 분석했습니다.
❓ 자주 묻는 질문 (FAQ)
Q1. 더빙한 뒤에 대사를 수정할 수 있나요?
A. 프로젝트를 만들 때 'Create Dubbing project'를 체크해야 수정할 수 있습니다.
이걸 체크해야 타임라인에서 대사를 고치고 타이밍을 조절할 수 있습니다.
체크하지 않으면 결과물 파일만 나오고 수정이 불가능합니다.
대신 체크하면 크레딧을 더 씁니다.
Q2. 원본 목소리와 비슷한 톤으로 나오나요?
A. 기본 설정에서는 원본 목소리와 최대한 비슷한 톤으로 복제합니다.
'Disable voice cloning'을 체크하면 복제하지 않고 일레븐랩스 기본 성우 목소리로 바뀝니다.
그리고 등장인물 수를 'Number of speakers'에 정확히 넣을수록 AI가 화자를 더 잘 구분합니다.
Q3. AI가 대사를 통째로 빼먹었어요.
A. 배경음악이 크거나 캐릭터가 작게 속삭이면 대사를 놓치는 일이 있습니다.
실제로 이번 작업에서도 대사 하나가 통째로 날아갔습니다.
타임라인을 더블 클릭해 블록을 수동으로 추가하고 대사를 직접 적어 넣으면 됩니다.
고유명사 전사 오류도 흔하니 스크립트 창에서 꼭 확인하세요.
Q4. 입모양과 싱크가 미묘하게 안 맞습니다.
A. 타임라인에서 블록 길이를 늘린 뒤 Fixed Duration을 쓰세요.
기본값인 Dynamic Duration은 블록을 아무리 늘려도 원래 속도대로 읽어 버립니다.
Fixed Duration은 늘린 길이에 맞춰 말하는 속도를 조절하기 때문에 감정 표현도 풍부해집니다.
두 모드를 상황에 따라 섞어 써야 자연스러워집니다.
Q5. 크레딧이 남았는데 다른 영상에 쓸 수 없나요?
A. 없습니다.
더빙 스튜디오는 영상을 올릴 때 예상 크레딧을 그 프로젝트에 미리 배정합니다.
작업을 마치고 크레딧이 남아도 해당 프로젝트 안에서만 쓸 수 있고 환불도 되지 않습니다.
그래서 10분짜리를 통째로 넣지 말고 1분에서 2분 단위로 끊어 필요한 부분만 작업하는 편이 크레딧 낭비를 막습니다.
Q6. 번역투가 어색합니다.
A. 사이트 안의 자동 번역보다 다른 AI로 번역한 뒤 붙여 넣는 편이 자연스럽습니다.
예를 들어 '잔치 시간이다'로 나온 대사를 '연회 시간이다'로 고치는 식입니다.
ChatGPT나 Gemini로 문맥에 맞게 다듬은 문장을 스크립트 창에 넣으면 됩니다.
🚀 당신도 '방구석 더빙 감독'이 될 수 있습니다
유튜브 쇼츠, 틱톡, 릴스... 요즘은 '몰입감 있는 사운드'가 조회수를 지배합니다.
복잡한 장비 없이 일레븐랩스 하나로 나만의 더빙 콘텐츠를 만들어보세요.
다음에 더 다양한 기능들을 소개해드리러 돌아오겠습니다!
Sonetho였습니다! ⚡