"말은 다 맞는데, 사람 같지가 않아요."
AI 전화 상담원을 붙여본 분들이 가장 먼저 하시는 말입니다.
안녕하세요, Sonetho입니다. ⚡
1탄(입문)과 2탄(부동산 사무소)을 보고 AI 전화 상담원을 만들어보신 분들에게서 반복해서 들어온 이야기가 있습니다.
대본은 완벽한데 화난 고객에게도, 계약이 성사된 순간에도 똑같은 톤으로 말한다는 것입니다.
사람이라면 목소리가 달라질 자리에서 안 달라지니, 듣는 쪽은 금방 "또 AI네" 하고 마음을 닫습니다.
일레븐랩스가 이 지점을 겨냥해 만든 기능이 표현 모드(Expressive mode)입니다.
⚠️ 먼저 밝혀둘 것이 있습니다. 이번에 새로 나온 기능은 아닙니다.
공식 블로그 기준 2026년 2월에 공개됐습니다.
그런데 공식 문서 페이지에는 날짜가 없어서 지금 처음 보시는 분이 많고, 저희도 시리즈를 쓰면서 이 질문을 가장 많이 받았습니다.
그래서 Expressive mode 설정법을 소개 드립니다.
🎭 1. 표현 모드는 두 가지가 같이 움직입니다
버튼 하나로 감정을 넣는 기능이 아니라, 대화 스택의 두 부분을 동시에 바꾸는 것입니다.
① Eleven v3 Conversational (읽는 쪽)
v3를 실시간 대화용으로 지연을 낮춘 모델입니다. 핵심은 대화 맥락을 턴 사이에 들고 간다는 점입니다.
사용자가 걱정하는 목소리면 더 차분하게, 정확히 전달해야 할 대목에서는 더 또박또박 바꿉니다.
② 새 턴테이킹 시스템 (듣는 쪽)
언제 말하고 언제 기다릴지를 Scribe v2 Realtime의 실시간 신호로 판단합니다.
전사된 글자만 보는 게 아니라 어떻게 말했는지(억양)까지 봅니다.
공식 문서가 든 예가 직관적입니다.
"네"라는 한 마디는 대답을 끝낸 것일 수도 있고 말을 이어가려는 신호일 수도 있습니다.
글자만 보면 구별이 안 되지만 말투를 보면 갈립니다. 이걸 보고 끼어들 타이밍을 잡습니다.
그래서 표현 모드를 켜면 목소리에 감정이 붙는 것과, 말 끊김이 줄어드는 것이 같이 옵니다.
⚙️ 2. 켜는 법은 모델 하나 바꾸는 것입니다
별도 스위치가 없습니다. TTS 모델을 V3 Conversational로 고르면 표현 모드가 기본으로 켜집니다.
대시보드에서
에이전트를 열고 Agent Voice 탭으로 가서 Text to Speech 모델을 V3 Conversational로 바꾸고 저장하면 끝입니다.
CLI에서
elevenlabs agents pull --agent "<에이전트-이름>"받아온 agent_configs/<에이전트-이름>.json에서 conversation_config.tts.model_id를 이렇게 바꿉니다.
{
"conversation_config": {
"tts": {
"model_id": "eleven_v3_conversational"
}
}
}elevenlabs agents push --agent "<에이전트-이름>"
API에서
from elevenlabs import ElevenLabs
elevenlabs = ElevenLabs()
elevenlabs.conversational_ai.agents.update(
agent_id="여기에_에이전트_ID",
conversation_config={
"tts": {"model_id": "eleven_v3_conversational"},
},
)
📝 3. 톤은 시스템 프롬프트로 지시합니다
모델만 바꿔놓고 끝내면 감정 폭은 넓어져도 어디서 어떻게 쓸지는 모델 마음입니다.
브랜드 톤이나 응대 규정이 있는 곳이라면 시스템 프롬프트에 적어줘야 일정해집니다.
방법 ①: 넓게 방향만 준다
당신은 고객 지원 상담원입니다. 사용자가 답답해하거나 화가 난 것처럼 들리면
차분하고 안심시키는 톤으로 답하세요. 좋은 소식을 전할 때는 목소리에 진심 어린
따뜻함이 묻어나게 하세요. 전체적으로는 전문적이되 다가가기 쉬운 말투를 유지하세요.
방법 ②: 상황별로 못 박는다
톤 가이드라인:
- 사용자가 불만을 표현하면 차분하고 공감하는 톤을 쓴다
- 기술적인 절차를 설명할 때는 또렷하고 일정한 속도로 말한다
- 사용자가 좋은 소식을 전하면 따뜻하고 밝게 반응한다
- 컴플레인을 다룰 때는 침착하게, 해결 중심으로 말한다
공식 문서는 모든 상황마다 태그를 붙일 필요는 없다고 말합니다.
위처럼 자연어로 적어두면 모델이 맥락에 맞춰 해석합니다.
실무에서는 ②가 안전합니다. 응대 규정이 있는 업종이라면 "어떤 상황에서 어떤 톤"을 문장으로 남겨두는 편이 나중에 검수하기도 쉽습니다.
🏷️ 4. 특정 순간만 태그로 집습니다
맥락 기반 조절 위에, 특정 대목만 명시적으로 지정할 수 있습니다.
LLM이 답변 안에 태그를 직접 출력하는 방식입니다.
[laughs]웃음을 섞습니다[whispers]목소리를 낮춰 속삭입니다[sighs]한숨 섞인 느낌을 줍니다[slow]말 속도를 늦춥니다[excited]들뜬 느낌을 줍니다
★여기가 가장 많이 오해받는 부분입니다. 태그 하나가 문장 전체를 바꾸지 않습니다.
각 태그는 뒤따르는 4~5단어 정도에만 영향을 주고 원래 톤으로 돌아옵니다.
그래서 "문장 앞에 하나 박아두면 되겠지" 하고 쓰면 기대한 만큼 안 바뀝니다.
효과를 주고 싶은 자리 바로 앞에 붙여야 합니다.
공식 예시는 이렇습니다.
"That's great to hear! [laughs] I'm glad we could sort that out for you."
태그 자체가 처음이시라면 v3 태그를 본격적으로 다룬 일레븐랩스 프롬프트 완벽 가이드를 먼저 보시는 편이 빠릅니다.
감정·효과음 태그와 발음·끊어읽기까지 거기서 정리했습니다.
⚠️ 5. 켜기 전에 꼭 확인할 한계
공식 문서가 한계로 명시한 것이 셋인데, 첫 번째가 특히 중요합니다.
① 전문 음성 복제(PVC) 특성이 보존되지 않습니다
돈과 시간을 들여 대표님 목소리나 성우 목소리를 PVC로 만들어 쓰고 계시다면 이 항목이 도입 판단을 가릅니다.
Eleven v3 Conversational은 PVC 특성을 지금은 잘 보존하지 못합니다.
결과물이 원래 그 목소리처럼 안 들릴 수 있습니다.
공식 문서의 권고도 분명합니다. PVC 목소리 정체성이 중요하다면 Flash v2를 쓰라는 것입니다.
즉 "감정이냐, 그 사람 목소리냐"를 골라야 하는 상황입니다. 둘 다는 아직 안 됩니다.
② 태그 효과는 4~5단어입니다
위에서 다뤘습니다. 긴 문장을 통째로 바꾸는 용도가 아닙니다.
③ 목소리와 언어마다 편차가 있습니다
지원 언어는 70개 이상으로, Flash 계열의 약 32개에서 크게 늘었습니다.
일본어처럼 그동안 뉘앙스가 약했던 언어가 좋아졌다고 공식 문서가 따로 언급합니다.
다만 표현력이 언어마다 고르지 않다는 것도 같은 문서에 적혀 있습니다.
한국어로 응대할 에이전트라면 실제 쓸 목소리로, 한국어로 직접 몇 번 돌려보고 판단하시는 게 맞습니다. 영어 데모가 좋다고 한국어도 같지 않습니다.
💰 6. 비용은 안 올라갑니다
의외로 이 질문이 많은데, 공식 FAQ의 답은 "아니요"입니다.
Eleven v3 Conversational은 에이전트의 다른 TTS 모델과 같은 단가이고 분당 $0.08부터 시작합니다. 표현 모드를 켠다고 붙는 추가 요금은 없습니다.
통화량 기준으로 월 얼마가 나올지는 요금 계산기에서 분 단위로 넣어보실 수 있습니다.
✍️ 마치며
정리하면 이렇습니다.
켜는 법: TTS 모델을 V3 Conversational로. 그게 전부입니다
다듬는 법: 상황별 톤을 시스템 프롬프트에 문장으로 적어둡니다
집는 법: 바꾸고 싶은 자리 바로 앞에 태그를 붙입니다(4~5단어만 갑니다)
거르는 법: PVC를 쓰고 계시면 먼저 비교해보고 결정하십시오
읽어주셔서 감사합니다. ⚡