Slack Thread · Detail

채널톡 ALF 도입 — 반대 사유 상세

슬랙 의견 정리 보충자료. 4가지 반대 사유를 비주얼하게 정리한 문서입니다.

작성 · Webling AI팀 (Hian) 일자 · 2026-04-29
결론
전면 도입 반대

편의 보고 들어가려 했는데 편의가 사라졌고, AI 우위도 명확하지 않으며, CS 자율 운영도 결국 개발자 손으로 회귀합니다.

§ 0 · CONTEXT

먼저 알아둘 것 — Phase 1 / Phase 2 가 뭔가요?

채널톡이 우리에게 보낸 도입 로드맵은 두 단계로 나뉩니다. 본문 이해를 위해 먼저 짚고 갑니다.

Phase 1 · 즉시 구축
규칙 9개 + RAG 25개 등록
API 개발 없이 채널톡 ALF 화면에서 즉시 등록 가능
  • 톤앤매너 + 필수 응대 규칙 9종
  • Priority 1 RAG 17개 (주문/결제/배송/일본)
  • Priority 2 RAG 8개 (폴백 정보)
  • 예상 커버리지: 전체 문의의 25~35%
공수 · 즉시 / 추가 비용 없음
Phase 2 · API 연동
Task 7개 + API 14개 연동
개발팀 협업으로 2~3개월 내 구축 (채널톡 공식 표기)
  • 필수 API 9개 (조회 5 + 쓰기 4)
  • 선택 API 5개 (Phase 2 후반)
  • Task 7개 플로우차트 + 에스컬레이션 조건
  • 예상 커버리지: 누적 55~70%
공수 · 2~3개월 / 외주 개발비 별도 견적
핵심 포인트

우리가 원하는 시나리오(편집기·주문 커스텀·다국어)는 거의 다 Phase 2에서야 가능합니다. 즉, Phase 1만으로는 의미 있는 도입이 안 되고, Phase 2가 사실상 본 게임입니다.

§ 1 · WHY-IN

① 도입 이유 두 축이 모두 무너졌습니다

우리가 채널톡 ALF를 검토한 이유는 두 가지였어요. 둘 다 근거가 사라졌습니다.

축 1
운영 편의 / 공수 절감
기대
CS팀이 알아서 운영하고, 개발팀 손은 덜 가게 하자
현실
우리가 원하는 건 거의 다 Phase 2 → 2~3개월 개발 프로젝트 + 외주 별도 견적
→ 자체 챗봇 공수와 사실상 동일하거나 더 큼
축 2
AI 지향 / 더 나은 엔진
기대
우리 자체 챗봇보다 더 똑똑한 AI를 쓰자
현실
ALF는 OpenAI ChatGPT를 그대로 쓰는 구조(자체 모델 없음). 우리가 직접 OpenAI 쓰는 것과 본질 같음
→ AI 우위 명분 소실, 오히려 통제력은 줄어듦
정리

편의도 없고, AI 매력도 없습니다. 도입 이유가 이미 두 축에서 모두 무너진 상태에서 진행하는 건 합리적이지 않습니다.

§ 2 · AI 성능

② AI 성능도 명확한 우위가 안 보입니다

채널톡이 공개한 자료 기준으로 보면, 광고에 자주 나오는 80%는 자기네 회사 사례 체리픽이고, 전체 고객사 평균은 절반에도 못 미칩니다.

고객사별 ALF 해결률 (채널톡 공개 자료)
채널톡 자사 (피크 · 추석 연휴)
85%
채널톡 자사 (광고용 · 체리픽)
80%
이스타항공 (단순반복 많음)
74%
베리시 (단순 정보 위주)
51%
전체 고객사 평균 (2,000개사 / 130만 건)
45%
출처: 채널톡 공식 통계 (2025-11). 우리 같은 일반 고객사가 도달할 현실 기대치는 평균 45% 수준입니다.
0.48 Recall@5
검색 정확도 — 절반 수준
사용자 질문에 대해 가장 관련 있는 문서 5개를 찾는 정확도가 48%. 더구나 테스트셋이 35개에 불과해 통계 신뢰도도 약합니다.
단, 자체 테스트는 미실시

우리가 직접 부하/품질 테스트를 한 건 아닙니다. 그래서 모델 성능 자체를 "확정적으로 별로다" 라고 단정하지는 않습니다. 다만 공개 수치 + 데모 인상으로는 자체 챗봇 대비 우위가 보이지 않는다는 정도입니다.

§ 3 · 운영 자율성

③ CS팀 자율 운영이 결국 안 됩니다 (결정타)

ALF의 진짜 강점은 AI 성능이 아니라 CS 상담사가 쓰는 운영 UI와 통계 대시보드입니다. 이 부분은 분명 좋습니다. 인정.

그런데 운영하면서 매일 일어나는 작업이 누구 손에 묶이는지 보면 — 정작 가장 자주 일어나는 일들이 전부 개발자 손에 묶입니다.

운영 작업 CS팀 직접 개발자 필요
FAQ 문서 추가 ✓ —
새 응대 규칙(Rule) 추가 — ✗
새 시나리오(Task) 조립 — ✗
새 API 연동 (주문조회·취소 등) — ✗
25% CS팀이 직접 가능
75% 개발자 작업 필요
핵심 모순

CS 운영의 핵심은 "새로운 케이스가 생길 때마다 룰/시나리오를 추가하는 일"입니다. 이게 75% 비중으로 개발자에게 묶이면 "개발자 손 거치지 않고 CS팀 자율 운영" 이라는 도입 명분 자체가 무너집니다.

대안 제안

자체 챗봇을 유지하면서, CS팀이 직접 쓸 수 있는 셀프서비스 레이어(FAQ 에디터, 페르소나 설정 UI, 해결률 대시보드)를 자체로 추가하는 쪽이 비용·시간·자율성 모두 낫습니다.

§ 4 · 비용

④ 비용 구조도 불투명합니다

비용이 세 군데서 들어옵니다. 그 중 두 곳이 변동·미확정 이라 월 비용 예측이 어렵습니다.

📌
ALF 라이선스 (월 정액)
Growth 플랜 기준 정해진 금액. 예측 가능.
고정
⚠️
Phase 2 외주 개발비 (별도 견적)
"API 범위와 내부 시스템 연동 복잡도에 따라 상이" — 현시점 산정 자체 불가.
미확정
📈
상담 1건당 과금 (변동)
3개 브랜드 트래픽 합산 시 변동성 큼. Growth 기본 제공량 초과분이 매월 다름.
변동
정리

고정 + 미확정 + 변동, 3중 불투명 구조. 도입 후 "생각보다 많이 나오는" 리스크가 큽니다. ROI 계산이 시작 전부터 어려운 상태입니다.

§ 5 · 결론

최종 권고

전면 도입 반대 — 자체 시스템 강화로 방향 전환

편의 보고 들어가려 했는데 편의가 사라졌고(§1), AI 우위도 명확하지 않으며(§2), CS 자율 운영도 결국 개발자 공수로 돌아오고(§3), 비용 구조도 불투명합니다(§4). 도입할 이유 자체가 부족합니다.

권장 방향

  • 자체 챗봇 (cs-agent) 유지 — 현재 운영 중인 시스템을 기본으로
  • CS팀 셀프서비스 레이어 자체 구축 — 노션형 FAQ 에디터, 페르소나 설정 UI, 해결률·CSAT 대시보드
  • (옵션) 채널톡 POC만 한정 시도 — 1개 브랜드, 2~4주, 합격 기준 사전 합의 (해결률 ≥ 60%, p95 latency, 월 비용 상한)