AI 음성 텍스트 변환 5종 한국어 정확도 비교 — Whisper Naver CLOVA Otter

회의록·인터뷰·강의 녹음을 자동으로 텍스트화하는 STT(Speech to Text) 도구 5종 비교 후기예요. 저도 작년부터 회의록 손으로 정리하는 시간 줄이려고 5종 다 써봤거든요.

결론부터 말하면 한국어는 Naver CLOVA Note가 가장 편했고, 영어 혼용은 Whisper가 안정적이었어요. 5종의 강점·약점과 용도별 추천을 정리했어요. 요금제와 무료 한도는 서비스마다 자주 바뀌니, 결제 전에는 각 공식 페이지에서 최신 조건을 확인하세요.

비교 대상 5종 개요

무료 한도와 구독료는 서비스별로 다르고 개편도 잦아요. 아래 각 도구 설명에서는 성격과 강약점 위주로 보시고, 금액은 공식 페이지에서 직접 확인하는 걸 권해요.

Naver CLOVA Note (1위 — 한국어 최강)

한국어 회의·인터뷰 1순위.

장점

• 한국어 인식이 안정적 (전문 용어·고유명사에 강한 편)
• 발화자 자동 구분
• AI 자동 요약 + 핵심 키워드
• 한국에서 접속 시 응답이 빠른 편
• 개인 사용량이라면 무료 범위로도 시작 가능

단점

• 영어·중국어가 섞이면 인식률이 눈에 띄게 떨어짐
• 음악·잡음이 섞인 녹음에 약함
• 데이터 보안 측면 (네이버 클라우드 저장)

가격

• 무료 범위가 있고, 그 이상은 월 구독 플랜
• 무료 한도와 구독료는 공식 페이지에서 확인

추천 용도

• 한국어 회의·인터뷰
• 일반 강의·세미나
• 본인 음성 메모 정리

Daglo (2위 — 한국 스타트업)

CLOVA 대안, 가성비 좋음.

장점

• 한국어 인식이 안정적
• 변환 속도가 빠른 편
• AI 요약 + 토픽 분류
• 깔끔한 UI

단점

• 한국어 체감 정확도는 CLOVA보다 조금 아래라는 평
• 영어 처리 부족
• 무료 범위가 CLOVA보다 좁은 편

가격

• 무료 범위가 있고, 그 이상은 월 구독 플랜
• 무료 한도와 구독료는 공식 페이지에서 확인

추천 용도

• CLOVA 무료 한도 소진 시 보조
• UI 깔끔함 선호

OpenAI Whisper (3위 — 셀프호스팅·영어 혼용)

기술자·민감 정보 처리에 최적.

장점

• 무료 (셀프호스팅 시)
• 다국어 100+ 지원
• 영어 혼용 안정적
• 데이터 외부 유출 0 (셀프)

단점

• 한국어만 놓고 비교하면 CLOVA보다 살짝 아래
• 발화자 구분 별도 후처리 필요
• 셀프호스팅 시 GPU 필요

가격

• 셀프호스팅: 무료 (PC 사양 필요)
• API·클라우드: 사용량 기준 종량제 (요금은 공식 페이지 확인)

추천 용도

• 법무·의료·금융 민감 정보
• 영어·중국어 혼용 회의
• 처리량이 꾸준히 많은 경우

Otter (4위 — 실시간 회의 자막)

영어 회의 실시간 자막에 강함.

장점

• 실시간 자막 + 검색
• Zoom·Google Meet 통합
• 영어 인식이 우수
• 협업 노트 기능

단점

• 한국어 인식이 눈에 띄게 약함
• 한국어 발화자 구분 부정확
• 국내 서비스 대비 구독료 부담

가격

• 무료 범위가 있고, 그 이상은 월 구독 플랜
• 정확한 요금은 공식 페이지에서 확인

추천 용도

• 영어 회의 실시간
• 글로벌 팀 회의

Google Gemini Audio (5위 — 멀티모달 처리)

AI와 통합된 음성 처리.

장점

• 음성 + 이미지 + 텍스트 통합 분석
• 한국어 인식은 무난한 수준
• AI 답변 자동 생성
• 무료로 시험해 볼 범위가 있음

단점

• API 사용 시 코딩 필요
• UI 도구 부재 (Gemini Studio)
• 사용 사례 제한적

가격

• 무료: 분당 한도 있음
• 종량제: 분당 매우 저렴

추천 용도

• AI 개발자
• 음성 + 이미지 동시 분석

내 녹음으로 직접 비교하는 법

STT 정확도는 공개된 벤치마크 숫자보다 본인 녹음 조건에 훨씬 크게 좌우돼요. 같은 도구라도 조용한 1대1 인터뷰와 5명이 겹쳐 말하는 회의실 녹음의 결과가 완전히 달라지거든요. 그래서 남의 순위표를 믿기보다 30분만 들여 직접 비교해 보는 걸 권해요.

비교 절차

1. 평소와 같은 조건으로 10분짜리 샘플 녹음을 하나 준비하세요. 일부러 또박또박 말한 녹음은 실제 사용 환경을 대표하지 못해요.
2. 같은 파일을 각 서비스 무료 범위에서 돌리세요. 도구마다 계정만 만들면 몇 분 분량은 무료로 시험할 수 있어요.
3. 결과를 눈으로 대조하세요. 전체를 다 볼 필요 없이 처음 3분만 원본 음성과 나란히 확인해도 차이가 드러나요.

볼 항목 네 가지

• 고유명사와 전문 용어: 회사명·제품명·업계 용어를 얼마나 잡아내는지. 여기서 도구별 차이가 가장 크게 벌어져요.
• 영어 단어 처리: API·KPI 같은 약어를 영문으로 적는지, 한글 발음으로 적어버리는지 확인하세요.
• 발화자 구분: 화자가 여러 명이면 누가 말했는지 자동으로 나눠주는지, 그 구분이 실제로 맞는지 보세요.
• 문장 부호와 문단: 마침표와 줄바꿈이 자연스러운 도구는 후처리 시간이 크게 줄어요.

이 네 가지를 본인 녹음으로 확인하면 어떤 도구를 결제할지 답이 거의 나와요. 아래 용도별 매트릭스는 그 판단을 좁히는 출발점으로 쓰세요.

용도별 추천 매트릭스

정확도 올리는 5가지 팁

도구 무관 적용 가능한 팁.

1. 외장 마이크 사용

핸드폰·노트북 내장 마이크를 외장 USB 마이크로 바꾸는 것만으로 결과가 확 달라져요. 도구를 바꾸는 것보다 효과가 큰 경우가 많아요.

2. 화자 거리 1m 이내

마이크와 화자 거리가 멀어질수록 급격히 정확도 하락.

3. 잡음 제거 사전 처리

Audacity 같은 도구로 배경 노이즈 제거 후 STT 처리.

4. 전문 용어 사전 등록

CLOVA·Daglo는 사용자 사전 기능 제공. 회사명·전문 용어 미리 등록.

5. AI 후처리

STT 결과를 Claude/ChatGPT로 다시 한 번 다듬기. 오타·문법·맥락 보정.

참고 자료

• Naver CLOVA Note (clovanote.naver.com)
• Daglo (daglo.ai)
• OpenAI Whisper GitHub (github.com/openai/whisper)
• Otter.ai (otter.ai)
• Google Gemini API (ai.google.dev)

비슷한 AI 도구 가이드로 AI 번역기 5종 한국어 정확도나 Slack Otter AI 회의록, n8n 워크플로 GPT 연동도 함께 보세요.

결론 — 한국어 회의는 CLOVA, 그 외는 Whisper

한국어 회의록·인터뷰는 Naver CLOVA Note가 1순위예요. 안정적인 한국어 인식에 발화자 구분과 자동 요약까지, 한국어 사용자에게 필요한 기능이 한곳에 모여 있어요.

영어 혼용 또는 민감 정보 처리는 Whisper 셀프호스팅이 답. 무료 + 데이터 보안 + 영어 강함의 조합. 본인 사용 패턴에 맞게 1~2개만 골라서 익숙해지는 게 효율 최대화 비결입니다.

도입 첫 달, 이 순서로 밟으면 실패가 적어요

처음부터 결제하고 전 회의에 적용하면 십중팔구 흐지부지돼요. 4주에 걸쳐 조금씩 넓히는 순서를 권해요.

• 1주차 — 무료 범위로 한 종류만. 도구를 여러 개 깔지 말고 하나만 골라 회의 두세 개에 써보세요. 이 주의 목표는 시간 절감이 아니라 "내 녹음이 어느 정도로 변환되는지" 감을 잡는 거예요.
• 2주차 — 녹음 환경부터 손보기. 1주차 결과가 실망스러웠다면 도구가 아니라 마이크 문제일 가능성이 높아요. 회의실 천장 마이크 대신 본인 노트북에 외장 USB 마이크를 연결하고, 같은 조건에서 다시 돌려 비교해 보세요.
• 3주차 — 예외 상황 확인하기. 영어가 많이 섞이는 회의, 화자가 겹쳐 말하는 회의처럼 조건이 나쁜 녹음을 일부러 넣어보세요. 한국어 전용 서비스가 흔들리는 지점을 여기서 파악해 두면, 회의 성격에 따라 도구를 나눠 쓰는 기준이 생겨요.
• 4주차 — 후처리까지 묶어 흐름 만들기. 변환 결과를 그대로 두지 말고 Claude·ChatGPT로 "결정 사항 / 액션 아이템 / 다음 논의 주제"로 정리한 뒤 노션이나 사내 문서함에 저장하는 데까지 한 흐름으로 만드세요. 이 단계까지 와야 회의록이 실제로 쓰이는 문서가 돼요.

결제 판단은 4주차 이후에 해도 늦지 않아요. 무료 한도를 다 쓸 만큼 실제로 사용하고 있다면 그때가 유료 전환 시점이고, 한도가 남아돈다면 애초에 필요하지 않았던 거예요.

환경별 추천 마이크와 녹음 세팅

마이크 선택이 정확도에 미치는 영향이 절대적이에요. 환경별 권장 세팅을 정리한 표예요.

제품 선택보다 중요한 건 유형과 거리예요. 회의실에 콘퍼런스 마이크가 설치돼 있어도, 천장이나 벽에 붙어 있어 화자와 거리가 멀면 본인 노트북에 연결한 외장 USB 마이크 쪽 결과가 더 나은 경우가 많아요. 구입 전에는 현재 쓰는 마이크로 먼저 녹음해 보고, 결과가 아쉬울 때 유형을 바꾸는 순서로 접근하세요.

흔한 함정과 회피법

STT 도입 첫 달에 가장 많이 부딪치는 5가지 함정과 해결책이에요.

• 회의실 천장 마이크에 의존: 천장이나 벽에 붙은 마이크는 화자와 거리가 멀어 인식이 흐려져요. 노트북에 연결한 외장 USB 마이크를 화자 가까이 두는 것만으로 결과가 확 달라져요
• 녹음 파일 그대로 STT 처리: 회의실 에어컨과 노트북 팬 소음이 인식을 방해해요. Audacity로 노이즈 게이트를 한 번 돌리는 데는 얼마 안 걸리는데 결과 차이는 커요
• 민감 정보 회의 CLOVA 사용: 인사·법무·재무 회의는 클라우드 STT 약관상 위험해요. 셀프호스팅 Whisper로 처리하거나 회의록 정리 자체를 포기하세요. 정보보안팀 확인 필수
• AI 요약 결과 그대로 보고: 어떤 도구든 발화자 이름·전문 용어·신조어에서는 어김없이 틀려요. 배속으로 결과를 한 번 훑어보는 검수 과정은 빼먹지 마세요
• 외장 마이크 없이 본업 도입: 무료 한도만 써보고 마이크를 안 바꾸면 "정확도 낮아서 못 쓰겠다"로 끝나요. 마이크가 도입 성공을 가르는 변수예요

자주 묻는 질문

CLOVA Note 무료 범위로 한 달 충분해요?

회의가 주 1~2개에 짧은 인터뷰 정도라면 무료 범위로도 대체로 버텨요. 반대로 주 5개 이상 회의를 하거나 강의 전체를 녹음하는 사용자는 첫 달 안에 한도를 넘기는 경우가 많아요. 한도를 다 쓴다는 건 그만큼 실제로 쓰고 있다는 뜻이니, 그 시점에 유료 전환을 검토하면 돼요. 무료 한도와 구독료는 공식 페이지에서 확인하세요.

Daglo와 CLOVA 중에서 한 가지만 고른다면요?

한국어 인식의 안정성과 발화자 구분 편의를 보면 CLOVA가 무난한 선택이에요. Daglo는 변환 속도가 빠른 게 강점이라, CLOVA 무료 한도가 부족할 때 보조로 함께 쓰는 조합도 괜찮아요. 두 서비스 모두 무료 범위가 있으니 같은 녹음 파일로 한 번씩 돌려보고 결정하는 게 제일 확실해요.

Whisper 셀프호스팅에 어떤 PC 사양이 필요해요?

중급 이상 외장 GPU가 있는 데스크톱이나 애플 실리콘 맥북이면 무난하게 돌아가요. GPU 없이 CPU만 쓰면 처리 시간이 크게 늘어서 실용성이 떨어져요. 사양이 부담이면 Replicate 같은 클라우드에서 사용량만큼 내고 쓰는 방법도 있어요. 처리량이 꾸준히 많아지면 셀프호스팅 쪽이 유리해지는 구간이 와요.

발화자 구분 정확도가 떨어지는 경우는 언제예요?

인원이 많고, 발화가 자주 겹치고, 목소리 톤이 비슷할 때(같은 성별 동년배) 구분이 눈에 띄게 흔들려요. 회의 시작할 때 각자 "안녕하세요, 박○○입니다"처럼 한 줄씩 자기소개를 하면 구분 품질이 꽤 회복돼요. 몇 초 투자로 후처리 시간을 크게 아끼는 방법이에요.

영어 혼용 한국어 회의에서 가장 정확한 도구는요?

Whisper Large-v3 1순위. 한국어 정확도는 CLOVA보다 약간 낮지만 영어 단어(API, KPI, OKR 같은 IT 용어) 인식이 압도적. CLOVA는 영어 단어를 한글 발음으로 적어버림("에이피아이"로 잘못 인식). 한·영 혼용 비율 30% 이상 회의는 무조건 Whisper.

1시간 회의 녹음 파일 용량은 어느 정도예요?

MP3 128kbps 기준 약 60MB. WAV 무손실 기준 약 600MB. STT 처리에는 MP3로 충분. 단 음악·악기 같은 고주파 인식이 필요한 경우만 WAV. 회의실 녹음은 무조건 MP3 64~128kbps. 1년치 누적하면 압축 안 하면 수십 GB.

회의록 자동 정리 워크플로 어떻게 짜요?

표준 4단계예요. ① 녹음(외장 USB 마이크) ② STT 처리(CLOVA Note 자동 업로드) ③ Claude/ChatGPT 후처리("결정 사항 / 액션 아이템 / 다음 회의 주제 3섹션으로 정리") ④ 노션 자동 저장(API 연동 또는 수동 복붙). 총 처리 시간 회의 1시간당 약 15분. 매주 회의 5개 기준 주 1시간으로 정리 완료.

직장인 STT 도입 1년 차의 변화

STT 도입은 단기 효과보다 1년 단위 변화가 결정적이에요. 처음엔 회의록 작성 시간 단축에 초점을 두지만, 6개월 지나면 회의 자체의 질이 변하고 1년 지나면 본인 업무 패턴 자체가 바뀌어요. 단계별로 정리할게요.

첫 단계는 시간 절감이에요. 회의가 끝난 뒤 녹음을 다시 들으며 받아쓰던 과정이 사라지니, 회의록에 쓰던 시간이 눈에 띄게 줄어요. 다만 이 단계에서는 "빨라졌다" 이상의 변화는 잘 느껴지지 않아요.

다음은 회의 집중도예요. 받아쓰기에 신경 쓰지 않으니 토론 자체에 집중하게 되고, 발언이 늘고 의사결정에 직접 참여하는 비중이 커져요. 회의 태도가 달라졌다는 피드백을 동료에게 받는 경우도 있어요.

그다음은 검색이에요. 회의록이 쌓이면 "지난 분기 회의에서 결정된 예산"처럼 흩어져 있던 정보를 바로 찾을 수 있어요. 이미 내린 결정을 다시 논의하는 낭비가 줄고, 의사결정의 일관성이 팀 단위로 올라가요.

이후에는 후처리가 자동화돼요. STT 결과를 Claude·ChatGPT로 넘겨 결정 사항·액션 아이템·다음 논의 주제로 정리하는 흐름이 자리 잡으면, 회의록에서 본인 역할이 "쓰는 것"에서 "검토하는 것"으로 바뀌어요.

마지막은 업무 패턴 자체의 변화예요. 회의록 작성에 묶여 있던 시간이 본업 핵심 작업으로 옮겨가면서, 단순한 시간 절감을 넘어 성과가 달라지는 단계로 넘어가요. STT 도입의 진짜 효과는 이렇게 누적된 변화에서 나오니, 첫 달의 속도 개선에 만족하지 말고 흐름을 끝까지 만들어 보세요.