실시간 통신, 미디어 처리, AI 통합에 대한 심층 분석.
Agora SDK를 중심으로 프로덕션 레벨의 구현을 다룹니다.
primary 카테고리 또는 태그로 AI에 속한 글을 모두 표시합니다.
TEN Framework의 TTS 확장을 개발하면서 마주치는 핵심 설계 결정을 정리합니다. AsyncTTS2HttpExtension과 AsyncTTS2WSExtension이 Template Method 패턴으로 어떻게 복잡한 큐 관리·TTFB 계측·에러 핸들링을 숨기는지, HTTP와 WebSocket 각각의 TTFB 차이(~300ms vs ~50ms), 그리고 chunk_size 4096B 권장치의 근거를 인터랙티브하게 탐색합니다.
한국어로 말하는데 화면에는 곧바로 영어 자막이 뜨게 하려면 어떻게 해야 할까요? 클라이언트가 직접 음성을 인식하는 게 아니라, Agora ConvoAI 에이전트가 클라우드에서 RTC 채널에 들어와 음성을 듣고 인식과 번역 결과를 DataStream으로 돌려보내는 구조입니다. 이 글은 UDP 크기 제한 때문에 잘게 쪼개져 오는 청크를 어떻게 재조립하고, turn_id 기반 카드와 세그먼트, 1초 디바운스로 연속 발화를 자연스럽게 묶어 화면에 보여주는지까지 차근차근 짚어줍니다.
사용자가 말하면 AI가 음성으로 답하는 실시간 에이전트, 막상 만들려고 하면 트랜스크립트가 깨져서 나오는 순간 막막해집니다. 이 글은 Agora Conversational AI로 음성 AI를 구축하는 전 과정을 따라갑니다. LLM과 TTS 키를 서버에만 두는 토큰 설계부터, RTC로 받은 트랜스크립트를 여러 프레임으로 쪼개진 채 도착하는 청크에서 다시 조립하는 방법, RTM 텍스트 전송, 그리고 에이전트 상태 표시와 마이크 권한 타이밍 같은 실전 노하우까지 코드로 정리했습니다.