실시간 통신, 미디어 처리, AI 통합에 대한 심층 분석.
Agora SDK를 중심으로 프로덕션 레벨의 구현을 다룹니다.
primary 카테고리 또는 태그로 AI에 속한 글을 모두 표시합니다.
TEN Framework main의 OpenAI·ElevenLabs TTS extension을 실제 소스 기준으로 읽습니다. Extension이 config와 client 생성을 맡고 vendor client가 합성·취소·정리를 처리하는 경계, OpenAI의 재사용 HTTP/2 client, ElevenLabs의 WebSocket 입력 흐름을 비교합니다. 지연과 chunk 크기는 고정 권장값 대신 provider 문서와 서비스 환경의 계측값으로 판단합니다.
Agora Real-Time STT 작업이 RTC channel의 audio를 전사하고 Beta 번역 결과를 DataStream으로 전달하는 흐름을 설명합니다. 공식 `SttMessage.proto` schema로 payload를 역직렬화하고 `(uid, sentence_id)` 단위로 중간 결과를 갱신합니다. UI debounce는 protocol 규칙이 아닌 application 정책으로 분리합니다.
Agora Conversational AI session 생성과 RTC·RTM 권한, provider credential의 server-side 보관, client event 처리 흐름을 구현합니다. Transcript chunk는 사용하는 toolkit의 schema와 sequence 정보를 기준으로 조립하고, agent 상태·microphone permission·cleanup을 명시적으로 관리합니다.