실시간 통신, 미디어 처리, AI 통합에 대한 심층 분석.
Agora SDK를 중심으로 프로덕션 레벨의 구현을 다룹니다.
OBS/FFmpeg 설정 화면에서 만나는 x264 옵션을 하나씩 해부. ref=1 vs ref=4, tune=zerolatency가 내부에서 끄는 6가지 옵션, profile=main+bframes=0 조합의 이유, '키프레임 2초'가 업계 표준인 5가지 근거(HLS 세그먼트·채널 조인 대기·PLI 복구·대역폭·업계 관행), 30fps→keyint=60 / 60fps→120 환산까지.
B-frame은 왜 미래를 알고 있는가? 인코더 버퍼링의 실체, STEP 1~5로 따라가는 인코딩 흐름, '기분 문자 메시지' 비유, I:P:B = 100:40:20 압축 효율, GOP 구조, 재배열 ≠ 끊김, 1시간 영화 28GB 절약의 수학적 근거, VOD ✅ / WebRTC ❌ 사용 범위에 Bonus로 'B-frame은 오디오와 관계 있나?'(Opus 블록, 립싱크 간접 경로)까지.
Constrained Baseline vs Main vs High, Main/High + bframes=0이 실용 답인 이유, MTI(Mandatory To Implement) 개념, x264 threads 옵션, 하드웨어 vs 소프트웨어 인코더 (chrome://webrtc-internals 확인법), 720p@30fps = 663 Mbps 무압축을 ~300배 압축한 결과인 1.5~2.5 Mbps의 수학적 근거, 해상도/FPS별 비트레이트 표까지.
아날로그 TV의 Interlaced 비월 주사에서 디지털 Progressive로, 720p의 p의 정체, I/P/B-frame 용량 차이(100:15:8), WebRTC가 I+P만 쓰는 구조적 이유, GOP 길이 트레이드오프, PLI/FIR RTCP 피드백 루프, B-frame의 양방향 참조 그물망이 장애 복구를 어렵게 만드는 방식, 전송 순서 ≠ 표시 순서로 발생하는 look-ahead 지연까지 다이어그램으로 정리.
Origin → Wowza → Agora Media Gateway → SDRTN → Web SDK 경로에서 발생한 영상 freeze의 근본 원인은 송출단 H.264 Main profile + B-frame. Media Gateway가 '가상 호스트'로 작동하는 내부 설계(스트림 키 인코딩, 패스스루 vs 엣지 트랜스코딩), DTS/PTS 분리와 RTP 단일 타임스탬프 모델의 충돌, libwebrtc가 Constrained Baseline을 쓰는 이유, 4개 격리 테스트, Baseline / Main+bframes=0 / bitrate 하향 처방까지.
ADC→PCM→전처리(AEC/AGC/NS)→Opus 인코딩→RTP→UDP→Jitter Buffer→디코딩→DAC→스피커. 코덱 선택(Opus/µ-law/AAC/MP3) 의사결정 트리, WebRTC·Agora SD-RTN 흐름, 인코딩·트랜스코딩·패키징 차이까지.
PCM은 사진 RAW 같은 인코딩 방식이고 WAV는 컨테이너. Linear PCM vs µ-law 차이, fmt chunk 읽는 법, sample rate·channel·bit depth 틀리면 깨지는 이유, 브라우저 PCM 재생(AudioContext), WAV→MP3 ffmpeg 변환까지.
마이크가 공기 진동을 전기로 바꾸는 원리, ADC의 샘플링과 양자화, PCM 원본 데이터, MP3 심리음향 압축(주파수/시간 마스킹), 디코딩과 DAC, 스피커가 숫자를 소리로 바꾸는 전체 과정.
Google TTS API 호출, SHA-256 hash 기반 중복 방지, DB vs R2 캐시 조회 전략, fire-and-forget 패턴, 2단계 Rate Limit까지. 서버 사이드 오디오 파이프라인을 코드 레벨에서 해부합니다.
컴퓨터 안에서 소리는 숫자이고, 숫자를 텍스트로 옮기는 규칙이 base64. MP3 파일 구조, 6비트씩 자르는 이유, 33% 용량 증가의 원리, Buffer와 Uint8Array 차이까지.
해상도는 캔버스 크기, Bitrate는 물감의 양. Resolution×FPS×Bitrate 삼각관계, Cloud Recording 재인코딩 손실, HLS에서 ffprobe bitrate가 N/A인 이유, 화질 디버깅 5단계 체크리스트.
Individual 녹화 파일을 프로덕션 VOD로 만드는 전체 여정. M3U8→MP4 변환, 타임스탬프 동기화, 멀티유저 그리드 합성, 트랜스코딩 품질 제어, 자동화 스크립트까지.
Container와 Codec의 차이, Stream 개념, -c copy vs Transcoding, FFmpeg 내부 5단계 파이프라인, SRS 리패키징 서버 실전 예시(RTMP→디먹서→HLS/WebRTC 분기 먹서)까지 해부합니다.
MP4의 moov atom 한계, TS 패킷 188바이트 구조, I/P/B-frame 슬라이싱 규칙, Agora 전용 M3U8 태그까지 HLS를 프로토콜 수준에서 해부합니다.
같은 채널을 3가지 방식으로 녹화할 때 내부에서 일어나는 일. PCM 오디오 믹싱, YUV 비디오 컴포지팅, Headless Browser 캡처까지.
데이터 주권, 실시간 AI 처리가 필요할 때. On-Premise Recording SDK 아키텍처와 Cloud vs Local 의사결정 프레임워크.
통화가 끝나면 사라지는 실시간 통신. Ghost Participant 패턴, Recording Lifecycle, 인증 체계 분리까지 Cloud Recording 아키텍처를 해부합니다.
Cloud Recording의 HLS 실시간 업로드 구조, 네트워크 끊김 시 TS 파일 복구, MP4 분할 조건, 그리고 presigned URL로 녹음을 재생하는 실제 코드를 정리합니다.
AI STT Agent가 RTC 채널에서 음성을 인식하고 번역하는 구조, DataStream 청크 프로토콜, 카드 시스템의 동작 원리를 정리합니다.
Agora는 자체 솔루션 Cloud Proxy로 기업 방화벽을 우회합니다. Firewall Whitelist(도메인·포트)와 Cloud Proxy(TCP 443, SD-RTN®) 두 가지 방식을 정리합니다.
공유기(NAT)와 방화벽이 P2P 연결을 막는 이유, NAT 4가지 타입, 그리고 TURN이 필요한 상황을 한눈에 정리합니다.
브라우저 간 실시간 통신의 기반이 되는 WebRTC와, P2P 연결을 가능하게 하는 NAT·STUN·TURN·ICE 개념을 정리합니다.
Agora Cloud Recording API를 사용하여 오디오/비디오 스트림을 자동으로 녹화하고 클라우드 저장소에 저장하는 방법을 알아봅니다.
Next.js와 Agora Web SDK를 사용하여 고품질 화상 통화 애플리케이션을 만드는 방법을 단계별로 알아봅니다.
Agora RTM을 사용하여 확장 가능한 실시간 메시징 시스템을 구현하는 모범 사례를 공유합니다.
호스트/시청자 역할과 Agora Web SDK를 사용해 라이브 스트리밍을 구현하는 방법을 단계별로 알아봅니다. 쇼핑 라이브, 웨비나, 이벤트 방송에 활용할 수 있습니다.
Conversational AI를 활용하여 실시간 AI 에이전트를 구축하고 Agora와 통합하는 전체 프로세스를 설명합니다.
시리즈: 실시간 통화, 어떻게 녹화하는가
포스트 12–17은 연재 글입니다. 순서대로 읽으시면 전체 맥락을 이해할 수 있습니다.