실시간 통신, 미디어 처리, AI 통합에 대한 심층 분석.
Agora SDK를 중심으로 프로덕션 레벨의 구현을 다룹니다.
primary 카테고리 또는 태그로 Fundamentals에 속한 글을 모두 표시합니다.
WebRTC가 ICE를 통해 host·server-reflexive·relay candidate를 점검하고, 환경에 따라 UDP 또는 TURN/TCP·TURN/TLS relay를 사용하는 방식을 설명합니다. Full Mesh에서는 참가자 수에 따라 각 client의 연결과 송신 복제량이 늘고, SFU는 일반적으로 media frame을 decode·mix·re-encode하지 않은 채 RTP packet을 선택 전달합니다. 실제 topology는 device·network·recording·E2EE 요구를 기준으로 부하 시험해 결정해야 합니다.
공통 C++ 코어를 Android와 iOS에 배포할 때 필요한 ABI별 빌드와 플랫폼 바인딩을 설명합니다. Android의 JNI와 shared library, iOS의 Objective-C++와 static library·XCFramework를 구분하고, 네이티브 코어 업데이트가 앱 재빌드와 배포를 요구하는 이유도 함께 다룹니다.
B-frame이 이전·이후 reference picture를 이용하는 방식과 display order·decode order가 달라지는 이유를 설명합니다. 재정렬 buffer와 timestamp, 압축 효율, latency의 tradeoff를 다루고, 실시간 전송에서 B-frame 사용 여부는 codec profile과 encoder·decoder 협상 결과로 확인합니다.
Interlaced와 progressive scan, intra·predictive·bi-predictive picture, GOP의 관계를 설명합니다. RTP video session에서 decoder가 reference picture를 잃었을 때 RTCP PLI·FIR가 요청하는 동작도 구분합니다. GOP 길이와 B-frame 사용 여부는 서비스 유형과 codec 협상에 따라 달라집니다.
마이크 입력이 ADC, audio processing, codec, RTP packetization, network, jitter buffer, decoder, DAC를 거쳐 재생되는 경로를 설명합니다. Opus·G.711·AAC의 사용 맥락과 packet loss·jitter 대응, RTMP-WebRTC 변환, Voice AI의 VAD·STT 경계를 구분합니다.
PCM encoding과 RIFF/WAVE container를 서로 다른 계층으로 구분합니다. WAVE의 chunk 구조 때문에 audio data offset을 44로 고정하면 안 되는 이유, linear PCM과 G.711 µ-law의 차이, sample rate·channel count·sample format을 잘못 해석했을 때 생기는 증상을 설명합니다.
공기 진동이 microphone과 ADC를 거쳐 sampled·quantized PCM이 되고, MP3 encoder의 filter bank·quantization·entropy coding을 거쳐 저장되는 흐름을 설명합니다. 재생 단계의 decode와 DAC까지 연결하고, sample rate·bit depth·bitrate가 각각 무엇을 제어하는지 구분합니다.
Google TTS의 `audioContent`처럼 JSON 문자열 필드에 바이너리를 담을 때 Base64가 필요한 이유를 설명합니다. MP3 frame header와 ID3 tag, Base64의 6비트 인코딩과 패딩, `4 × ceil(n/3)` 길이 공식을 살펴보고 Node.js `Buffer`, 브라우저 `Uint8Array`, data URL 변환 시 복사와 메모리 비용도 구분합니다.