音视频技术开发周刊 67期

640?wx_fmt=jpeg

『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览第67期内容，祝您阅读愉快。

架构

展晓凯：短视频APP架构设计与实现

本文来自全民快乐研发高级总监展晓凯在LiveVideoStackCon 2018讲师热身分享，并由LiveVideoStack整理而成。分享中展晓凯详细介绍了短视频APP场景中视频录制、编辑、保存模块的相关技术，以及变速不变调算法W-SOLA的实现。

相机+激光雷达重绘3D场景

将激光雷达与相机结合，再通过深度学习的方式获得场景的3D模型——Ouster首席执行官在博客中介绍了相机OS-1，并装有激光雷达。LiveVideoStack对原文进行了摘译。

冯迅：YY多媒体实时传输系统演进

本文来自YY基础架构部负责人冯迅在LiveVideoStackCon 2017上的分享，并由LiveVideoStack社区整理而成。冯迅重点介绍了，YY直播平台的架构演进，包括技术栈选择权衡，自建网络与采购CDN协作等。

常青：小程视频能力再升级序音

LiveVideoStack采访了腾讯云音视频业务终端研发团队负责人常青，针对小程序音视频能力技术升级、场景支持、政策审核以及未来演进趋势进行了详细的探讨。

即构科技金健忠：回顾20年音视频技术演进

多媒体技术是一个传统行业，从模拟到数字，VCD到蓝光，从窄带到宽带，标清到高清，技术演进让人的视听体验发生了颠覆式的改变。LiveVideoStack采访了即构科技CTO金健忠，他回顾了过去20年多媒体技术的发展，并展望了未来的技术趋势。

音视频–SDP协议

SDP：会话描述协议，是一种会话描述格式，为描述多媒体数据而设计。 SDP协议介绍 SDP 完全是一种会话描述格式（对应的RFC2327 , RFC4566) 它不属于传输协议，它只使用不同的适当的传输协议，包括会话通知协议（SAP）、会话初始协议（SIP）、实时流协议（RTSP）、MIME 扩展协议的电子邮件以及超文本传输协议（HTTP）。

WebRTC降低直播延迟——Limelight方案

曾经点播在视频传输中占据很大的比例，但如今越来越多的平台希望能够通过直播的方式增加观众的兴奋程度和参与度，同时直播时的延迟成为了一个关键的挑战。在音视频传输的过程中，在不同阶段都会产生延时，有设备端上的延时，设备端与服务器之间的延时，服务器之间的延时，但是，不同的行业对于实时音视频的延迟也有不同的要求，需要找到画质、音质、延时和功耗等方面的平衡点。

5G接入网的架构

本文首先结合5G愿景与需求，阐明了5G接入网络架构的特点和重要性；然后从学术界和产业界两个角度详细介绍了5G接入网络架构的设计原理和具体组成，分析了优点和不足；最后，探讨了接入网络架构的挑战和未来的可能发展方向。

音频/视频技术

Android下AudioRecord采集音频写入PCM和WAV文件中

本文主要介绍如何将采集到的音频数据保存到PCM和WAV文件中。其实保存PCM数据不难，只要直接写入文件即可，而保存数据至WAV文件只需要将WAV文件格式头补上即可。

基于Qt、FFmpeg的音视频播放器设计

本篇文章主要介绍视频处理的原理以及实现。对于视频的处理我们这里对它分开总结，不然看起来会显得很冗余复杂，不易理解,主要分为以下几方面。1、打开视频获取视频信息；2、读取视频分析视频包；3、打开视频解码器；4、视频解码并分析H264解码；5、打开格式转换和缩放；6、视频转RGB并缩放。

快速搭建自己的直播服务器，完成属于你的直播服务

通过本文您能学到以下内容： 1、动手搭建直播服务器，完成一次对移动端支持的直播。2、使用OBS推流。3、使用HTML5网页播放M3U8流媒体文件。

音视频通话：小议音频处理技术与压缩

在视频或者音频通话过程中，一方面为了减小原始声音数据的传输码率，需要进行音频压缩，另一方面为了得到更高质量的音质，需要进行音频处理。那么，如何处理好这两方面，保证声音传播的高真性？本篇文章将会结合网易云信在音视频技术方面的实战和经验，小议音频处理与压缩技术。

编解码

FFmpeg 中AVPacket的使用

AVPacket保存的是解码前的数据，也就是压缩后的数据。该结构本身不直接包含数据，其有一个指向数据域的指针，FFmpeg中很多的数据结构都使用这种方法来管理数据。

X264实现H264编码以及MediaMuxer的另类用法

本系列文章涉及的项目HardwareVideoCodec已经开源到Github，支持软编和硬编。使用它你可以很容易的实现任何分辨率的视频编码，无需关心摄像头预览大小。

FFmpeg解码视频文件并播放

最近学习了一下如何使用FFmpeg解码音视频，网上的教程挺多但是也挺杂的，搞了好几天，明白了FFmpeg解码音视频的大体流程，这里记录一下FFmpeg解码视频并播放音视频的例子，但并没有做音频、视频播放的同步处理。

Netty编解码框架

Netty提供了一套完善的编解码框架，不论是公有协议/私有协议，我们都可以在这个框架的基础上，非常容易的实现相应的编码/解码器。输入的数据是在ChannelInboundHandler中处理的，数据输出是在ChannelOutboundHandler中处理的。因此编码器/解码器实际上是这两个接口的特殊实现类，不过它们的作用仅仅是编码/解码。

AI智能

人脸检测算法综述

人脸检测是目前所有目标检测子方向中被研究的最充分的问题之一，它在安防监控，人证比对，人机交互，社交和娱乐等方面有很强的应用价值，也是整个人脸识别算法的第一步。本文将和大家一起回顾人脸检测算法的整个发展历史。

卷积神经网络的压缩和加速

针对卷积神经网络模型的压缩，最早提出的方法应该是网络裁枝，LeCun在1989年就提出根据损失函数对各个参数的二阶导，来估计各个参数的重要性，再删去不重要的参数。后来又是到2012年之后，压缩方法更加多样，总体大约分为4种：网络裁枝、模型量化、低秩估计、模型蒸馏。下面SIGAI将对4种方法进行逐一介绍。

如何优雅地从四个方面加深对深度学习的理解

在今年的 ICML 上，深度学习理论成为最大的主题之一。会议第一天，Sanjeev Arora 就展开了关于深度学习理论理解的教程，并从四个方面分析了关于该领域的研究：非凸优化、超参数和泛化、深度的意义以及生成模型。

短视频如何做到千人千面？FM+GBM排序模型深度解析

信息流短视频能够满足用户的碎片化阅读需求，目前已是移动互联网流量风暴的中心。各互联网大厂纷纷涉足此领域，推出自己的短视频产品，群雄争霸，逐鹿短视频市场。今天，UC事业部国际研发团队，将为大家介绍排序层的模型演进过程，带你深入了解模型创新部分。

【ECCV 2018】Facebook开发姿态转换模型，只需一张照片就能让它跳舞（视频）

DensePose 是 Facebook 研究员 Natalia Neverova、Iasonas Kokkinos 和法国 INRIA 的 Rıza Alp Guler 开发的一个令人惊叹的人体实时姿势识别系统，它在 2D 图像和人体3D 模型之间建立映射，最终实现密集人群的实时姿态识别。