技术文章

创业声音

行业报告/白皮书

报告/文章

音视频开发

云信小课堂

前沿技术

慕课

直播预告

直播回放

直播

易+开源

精彩活动


### 报告简介
IM PaaS是基于互联网通信原理的即时通讯平台服务。《2023年全球即时通讯（IM）PaaS市场洞察白皮书》针对IM PaaS行业的发展历程、核心价值、主要功能及商业模式等进行系统性研究，并在产品形态及创新应用场景等方面展开分析，探讨IM PaaS与AIGC、元宇宙等新概念的结合点。

### 摘要
![图片](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2F202308%2Ffengm.jpg)
#### 1 即时通讯（IM）PaaS 行业概述
-   IM PaaS概念界定
-  IM PaaS的兴起背景与发展历程
- IM PaaS的主要功能点
-  IM PaaS的核心价值
![图片](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2F202308%2Fim01.jpg)
#### 2 全球即时通讯（IM）PaaS 行业发展洞察
 2.1 IM PaaS发展的需求背景
 ![图片](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2F202308%2Fim03.jpg)
- 社交娱乐类应用持续繁荣，即时通讯功能的刚需属性突出
- 覆盖企业内外部沟通场景，通过与办公融合加速向B端市场渗透
- 元宇宙应用初见雏形，对沉浸式体验和社交逻辑提出新的要求
-  IM PaaS的产品形态
![图片](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2F202308%2Fim03.jpg)

 2.2.1 产品形态总览<br/>
2.2.2 中美产品差异对比<br/>
 2.2.3 Discord<br/>
 2.2.4 WhatsApp社群<br/>
2.3 IM PaaS的应用场景<br/>
- 应用场景总览
-  创新应用场景：互动游戏
-  创新应用场景：兴趣社区
- 创新应用场景：元宇宙社交

 2.4 全球IM PaaS市场规模及预测<br/>
2.5 IM PaaS的商业模式<br/>
2.6 IM PaaS产业链及产业图谱<br/>
2.7 IM PaaS的主要玩家类型与核心竞争力<br/>
 2.8 IM PaaS选型策略
#### 3 即时通讯（IM）PaaS 典型厂商案例
-  网易云信
- 腾讯云
-  Sendbird
#### 4 全球即时通讯（IM）PaaS 行业发展趋势<br/>
![图片](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2F202308%2Fim04.jpg)
4.1 IM PaaS行业的发展空间展望<br/>
4.2 IM PaaS行业发展趋势与挑战<br/>
- 中国互联网出海多点开花，IM PaaS需关注合规性、本土化等问题
- 不断丰富功能组件、进一步封装常用场景解决方案，提升开发者易用体验

IM PaaS是基于互联网通信原理的即时通讯平台服务。《2023年全球即时通讯（IM）PaaS市场洞察白皮书》针对IM PaaS行业的发展历程、核心价值、主要功能及商业模式等进行系统性研究，并在产品形态及创新应用场景等方面展开分析，探讨IM PaaS与AIGC、元宇宙等新概念的结合点。

2023年全球即时通讯（IM）PaaS市场洞察白皮书

网易智企为电魂旗下的《野蛮人2》提供了一套完整的定制化游戏AI机器人解决方案，包含接入方案、机器人训练、机器人部署和机器人迭代四大内容。具体来说：
接入方案：玩法体验和接入方法设计；
机器人训练：SAR方案设计、模型网络设计、大规模分布式训练；
机器人部署：多难度AI机器人接口、多风格AI机器人接口、局内动态难度调整接口、私有化部署支持；
机器人迭代：遇到大的版本更新，进行模型加训或模型结构调整，确保机器人表现符合要求；

2023年3月20日-24日，第35届游戏开发者大会（GDC）在美国旧金山举办，网易智企携手电魂亮相GDC，并基于强化学习理论与AI机器人在游戏中的具体应用，分享网易智企的游戏AI解决方案在电魂游戏中的落地实践，与游戏开发者和行业专业人士探讨AI技术如何助力游戏行业发展


网易智企携手电魂亮相GDC，用AI共建游戏生态

**报告介绍**

《解构未来——元宇宙技术实践与应用2023》由网易智企首发

从元宇宙第一次在《雪崩》中被提出，到结合了MR、AR、VR，甚至脑机接口的元宇宙概念相关产品走进现实世界，元宇宙相关的产物正在被应用到工业、医疗、教育、娱乐社交、政务、文旅等不同的行业。
回顾元宇宙发展，我们可以认为元宇宙本质上是对现实物理世界的数字化、虚拟化过程，是大数据、人工智能、5G、区块链、物联网、VR、AR、脑机接口等技术发展到一个奇点催生的产物，是人类创造的一个虚拟世界。
那么到底元宇宙在具体应用中到底产生了哪些新的场景玩法与实践？元宇宙场景在未来的发展中基于它的开放性是否需要进行治理？元宇宙未来会发展成什么样子？
《解构未来——元宇宙技术实践与应用2023》将一一解答。

**报告概要**

本分报告共分为五篇内容，以期通过技术、实践、安全与发展的角度全面诠释元宇宙发展的底层逻辑与机会
1. 认知篇：走进元宇宙
2. 理论篇：拆解元宇宙
3. 应用篇：元宇宙行业应用实践
4. 治理篇：打造安全有序的元宇宙
5. 趋势篇：未来与展望

解构未来 - 元宇宙技术实践与应用2023

# 简介

网络基础设施升级、音视频传输技术迭代、WebRTC开源等因素，驱动音视频服务时延逐渐降低，
使实时音视频（RTC）技术成为炙手可热的研究方向。

实时音视频业务在消费互联网领域蓬勃发展，并逐渐向产业互联网领域加速渗透。经历了行业第一轮的红利爆发期，我国实时音视频行业的场景效能逐渐深化，步入到理性增长阶段。

2021年中国实时音视频（RTC）PaaS市场规模为16亿元，消费互联网领域为实时音视频行业贡献
了核心收入来源。受到社交娱乐头部应用的高度渗透及“双减”政策的持续影响，预计未来三年的
复合增长率为28.4%，2024年实时音视频（RTC）PaaS市场规模将达到30亿元。

巨大的行业空间，吸引了一众国内厂商深扎耕耘。根据厂商聚焦的业务重心和发展实时音视频业务的主要逻辑，《报告》将国内玩家们被分为 RTC PaaS 厂商、通信云 PaaS 厂商、综合型 IaaS 厂商及垂直行业解决方案商四类。

本报告围绕中国实时音视频行业发展现状、应用实践分析、典型场景案例、行业发展趋势展望等方面，帮助读者更清晰全面地了解中国音视频行业，助力行业健康可持续发展。

本报告围绕中国实时音视频行业发展现状、应用实践分析、典型场景案例、行业发展趋势展望等方面，帮助读者更清晰全面地了解中国音视频行业，助力行业健康可持续发展。

艾瑞咨询：2022年中国实时音视频行业研究报告

Linux是一款免费的多用户多任务的操作系统，具有很多优秀的特性，支持多种平台，使用非常广泛，很多企业级的应用都部署在该平台上；本地市对Linux的起源、发展、版本和优缺点进行整体的认识，对学习Linux是有一定帮助的
# 交流 & 反馈
有疑问请添加网易智企小助手微信

## 小助手微信
![图片](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E5%B0%8F%E5%8A%A9%E7%90%86100%E5%83%8F%E7%B4%A0.jpg)

课程由**网易智企**×**比屋教育**联合出品

Linux入门到进阶课程（2021版）

01-Linux系统概述

02-Linux系统分类

03-虚拟机软件介绍

04-VMware中安装CentOS7

05-VMware中配置

06-finalshell连接Linux系统

07-Linux系统的目录结构

08-Linux目录相关的命令1

09-Linux目录相关的命令2

10-Linux目录相关的命令3

11-Linux文件相关的命令

12-vim编辑器编辑文件

13-利用finalshell编辑文件

14-压缩与解压缩命令

15-其它常用命令

16-Linux权限概述

17-Linux修改文件或目录权限1

18-Linux修改文件或目录权限2

19-配置JDK

20-配置tomcat9

21-配置MySQL5.7

## **课程背景：**



网络空间是亿万民众共同的精神家园。网络空间不是 “法外之地”。网络空间是虚拟的，但运用网络空间的主体是现实的，大家都应该遵守法律，明确各方权利义务。

网络安全和信息化是相辅相成的。安全是发展的前提，发展是安全的保障，安全和发展要同步推进。

本次公开课由网易智企主办，特邀网易智企资深计算机视觉算法工程师-王立春、崔若璇；浙江师范大学博士生浙江师范大学教授，人工智能研究院执行院长-彭浩；商汤科技研究院通用模型团队研究员-秦昊煜为大家分享当下网络安全热点技术及未来发展趋势。



课程安排：



## **《让内容安全服务更加“安全”：可信AI探索与实践》**

讲师：王立春、崔若璇——网易智企资深资深计算机视觉算法工程师



内容：

在AI大规模的落地应用中出现了许多"信任危机"问题，对AI可信的追求与研究已经成为人工智能领域热门话题之一。本课程从可信AI的概念出发，介绍AI可信的具体含义。针对每一层含义，介绍如何从算法研发的每一个环节出发，追求和打造更加可信的内容安全AI系统。



课程大纲：

1.  可信AI的背景和重要性

2.  可信AI的概念和具体含义

3.  构建更加可信的内容安全AI系统的探索与实践

4.  可信AI的未来发展与思考


## **《深度学习中的对抗攻击与防御》**


讲师：秦昊煜——商汤科技研究院通用模型团队研究员，主要参与模型体检平台的研发工作，哥伦比亚大学计算机系硕士，曾获ICCV-MFR比赛冠军。



内容：对抗攻击是一种试图用欺骗性数据欺骗模型的技术，它使得模型的预测不再可靠，它是人工智能和机器学习研究领域日益增长的威胁。相应的，对抗防御则旨在提升模型的鲁棒性以应对上述威胁。本课程对从对抗攻击的背景出发，对常见的攻击和防御算法进行探讨。



课程大纲：

1. 对抗攻防的背景

2. 对抗样本的分类与生成算法

3. 对抗样本原理浅析

4. 对抗防御方法综述



## **《机器学习模型的安全与隐私保护》**



讲师：彭浩教授，现为浙江师范大学教授、双龙学者特聘教授、博士生导师、博士后导师、计算机博士点负责人、校人工智能研究院执行院长、校网络安全与优化研究所所长、校网络安全创新实验室负责人



内容：近年来，深度学习、强化学习等理论和技术取得突破性进展。尽管机器学习模型在现实应用中有着出⾊的表现，但其本身在数据层、模型层以及应用层仍然面临着诸多的安全威胁。本内容从当前机器学习的安全和隐私问题出发，从攻与防两个角度对该问题进行探究，并探讨该领域所面临的挑战以及未来潜在的研究⽅向。



课程大纲：

1.   机器学习模型安全与隐私研究背景

2.   数据安全面临的投毒攻击风险与防御

3.   模型隐私面临的试探性攻击与隐私保护方法

4. 机器学习安全应用和隐私保护研究难点和潜在研究方向

网络空间是亿万民众共同的精神家园，而不是 “法外之地”。尽管网络空间是虚拟的，但运用网络空间的主体是现实的，我们都应该遵守法律，明确各方权利与义务。

同时网络安全和信息化相辅相成，即安全是发展的前提，发展是安全的保障，安全和发展要同步推进。

网络安全系列公开课【回放】

让内容安全服务更加“安全”：可信 AI 探索与实践

深度学习中的对抗攻击与防御

机器学习模型安全与隐私

用20分钟的时间快速实现一个简单的圈组功能（基于 NIMSDK 新版本9.x）

**前期准备**

**开发工具：**Xcode

**开发语言：**Objective-C

**使用到的SDK：**

#核心库

pod 'NIMSDK_LITE', '9.1.0'

#demo使用到的第三方UI库

pod 'SVProgressHUD'

pod 'Masonry'

pod 'JSQMessagesViewController'

pod 'MJRefresh'



云信「圈组」作为一款全新设计的产品，没有任何历史包袱的限制（但是却可以充分吸收历史优点），你可以使用它构建一个类 Discord 产品，或者任何你想得到的社交/娱乐/游戏产品。「圈组」产品最大的特点首先是 server/channel 的二级结构；其次是构建在二级结构之上的大规模社群（单个 server 数十万甚至上百万成员），以及使用复杂的身份组系统来管理如此规模的社群组织和成员。

接下同大家一起，用20分钟的时间快速实现一个简单的圈组功能（基于 NIMSDK 新版本9.x）

云信小课堂 | 简单快速实现圈组功能

简单快速实现圈组功能

Java 微服务开发之SpringBoot和SpringCloud

Java 微服务开发之 SpringBoot 和 SpringCloud

1.1 SpringBoot概述

1.2 SpringBoot特点

1.3 SpringBoot入门程序_利用Maven工程创建

1.4 SpringBoot入门程序_利用IDEA直接创建

1.5 SpringBoot的yaml配置格式

1.6 SpringBoot的多配置文件切换

1.7 SpringBoot通过@Value注入配置

1.8 SpringBoot通过@ConfigurationProperties注入配置

1.9 SpringBoot自动化配置(默认配置)由来

1.10 SpringBoot整合SpringMVC

1.11 SpringBoot访问静态资源

1.12 SpringBoot配置拦截器

1.13 SpringBoot整合JDBC

1.14 SpringBoot整合Mybatis

1.15 SpringBoot整合Redis(RedisTempalte与StringRedisTemplate)

1.16 SpringBoot部署到CentOS 7上

2.1 Spring Cloud概述

2.2 Spring Boot和Spring Cloud区别和联系

2.3 Dubbo和Spring Cloud区别和联系

2.4 Spring Cloud架构&组件集

2.5 Eureka_远程调用Provider实现1

2.6 Eureka_远程调用Provider实现2

2.7 Eureka_远程调用Consumer实现

2.8 Eureka_单机+分布式测试

2.9 Eureka_Eureka注册中心概述

2.10 Eureka_Spring Cloud依赖说明

2.11_Eureka_eureka-server实现

2.12 Eureka_service-provider实现

2.13 Eureka_service-consumer实现

2.14 Eureka_Eureka集群搭建1

2.15 Eureka_Eureka集群搭建2

2.16 Eureka_Eureka配置1

2.17 Eureka_Eureka配置2

2.18 Eureka_Eureka配置3

2.19 Ribbon_概述

2.20 Ribbon_负载均衡实现

2.21 Ribbon_Ribbon配置

2.22 Feign_概述

2.23 Feign_Feign使用

2.24 Feign_Feign+Ribbon负载均衡

2.25 Feign_Feign相关日志输出

2.26 Feign_Feign其它配置

3.1 Hystrix_雪崩效应

3.2 Hystrix_概述

3.3 Hystrix_熔断降级概述

3.4 RestTemplate+Hystrix实现降级1

3.5 RestTemplate+Hystrix实现降级2

3.6 RestTemplate+Hystrix实现降级3

3.7 RestTemplate+Hystrix实现统一降级4

3.8 Feign+Hystrix实现降级

3.9 Hystrix Dashboard搭建

3.10 Hystrix Dashboard参数

3.11 Hystrix Dashboard+Turbine整合

3.12 Hystrix熔断原理

3.13 Hystrix熔断测试

3.14 Hystrix隔离策略

3.15 网关概述

3.16 Spring Cloud Gateway概述

3.17 Spring Cloud Gateway路由实现

3.18 Spring Cloud Gateway路由测试

3.19 Spring Cloud Gateway的Predicates

3.20 Spring Cloud Gateway结合Ribbon

3.21 Spring Cloud Gateway过滤器概述

3.22 Spring Cloud Gateway内置GatewayFitler1

3.23 Spring Cloud Gateway内置GatewayFitler2

3.24 Spring Cloud Gateway自定义GatewayFitler

3.25 Spring Cloud Gateway自定义GlobalFilter


第一部分：内容安全中的NLP技术



课程简介



内容安全是维护互联网清净、和谐环境的重要保障，而NLP技术是内容安全领域的重要技术实现手段。本讲座主要对内容安全中可以用到的NLP技术进行讲解，让听众对NLP技术如何在内容安全领域使用有一个大致的了解。



课程大纲



1.	内容安全背景介绍。

2.	内容安全中常用的NLP技术。

3.	内容安全中的对比学习和多模态。



第二部分：智能客服机器人算法研究与应用落地



课程简介



智能客服机器人是NLP的重要落地场景之一，在To B领域有着广泛的应用。 而其中的语义相似度计算算法是核心，目前主要有两类不同的模型，分别为：交互式模型和双塔模型。本讲座主要讲解语义相似度算法的两类不同模型的优缺点，并着重介绍七鱼智能客服机器人的实践方案，让听众对智能客服机器人的实现方案有初步的了解，帮助其了解行业现状，方便以后学习和工作。



课程大纲



1.	智能客服机器人的基本功能以及在To B场景下的基本应用。

2.	智能客服机器人的核心算法-语义相似度计算的技术原理解析。

3.	网易七鱼智能客服机器人落地方案。

内容安全是维护互联网清净、和谐环境的重要保障，而NLP技术是内容安全领域的重要技术实现手段。本讲座主要对内容安全中可以用到的NLP技术进行讲解，让听众对NLP技术如何在内容安全领域使用有一个大致的了解。

NLP技术在业务场景中的应用

活动简介：



本讲座主要针对空间音频的基本原理和实现技术做了讲解，并介绍了云信的实践方案，让听众对空间音频有初步的了解和接触，以助于其后续在元宇宙领域的相关学习和工作。



课程大纲：



1.	空间音频在元宇宙等方面的价值。

2.	空间音频的生理学和定位原理。

3.	空间音频的相关重要实现技术。

4.	网易云信关于空间音频的实践。



课程目标：



1. 介绍空间音频在元宇宙及其他应用场景的价值。

2. 空间音频的基本原理：听觉生理学，人耳声音定位等。

3. 空间音频的重要实现技术：HRTF，Ambisonics等。

4. 空间音频在网易云信的实现方案和优势亮点介绍。




便捷的接入方式和逼真的沉浸体验是元宇宙的核心特征之一。支撑这一特征的最重要的技术，目前主要包括：VR/AR、空间音频，变声技术和环境声学模拟等技术。

元宇宙关键技术之空间音频

本期主题为《娱乐社交产品出海投放与营销增长实践》，重点聚焦国内娱乐社交产品出海趋势，分享如何基于泛娱乐社交产品定位于特点结合出海区域风土人情，通过何种渠道、平台、内容和形式，以精准投放、买量和创意互动玩法推动娱乐社交产品用户增长与留存，打造爆款出海产品。

【回放】泛娱乐社交产品出海投放与营销增长实践

泛娱乐社交产品出海投放与营销增长实践

前端开发作为当下热门技术之一，受到不少开发者和学习者的关注。网易智企联合CCF YOCSEF武汉共同打造了《前端有话说系列公开课》，为广大开发者提供学习与交流的机会。本次前端有话说系列公开课能够给开发者从入门到企业实践再到未来就业这三个板块的不同需求，深入浅出帮助开发者和学习者了解和掌握前端知识。本次系列公开课的安排如下。


    此课程共分为三个阶段：

    第一阶段带领开发者和学习者了解前端在整个应用开发中的角色地位，同时介绍产品各个阶段所要用到的主要技术栈，以及简单介绍接口开发、数据来源、数据管理、页面效果呈现等应用开发一般流程。

    第二阶段与开发者和学习者分享前端如何快速切入业务，如何针对业务选择合适技术栈，逐一为大家讲解快速搭建完整前端业务体系。

    第三阶段主要讲如何能够踏足前端行业，揭开前端行业的神秘面纱，带开发者和学习者了解前端工作的技术点及学习方法，掌握前端的技术和方法。
    
    
![图片](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E5%86%85%E9%83%A8.jpg)


前端开发作为当下热门技术之一，受到不少开发者和学习者的关注。网易智企联合CCF YOCSEF武汉共同打造了《前端有话说系列公开课》，为广大开发者提供学习与交流的机会。本次前端有话说系列公开课能够给开发者从入门到企业实践再到未来就业这三个板块的不同需求，深入浅出帮助开发者和学习者了解和掌握前端知识。

【回放】前端有话说系列公开课

认识前端

探索如何深入支撑前端业务

前端就业体系和就业应用

谈起直播，没有人会感到陌生。



自上世纪末，流媒体直播技术兴起以来，伴随着网络基础设施的发展脚步，直播也同频共振般地起势。而近年来 AI、云计算、音视频等技术日趋成熟，以及新冠肺炎疫情带来的“宅经济”刺激，使直播行业的发展势头被进一步激活。



根据中国互联网络信息中心（CNNIC）发布的《中国互联网络发展状况统计报告》统计数据显示，到 2021 年 6 月，中国网络直播用户规模已达到 6.37 亿人，直播市场规模接近 3000 亿元。

![1.png](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E6%98%93%E5%8A%A0%E5%BC%80%E6%BA%901.png)

## **01 直播是个好东西，但直播延时不是**



通过网络直播，你可以轻松观看到大洋彼岸正在进行的紧张体育赛事，也可以足不出户就阅尽祖国的大好河山、日出日落，甚至与 6000 万陌生人一起“云监工”火神山医院建设进度，为疫情防控力量点赞。

![1.png](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E6%98%93%E5%8A%A0%E5%BC%80%E6%BA%902.png)

直播是个好东西，但，直播延时并不是。



或许你曾熬夜守在电商直播间，在秒杀倒计时中，因延时被人捷足先登；也或许在上网课时，因延时错过了重要的知识点；还或许在体育比赛关键时刻，因延时被提前“剧透”了结果。



凡此种种的破坏性体验，皆是「延时」惹的祸。





## **02 直播体验破坏者：「延时」如何产生？**



那么，作为音视频直播体验的破坏者，**延时究竟从何而来？**



与声和光在介质中的收发及传输一样，音视频数据的编解码和传输同样需要时间。音视频直播的传输链路主要涉及采集、预处理、编码、数据传输、服务器转码、解码等环节，每一环节都会产生延迟。



量变引起质变，当这些分布于各个环节的细微延迟不断叠加，就会形成整体直播的延时，进而折射到用户体验上。



通常来说，整个链路的延迟可分为 3 个类型：**设备端处理延迟、端与服务器的传输延迟、服务器间的传输延迟。**



以快递包裹的物流运输来类比：

● **设备端处理延迟**：与快递发件前打包和收件后拆包相似，数据也需经过采集端的采集编码、打包发送以及播放端的收包解码、渲染播放。延时与硬件性能、采用的编解码算法、音视频数据量等强相关。

● **端与服务器的传输延迟**：与快递员的揽收和派送相似，这里的延时通常与客户端和服务器间的物理距离、客户端和服务器的网络运营商、终端网络网速、负载和网络类型等有关。

● **服务器间的传输延迟**：就像快递在各个物流分拨中心、中转站的流转，数据在服务器之间排队、传输、流转，延时与传输路径的选择有关。



这 3 种类型的延迟，除了设备端延迟与硬件性能强相关，后两者之和便是业界重点着力优化的“端到端延时”。





## **03 低延时直播：强互动场景的最佳解题思路**



3 ~ 5 秒的延时常见于国内多数的 CDN 直播形式中，这些场景主要采用 HTTP-FLV 和 RTMP 协议的传输形式，如：游戏直播不强调互动性，关键帧延时通常在 8 ~ 10 秒；赛事直播对流畅性要求更高，一般会选择 HLS 协议，延时会达到 10 秒以上。



随着“全民直播”到来，直播模式和内容也在不断创新，连麦直播、在线课堂、电商直播等新模式不断涌现。采用 CDN 直播，对这些强调互动性的场景来说，延时超过 1 秒，玩法可能就无法进行下去了。



那么，**实时音视频表现如何？**



它能适用于观众与主播频繁互动、对实时性要求高的场景，使二者之间的内容延迟控制在 300ms 内，真实还原线下面对面的交流体验。但此方案在网络优化、回声消除等问题上依然复杂，最重要的是实时音视频方案以时长计费，通常实现成本较高。



延时与成本就像是天平的两端：延时越低，方案成本越高，反之亦然。



于是，“优等生”低延时直播提供了一个解题思路，找到了两者之间的平衡点，在可接受的延迟下兼顾更强的直播能力，带给用户更佳的互动体验。既能满足主播与观众间低频次的互动需求，使二者之间的内容延迟控制在 1s 左右，又能支持百万人同时在线，同时将成本控制于 CDN 和实时音视频之间，使方案的整体成本更加可控。





## **04 都是低延时直播，网易云信有何不同？**



有需求的地方，就有闻风追赶的人。事实上，在洞察到市场对低延时直播客观存在的需求后，嗅觉敏锐的各大云厂商都陆续推出了各自的短延时、低延时、超低延时直播产品。



纷繁复杂的命名背后，技术究竟有何不同？



传统直播领域存在着三大指标：首屏时间、延迟、卡顿率。低延迟直播技术的难点在于：如何实现卡顿率持平甚至更优于 RTMP 拉流技术的前提下，大幅降低首屏时间和延迟，从而带给用户更好的直播体验。



工欲善其事，必先利其器。作为网易智企旗下的融合通信云服务专家，网易云信融合了自身在 CDN 和 RTC 领域多年的技术积累和经验沉淀，结合 WebRTC 标准的媒体流技术，在首屏时间、延迟、卡顿率方面做了深度的优化。



**1.首屏时间优化**


● GOP 缓存首屏优化



假设用户推流端的 GOP 是 5 秒，在某些情况下，拉流端需等待接近 5 秒才能收到第一个 I 帧，首屏才能开始渲染。这对强互动性直播场景来说是不可接受的。



网易云信的解决方案是在媒体服务器里进行 GOP 缓存，缓存最近 1-2 个 GOP 的媒体包在 Server 端。当客户端和媒体器媒体连接成功后，先发送 GOP 缓存里的媒体包，再发送当前的媒体数据。客户端在收到媒体包后，需要根据一定的策略对齐音视频包，再加速追帧。



在具体的实践过程中，需注意 GOP 缓存大小、客户端的 Jitter buffer 大小的配合、GOP 缓存里音视频的对齐、不同的推流端不同 GOP 长度的适配等情况。



● Pacer 平滑发送



若推流端设置的 GOP 较大，当拉流客户端媒体连接成功后，会一股脑地向客户端发送全部的 GOP 数据，可能会造成客户端缓冲溢出或其他问题。这时 Server 的 Pacer 平滑发送就需发挥作用了。



在具体的实践过程中，需注意 Pacer 的追帧速率与客户端追帧速率的配合。



**2.延迟优化**



● WE-CAN 全球智能路由网络



直播行业之所以能够蓬勃发展，在技术方面，CDN 厂商的云端能力起到了很大的推动作用。CDN 加快了边缘节点的回源速度，边缘节点又加快了拉流终端的接入速度。



为了加快回源速度，回源媒体服务的选择会尽可能接近 CDN 的区域中心节点；为了优化客户端的接入性能，拉流媒体服务器也要尽可能的接近拉流客户端，因此媒体如何迅速地从回源媒体服务传输给拉流媒体服务就至关重要。



WE-CAN 很好地承担起了职责。作为网易云信自研的大规模分布式传输网络，WE-CAN 通过对各种资源智能调度，来实现全球任意两个媒体服务器之间的快速、稳定传输。WE-CAN 起到了对比传统 CDN 更迅捷，更稳定，更智能，覆盖范围更广的加速传输的作用。



**3.卡顿率优化**



网易云信支持标准 WebRTC 媒体流接入，并通过深度优化 GCC，ARQ，FEC，RED 等各类 QoS 策略达到自适应匹配各种复杂网络的能力，在 40% 丢包的情况下，依然能流畅直播。





05No.1：业界首个开源的低延时直播方案



前不久，网易智企发布了“易+”开源计划，并正式开源网易会议组件，帮助各行各业用户构建稳定可靠、高清易用的专属会议系统。



如今，我们将低延时直播方案也开源了，并成为业界首家开源低延时直播方案的厂商。

![1.png](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E6%98%93%E5%8A%A0%E5%BC%80%E6%BA%903.png)

过去几年，中国开源发展迅速。越来越多的开发者加入了开源贡献行列，以满腔才华和热情贡献技术，推动全球开源生态的进一步繁荣。同时，高质量的开源项目已成为基础设施的重要基石。数据显示，90% 以上的企业业务已构建在开源软件、开源项目之上，开源的影响力正以数字量化的形式呈现在世人面前。



作为业界首个开源的低延时直播方案，网易云信目前开源了信令交互协议、低延时引擎、播放器插件。



我们开放了信令交互流程，支持标准的 SDP 协商和 ICE 建连，开发者只需集成一套低延时播放器，就可实现同时对接多家低延时直播厂商，大大减小包体积的增量。



同时，针对低延时直播场景深度定制了 WebRTC 引擎，支持 AAC、B 帧和多 Slice；并对首帧和端到端延时都进行了优化，目前首帧时间控制在 200ms 左右，端到端延时控制在 1s 以内。



为了方便在现有播放器集成低延时直播引擎，网易云信还开源了基于标准 FFmpeg 插件形态的低延时直播播放器插件，开发者只需要修改少量代码就可让现成的播放器具备低延时直播的能力。



未来，**网易云信还会开源低延时直播引擎的裁剪版本**，进一步优化包体积和各种播放指标。并继续推出开源的低延时直播推流引擎和低延时推流插件，提供低延时直播的全链路解决方案，进一步降低开发门槛，推动低延时直播行业的快速发展。



**秉持着开放与分享的技术态度，我们将始终致力于通过高质量的开源项目，与行业共同探索开源的巨大社会价值。**

这么好用的低延时直播，网易云信竟然将它开源了？！

***点击红色按钮一键下载源代码***
# 网易会议组件概述
网易会议组件目前已经开源，该项目由网易云信团队自研，结合网易云信系统相关通讯功能，实时音视频、即时消息、白板、直播等功能构建一套会议系统，可以让开发者很容易具备高效稳定会议系统能力, 一周就能开发出一个属于自己的ZOOM。


网易会议NEMeeting SDK(以下简称SDK)提供了一套简单易用的接口，允许开发者通过调用 SDK提供的API，快速地集成音视频会议功能至现有应用中。为企业打造专属的会议能力，卓越的音视频性能，丰富的会议协作能力，坚实的会议安全保障，提升协作效率，满足大中小会议全场景需求。提供全套开放、简单、安全的视频会议服务。您可以使用进行远程音视频会议、在线协作、会管会控、会议录制、指定邀请、布局管理等。


## 功能特性

<table>
 <tr>
 	<td width="100px">功能分类</td>
	<td width="100px" >功能</td>
	<td>功能描述</td>
 </tr>
  <tr>
 	<td>基础功能 </td>
	<td>语音/视频通话</td>
	<td>支持一对一或多人间的语音/视频通话功能，并进行音视频实时切换。支持纯转发会议或者讨论式会议。</td>
  </tr>
  <tr>
    <td rowspan="3">协作功能 </td>
	<td>实时消息</td>
	<td>主持人和与会人在会议过程中发送实时文字消息进行互动。</td>
 </tr>
   <tr>
	<td>白板共享</td>
	<td>主持人在白板上书写，有助于提升协作效率；其他与会人也可使用白板与主持人进行实时互动。支持白板双指缩放大小及移动位置。</td>
 </tr>
   <tr>
	<td>屏幕共享</td>
	<td>主持人或与会人将自己屏幕的内容分享给其他与会人观看，提高沟通效率。</td>
 </tr>
  <tr>
    <td rowspan="3">管理功能 </td>
	<td>会议控制</td>
	<td>可区分主持人和与会人员角色权限，显示与会人员列表及音视频状态。主持人可以管理与会人在会议过程中发送音、视频的权限，例如全体静音、单独关闭某与会人员的摄像头或麦克风、移出房间、设置与会人员开启摄像头或麦克风需审批等。提供进出会议人员通知，可以设置房间超过预定人数后关闭通知。</td>
 </tr>
   <tr>
	<td>会议邀请</td>
	<td>一键获取会议名称、密码，邀请他人参与会议。</td>
 </tr>
   <tr>
	<td>视图切换</td>
	<td>可以设置演讲者视图或平铺视图。支持自动切换视频视图和音频视图。</td>
 </tr>
</table>


# 网易会议组件架构
整套会议系统客户端支持 Android、iOS、Web、Electron、Windows、macOS等平台, 如何确保用户快速接入以及各端一致性问题, 我们对会议客户端进行了一定的拆分设计。

## 网易会议组件架构：

![图片](https://raw.githubusercontent.com/GrowthEase/NetEase_Meeting/main/images/%E7%BD%91%E6%98%93%E4%BC%9A%E8%AE%AE%E7%BB%84%E4%BB%B6%E6%9E%B6%E6%9E%84.jpeg)

### Base

这一层主要是包含云信的各基础SDK，同时也会包含一些第三方SDK。

### Room Kit

Room Kit 是一个无UI房间服务组件，这一层承载了和Server通信逻辑，同时处理了一些会控逻辑，未来方向也会演进成一个泛会议的房间服务。如果用户不想复用我们默认的UI布局, 可以基于Room Kit来实现自己的会议UI。

移动端基于 Flutter 实现, 为了方便原生项目接入, 同样我们提供混合开发模式允许通过Java以及OC等原生语言接入。

### Meeting SDK

Meeting SDK 是一个带UI的会议服务组件, 相比于RoomKit 我们提供了一整套的标准会议UI实现, 同时我们也提供了有限的UI自定义功能。

移动端基于 Flutter 实现, 为了方便原生项目接入, 同样我们提供混合开发模式允许通过Java以及OC等原生语言接入。

桌面端基于 Qt 实现, 为了便于客户集成, 我们通过IPC等机制把Qt相关实现进行了隔离, 避免用户工程集成问题。

### App

云信标准版网易会议应用实现, 支持直接编译成一个独立的应用。

# 网易会议系统服务交互流程：

会议系统设计利用云信原有PaaS能力, 我们通过 IM Server 来进行会控通知和聊天, 通过Media Server实现 媒体数据的转发。

在此基础上我们重点对会议相关特性进行了设计, 包括多租户账号体系、安全入会、会议预定、会议控制、视图布局、角色控制等。


![图片](https://raw.githubusercontent.com/GrowthEase/NetEase_Meeting/main/images/%E4%BC%9A%E8%AE%AE%E6%9C%8D%E5%8A%A1.jpeg)

--------------------


为便于开发者对网易会议系统的理解，我们提供了网易会议相关的时序图供开发者进行流程上的参考；  

![图片](https://raw.githubusercontent.com/GrowthEase/NetEase_Meeting/main/images/meeting_flow_chart.png)

--------------------


# 交流 & 反馈
有疑问请添加网易智企小助手微信或添加官方社群

## 小助手微信
![图片](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E5%B0%8F%E5%8A%A9%E7%90%86100%E5%83%8F%E7%B4%A0.jpg)
## 官方微信群
![图片](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E7%A4%BE%E7%BE%A4100%E5%83%8F%E7%B4%A0.jpg)


网易会议组件目前已经开源，源代码点击下载按钮。该项目由网易云信团队自研，结合网易云信系统相关通讯功能，实时音视频、即时消息、白板、直播等功能构建一套会议系统，可以让开发者很容易具备高效稳定会议系统能力, 一周就能开发出一个属于自己的ZOOM。

网易会议组件简介&源代码

## 源代码下载：
[https://mctalk.yunxin.163.com/details/92](https://mctalk.yunxin.163.com/details/92)


# 网易会议组件概述
网易会议组件目前已经开源，该项目由网易云信团队自研，结合网易云信系统相关通讯功能，实时音视频、即时消息、白板、直播等功能构建一套会议系统，可以让开发者很容易具备高效稳定会议系统能力, 一周就能开发出一个属于自己的ZOOM。


网易会议NEMeeting SDK(以下简称SDK)提供了一套简单易用的接口，允许开发者通过调用 SDK提供的API，快速地集成音视频会议功能至现有应用中。为企业打造专属的会议能力，卓越的音视频性能，丰富的会议协作能力，坚实的会议安全保障，提升协作效率，满足大中小会议全场景需求。提供全套开放、简单、安全的视频会议服务。您可以使用进行远程音视频会议、在线协作、会管会控、会议录制、指定邀请、布局管理等。


## 功能特性

<table>
 <tr>
 	<td width="100px">功能分类</td>
	<td width="100px" >功能</td>
	<td>功能描述</td>
 </tr>
  <tr>
 	<td>基础功能 </td>
	<td>语音/视频通话</td>
	<td>支持一对一或多人间的语音/视频通话功能，并进行音视频实时切换。支持纯转发会议或者讨论式会议。</td>
  </tr>
  <tr>
    <td rowspan="3">协作功能 </td>
	<td>实时消息</td>
	<td>主持人和与会人在会议过程中发送实时文字消息进行互动。</td>
 </tr>
   <tr>
	<td>白板共享</td>
	<td>主持人在白板上书写，有助于提升协作效率；其他与会人也可使用白板与主持人进行实时互动。支持白板双指缩放大小及移动位置。</td>
 </tr>
   <tr>
	<td>屏幕共享</td>
	<td>主持人或与会人将自己屏幕的内容分享给其他与会人观看，提高沟通效率。</td>
 </tr>
  <tr>
    <td rowspan="3">管理功能 </td>
	<td>会议控制</td>
	<td>可区分主持人和与会人员角色权限，显示与会人员列表及音视频状态。主持人可以管理与会人在会议过程中发送音、视频的权限，例如全体静音、单独关闭某与会人员的摄像头或麦克风、移出房间、设置与会人员开启摄像头或麦克风需审批等。提供进出会议人员通知，可以设置房间超过预定人数后关闭通知。</td>
 </tr>
   <tr>
	<td>会议邀请</td>
	<td>一键获取会议名称、密码，邀请他人参与会议。</td>
 </tr>
   <tr>
	<td>视图切换</td>
	<td>可以设置演讲者视图或平铺视图。支持自动切换视频视图和音频视图。</td>
 </tr>
</table>


# 网易会议组件架构
整套会议系统客户端支持 Android、iOS、Web、Electron、Windows、macOS等平台, 如何确保用户快速接入以及各端一致性问题, 我们对会议客户端进行了一定的拆分设计。

## 网易会议组件架构：

![图片](https://raw.githubusercontent.com/GrowthEase/NetEase_Meeting/main/images/%E7%BD%91%E6%98%93%E4%BC%9A%E8%AE%AE%E7%BB%84%E4%BB%B6%E6%9E%B6%E6%9E%84.jpeg)

### Base

这一层主要是包含云信的各基础SDK，同时也会包含一些第三方SDK。

### Room Kit

Room Kit 是一个无UI房间服务组件，这一层承载了和Server通信逻辑，同时处理了一些会控逻辑，未来方向也会演进成一个泛会议的房间服务。如果用户不想复用我们默认的UI布局, 可以基于Room Kit来实现自己的会议UI。

移动端基于 Flutter 实现, 为了方便原生项目接入, 同样我们提供混合开发模式允许通过Java以及OC等原生语言接入。

### Meeting SDK

Meeting SDK 是一个带UI的会议服务组件, 相比于RoomKit 我们提供了一整套的标准会议UI实现, 同时我们也提供了有限的UI自定义功能。

移动端基于 Flutter 实现, 为了方便原生项目接入, 同样我们提供混合开发模式允许通过Java以及OC等原生语言接入。

桌面端基于 Qt 实现, 为了便于客户集成, 我们通过IPC等机制把Qt相关实现进行了隔离, 避免用户工程集成问题。

### App

云信标准版网易会议应用实现, 支持直接编译成一个独立的应用。

# 网易会议系统服务交互流程：

会议系统设计利用云信原有PaaS能力, 我们通过 IM Server 来进行会控通知和聊天, 通过Media Server实现 媒体数据的转发。

在此基础上我们重点对会议相关特性进行了设计, 包括多租户账号体系、安全入会、会议预定、会议控制、视图布局、角色控制等。


![图片](https://raw.githubusercontent.com/GrowthEase/NetEase_Meeting/main/images/%E4%BC%9A%E8%AE%AE%E6%9C%8D%E5%8A%A1.jpeg)

--------------------


为便于开发者对网易会议系统的理解，我们提供了网易会议相关的时序图供开发者进行流程上的参考；  

![图片](https://raw.githubusercontent.com/GrowthEase/NetEase_Meeting/main/images/meeting_flow_chart.png)

--------------------


# 交流 & 反馈
有疑问请添加网易智企小助手微信或添加官方社群

## 小助手微信
![图片](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E5%B0%8F%E5%8A%A9%E7%90%86100%E5%83%8F%E7%B4%A0.jpg)
## 官方微信群
![图片](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E7%A4%BE%E7%BE%A4100%E5%83%8F%E7%B4%A0.jpg)







针对远程会议功能，网易云信提出对会议组件进行分阶段开源，帮助创业者简单、快速、低成本地通过会议组件搭建自己的远程互动平台，实现商业闭环；为开发者提供一个基于远程会议组件产品创意的机会。

“易+”开源计划 - 网易会议组件探索

第1节-网易会议组件探索

第2节-网易会议开源-移动端

第3节-网易会议开源-桌面端

#  导读：

随着线上会议越来越普遍，各企业在这种环境下也更加重视，期望能够拥有一套自己的会议系统，方便展开工作和交流；网易云信在通信领域研发深耕 24 年，基于此能力打造了一款成熟的会议系统并将其开源，希望贡献自己的一份力量，本文将介绍下其中的桌面端。

#  一、UI如何选择

对于桌面的应用，选择的 UI 有很多，在不同的平台下都有成熟好用的框架，无论是出于快速开发、性能、视觉效果都有多种选择。

基于我们的场景，需要支持 Windows 和 macOS 系统，也就是要跨平台，跨平台方案也较多，Qt，Electron，Flutter 等都各有千秋；会议场景中的视频，作为基础核心，需要能够支持多路视频流的渲染，当然如果是高清视频会更好，因此性能也就是我们考虑中的重要一项。

为了更高的利用系统资源，希望使用本地渲染，尽可能的使用硬件加速，提高渲染效率，结合其他因素我们采用 Qt 作为我们的 UI 框架，Qt 作为老牌的跨平台 UI 框架，优缺点不言而喻，选择适合的才是最好的。

# 二、桌面端

## （一）桌面端的框架

框架整体如下图所示：

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3345636b3d594ecd89d802e1f53fb2de~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动")​

 

-   App：前端使用Qt搭建整个应用，包括注册登录，入会等一些功能，用户可以参考相关调用接口，完全能够定制自己的App。
-   SDK：会议组件的 UI SDK，包括会中的所有功能，也提供了对外的接口。
-   IPC：作为 App 与 SDK 之间的桥梁，负责数据的通信。此模块是通过 Socket 结合异步任务队列实现接口的调用，其中 App 作为 Server 端创建 Server，拉起 SDK 的 UI 进程并传递端口号，然后监听 Client 链接，Client 使用端口来链接 Server，与之建立键连接。下图是个大致示意图。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f340f33d82c2472184584fe0f98e7df7~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动")​

 App 和 SDK 采用双进程的方案优点：

-   有更好的隔离，使得 SDK 更稳定。
-   提高系统资源利用率，避免与 SDK 宿主进程资源抢占。

## （二）SDK

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/09c438e9e52e4f2c95e9cc682efda51f~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动")​

 

SDK 提供了对外的集成接口，也提供了会中的 UI 模块，用户可以基于此简单的接口，很容易完成集成。

-   UI 层：包括了会中的一些UI界面，比如视频视图展示，聊天展示，成员列表展示，直播，白板展示等。
-   Service 层：按照业务对业务模块的封装。
-   Control 层：对能力层模块的业务封装。
-   Base 层：能力模块，基础模块。

# 三、接入方式

## (一) 桌面端提供了丰富的接入接口，如下所列

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/585f461b91804da68baf1030637a0908~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动")​

-   C++方式：提供了一套通用的C++接口，可以在Windows和macOS里通过原生的方式集成。
-   Electron方式：提供基于JS的接口，具有和C++一致的接口，方便集成到Electron应用中。

## （二）SDK提供的接口能力

-   根据会议的场景，提供了鉴权、账户、会中等服务，满足App端的能力。

## （三）SDK的优点

-   组件化程高，接口简单稳定，能够简单快捷的接入。
-   可定制化，UI可通过自定义的方式，集成到自己的系统中。

# 四、结语

以上主要介绍了会议和组件的架构和一些业务，希望能够帮助用户理清架构和一些模块关系，了解内部实现和逻辑；当然在实际开发中，也会遇到一些关键技术点和部分模块的难点，我们也有相应的解决方案，希望在以后的篇幅中能够为您详细介绍。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/57b34249ff7c45c2a50fe4859f6858b2~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动")​

​

网易云信在通信领域研发深耕 24 年，基于此能力打造了一款成熟的会议系统并将其开源，希望贡献自己的一份力量，本文将介绍下其中的桌面端。

网易会议开源之桌面端篇

2023年2月，网易云信首席流媒体架构师吴桐受邀参加QCon全球软件开发大会-北京站，并于大会上作出主题为《海量并发低延时RTC-CDN系统架构设计》的专题分享。

随着近几年音视频流媒体行业的持续发展，海量并发、低延时和低成本作为三大核心诉求依旧需要不断深挖，同时随着 RTC 和 CDN 这两种技术的界线越来越模糊，因此有必要从底层架构层面重新思考 RTC 与 CDN 的融合之道。

本文将重点分享：网易云信如何构建 RTC-CDN 服务架构，深入剖析这套架构是如何解决海量并发、超低延时与低成本三大行业核心述求，并结合低延时直播和元宇宙两大场景，为大家讲解 RTC-CDN 的核心技术和最佳实践。

随着近几年音视频流媒体行业的持续发展，海量并发、低延时和低成本作为三大核心诉求依旧需要不断深挖，同时随着 RTC 和 CDN 这两种技术的界线越来越模糊，因此有必要从底层架构层面重新思考 RTC 与 CDN 的融合之道。本文将重点分享：网易云信如何构建 RTC-CDN 服务架构，深入剖析这套架构是如何解决海量并发、超低延时与低成本三大行业核心述求，并结合低延时直播和元宇宙两大场景，为大家讲解 RTC-CDN 的核心技术和最佳实践。

《海量并发低延时RTC-CDN系统架构设计》

![图片](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E9%95%BF%E6%B5%B7%E6%8A%A5%E5%B8%A6%E5%98%89%E5%AE%BE.png)


结合网易多年自带的游戏基因，“网易云信”与“网易互娱学习发展”进行深度合作，专注游戏主题赛道，邀请全球范围内具有高度创新精神的开发者团队，基于“网易云信”的融合通信技术能力，完成互动游戏的设计与开发。

Innovation 2022 网易云信开发者大赛

![图片](https://yx-web-nosdn.netease.im/quickhtml/assets/yunxin/mctalk-website/%E6%97%A0%E4%BA%8C%E7%BB%B4%E7%A0%81%E7%89%88%E6%9C%ACcsdn.jpg)


网易音视频技术大会（2022）由网易智企主办，是集专业性、前瞻性、实用性为一体的技术活动。本届大会以“视界无垠 音聚而生”为主题，汇聚了来自网易旗下网易智企、网易云音乐、网易传媒、网易伏羲等众多音视频领域的产品和技术大咖，共同分享对音视频技术探索与应用实践的思考和见解。

2022网易音视频技术大会【回放】

音视频技术大会2022-产品场

音视频技术大会2022-技术场

![image](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2Fqcon%2F2021917-94713.jpeg)
<h1 style='color:#C1292E;'>专题: AI时代下的融合通信技术</h1>

<br>

近年来，通信技术日渐呈现融合发展趋势，即时通讯、实时音视频、直播等通信技术与人工智能和 5G 紧密结合，在新冠疫情的催动下已应用在各行各业的线上化业务中；与此同时，广泛的应用对网络性能和网络质量也提出了更高的要求。本专题将为大家介绍融合通信技术的前沿探索和落地实践。

<br>
![image](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2Fqcon%2F0.png)
<h2 style='color:#C1292E;'><center>专题出品人：陈功  网易智企 技术 VP</center></h2>

<br>
<br>
目前就职于网易智企，毕业于中国科学技术大学，获得模式识别和智能系统专业博士学位。超过 15 年的音视频相关领域经验。《WebRTC权威指南》中文版第一译者，引领 WebRTC 技术在国内的发展，主导开发的 RTC 服务是国内第一个日用量超过 1000w 分钟的 WebRTC 产品。原 Intel 服务器事业部多媒体架构师，主导 Intel Collaboration Suite for WebRTC（OWT前身）架构设计和研发。曾任职 Marvell 视频事业部，研究多媒体系统框架，参与设计和研发第一代 Google TV/Chromecast 产品。

<br>

<br>
<h1 style='color:#C1292E;'>演讲1：融合通信的趋势和技术演进方向</h1>

<br>
<br>
融合通信涵盖了 IM、RTC、白板、直播、点播等各种通信能力，多种通信技术的融合带来了业务层面的革新。一方面，娱乐社交、在线教育、金融等各行各业层出不穷的新玩法，以及各大云服务商提供的一站式解决方案，都依赖底层多种能力的整合；另一方面，在技术融合的趋势下，对各项技术能力的演进也提出了更高的要求，既包括底层能力的打通，也包括上层服务层的无缝衔接。本次分享将介绍网易云信在融合通信方面的技术探索和落地实践。
![image](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2Fqcon%2F2.png)
<h2 style='color:#C1292E;'><center>分享嘉宾：曹佳俊  网易云信资深服务器开发工程师</center></h2>

<br>
<br>
毕业于中国科学院，硕士毕业后加入网易，负责云信 IM/RTC 信令等业务的服务器开发。专注于即时通信、RTC 信令以及相关中间件等技术，是云信开源项目 Camellia 的作者。

<br>
<br>
<h1 style='color:#C1292E;'>演讲2：视频通信关键技术探索及实践</h1>

<br>
<br>
优秀的视频引擎是好的视频体验的基石，网易云信的业务覆盖了主要的视频场景，包括了甚低延时的实时音视频场景，允许部分延时的直播场景和不强调延时的点播场景，网易云信视频团队做了大量努力来保证每种场景下用户极致的视频体验，本次分享将介绍网易云信视频在各个场景下的关键技术和应用尝试。
![image](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2Fqcon%2F1.png)
<h2 style='color:#C1292E;'><center>分享嘉宾：韩庆瑞 网易音视频实验室高级技术专家</center></h2>

<br>
<br>
网易音视频实验室高级技术专家，网易云信视频团队负责人。拥有 15+ 年视频图像和网络传输开发经验。毕业于武汉大学，获得硕士学位，拥有 20 多项专利，发表论文 3 篇。之前就职于腾讯和华为，在华为期间领导了绝大多数华为商用视频编码器的开发和落地，包括带领团队开发了华为视频会议的 HEVC 编码器算法——全球第 1 个 FPGA 实现的 HEVC 视频会议系统；领导了海思麒麟芯片的 HEVC IPCore 算法设计；设计并带领团队开发了面向流媒体业务的 HEVC 编码器——HW265；领导开发的多款 H264 编码器广泛用于华为视频会议和服务器产品。除编码器外，他也有多年计算机视觉经验，带领团队开发了业界首款手机 3D 建模系统，落地华为荣耀 V9；在腾讯期间开发了多个用于腾讯会议的网络传输算法。
<br>
<br>


<br><br>
<h1 style='color:#C1292E;'>演讲3：音频 AI 算法在 RTC 中的实践</h1>

<br>
<br>
随着人工智能技术、计算机技术、神经网络等领域的不断发展，AI 音频算法也在学术界和其他行业不断涌现，“怎样将 AI 音频算法应用到 RTC 领域中”是作为 RTC 从业者的一个值得探索的课题。本次分享会聚焦“RTC 应用 AI 音频算法的难点”、“AI 音频算法落地的解决方案”、“网易云信 AI 音频算法落地案例”三个维度，和大家分享 AI 音频算法和 RTC 的实战经验。
![image](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2Fqcon%2F3.png)
<h2 style='color:#C1292E;'><center>分享嘉宾：郝一亚   网易云信音频算法专家</center></h2>

<br>
<br>
博士，网易云信音频算法专家，IEEE审稿人。发表学术期刊/论文 15 篇，申请专利 7 项。曾参与美国卫生局 NIH 助听器音频算法项目、Apple AirPods 音频算法研发 、Facebook Reality Labs AR/VR 音频项目、以及 Zoom Video Communications 实时音频算法研发工作。目前在网易云信主要负责音频实验室搭建、3A 算法研发、AI 音频算法研发以及 RTC 音频标准制定。

<br>
<br>
<h1 style='color:#C1292E;'>演讲4：网易云音乐网络库跨平台化实践</h1>

<br>

<br>
网络库作为 APP 的核心，很大程度上决定着用户的“体感”和“快感”，在优化过程中，你是否和我们一样，有着类似的困扰：
<br>
1. 系统网络库由于暴露的能力或接口有限，你无法进行深层次的定制或改造，很多“优化”浮于表面，并不能带来实质的性能提升
<br>
2. 各端系统网络库差异大，你不得不将“相同的”网络优化策略&监控在各端上进行适配，你感觉工作量在成倍增长，即使这样，多端“一致性”你还是无法保证
<br>
3. 同样由于网络库的差异性，各端能采集的数据指标不能完全对齐，你不得不在后台监控服务中写下“可恶”的兼容性代码
<br>
4. 随着移动端的崛起，PC 端在“小众化”，但这并不代表 PC 端用户不需要对应的优化及监控，可是你确实没有精力兼顾
<br>
5. 大厂可以不惜代价，筹建庞大的团队深入协议栈进行重新开发优化，但是你只想投入有限的资源，并希望换来可观的网络性能提升

<br>

你该怎么办？在这次演讲中，我将以云音乐网络库跨平台化改造为例，与大家一起探讨交流。
![image](https://yx-web-nosdn.netease.im/quickhtml%2Fassets%2Fyunxin%2Fdefault%2Fqcon%2F4.png)
<h2 style='color:#C1292E;'><center>分享嘉宾：陈松茂  网易云音乐资深音视频开发工程师</center></h2>

<br>
<br>
2020 年底加入网易云音乐，一站式网络解决方案技术负责人，目前从事跨平台网络解决方案相关研究，旨在降低多端网络优化的研发成本，用较低的成本获得持续可观的网络性能提升。曾就职于阿里，长期从事于 Chromium 相关技术研究和应用，拥有丰富的浏览器开发和内核升级经验。
<br><br>
<br><br>
<h3>更多信息请见QCon官网：https://qcon.infoq.cn/2021/shanghai/track/1228</h3>