融云IM即时通讯产品 2023-11-23 17:29

赋能开发者在自己的APP上快速拥有专业的、丰富、高质量的互联网通信能力

方案概述

随着数字化转型的快速进行,在金融行业,政务领域,绝大多数的业务都迁移到线上,但是我国老年人老龄化问题严重,针对移动电子设备不容易弄明白,所以还是要依赖线下硬件设备以及传统柜台。

在实际的线下运营过程中,实体办事网点运营成本过高,自助机具业务流程复杂,导致在实际的过程中无论是客户还是办事机构都耗费不少的物力和财力;

截止到目前,我司推出基于实时音视频的远程协助方案,不仅仅可以解决传统办事处的人员问题,客户面向业务流程的操作难的问题,还可以降低机构的运营成本,在结合客服系统,线上、线下数据一体化,构建“数字运营”,对整体业务发展有非常客观的促进作用;

在面向合规方面,我们还提供音视频的录制服务,如果事后出现争议,方便回溯;

在安全方面,我们对流式数据进行加密处理,并且平台私有化部署,保障双方数据安全;

 

方案架构

 图片1.png

token服务:根据客户端上报用户信息生成认证token,建议配合账号系统做认证使用

接入服务:包含token服务、接入地址调度、用户登录认证、用户心跳检测,并透传分发房间和队列信令

房间服务:会话过程中的房间管理(维护用户列表和流列表,音视频服务地址调度,文档和白板的同步)

媒体服务:提供包括RTMP、私有UDP,以及WebRTC服务接入。AAC-OPUS音频转码服务

license服务:提供license的动态分配和认证服务

日志服务:支持原生端的日志文件上传,方便问题的分析定位

录制服务:支持客户端或业务服务器以http接口形式启动、停止、更新画面布局等功能

文件存储:存储文档共享过程中的原始文件、转码后的文件,供客户端访问

文件共享调度:查询并调度完成文档的转码和访问

文件转码:将各种不同格式的文档转码成统一格式,给各客户端进行查看

redis服务:客户提供,主要是服务间共享缓存数据,在节点I是先故障时可以通过redis数据恢复

 

核心技术

  • 语音降噪

语音降噪算法的核心是采用高效滤波器抑制估计出来的噪声。我司音视频可以在秒级识别出连续噪音,并快速进行抑制。可有效抑制的噪音包括:马路上的交通声、人物吵闹声、鼓掌声、风噪声等。

  • 语音回声消除

语音回声主要采用自适应滤波器,通过回声时延估计、非线性滤波算法等完成软件回声消除。

  • 自动声音增益

音频AGC是音频自动增益控制算法,更为准确的说是峰值自动增益控制算法,是一种根据输入音频信号水平自动动态地调整增益的机制。当捕捉到的音量太低时,系统将自动提高增益,保证音量足够人耳听到。另一方面,当音量超过某一门限值,信号就会被限幅。限幅指的是音频设备的输出不再随着输入而变化,输出实质上变成了最大音量位置上的一条水平线,防止声音过大。

  • 视频编解码

我司实时音视频支持两种视频编码方式,在硬件支持的情况下,优先选择硬件编解码,硬件不支持时,自动切换至软件编解码。

为提升音视频的实时性,降低延时,我司实时音视频提供了对H264编码的硬件支持,目前支持的平台包括iOS,Mac,Android,Windows,其中iOS支持8.0以上系统,Mac支持10.9以上系统,Android支持4.4以上的绝大多数主流设备,Windows支持绝大多数Intel CPU的设备。相对于软件编解码,硬件编解码在性能上有很大提升,相同分辨率的视频,硬件编码速度是软件编码速度的十倍甚至几十倍。硬件编码可以保证在低配CPU的设备上使用高清视频通信,同时同样的设备可以减少CPU占用,释放CPU计算能力给应用层。

  • Media Server(媒体服务)

是基于发布-订阅模型研发的管理媒体通讯的服务,主要作用是通过 HTTP协议进行资源的发布上传并获取当前资源在服务的资源 Id,并通过 Signal Server 或其他信令控制服务将资源发送给其他人,其他人根据通过 HTTP 接口对资源进行订阅,来实现媒体数据进行实时传输的功能。

  • Signal Server(信令控制服务):

主要是处于业务层对 Media Server 的资源范围进行控制,来决定哪些人可以看到资源,哪些人不能看到资源的服务, 此外,信令服务还有鉴权认证功能,通过对客户端通信携带的签名的验证,确保信令通道的安全。(具体指标可以参照我司 IM 技术指标)

我司提供的Media Server 是可以独立于信令控制层单独部署且运行的,所以本技术白皮书主要对 Singal Server 进行功能阐述不做具体解释。主要针对 Media Server 进行阐述及技术说明。

 

 服务端架构

图片2.png

采用多层架构,各逻辑层业务支持横向扩展。

平台主要功能模块及说明:

  • 导航服务(Navigate)

为用户提供服务的后端服务存在多个节点,导航服务会根据用户的请求类别,将其均匀的分配到对应的服务节点,从而保证服务负载的均衡。

  • 对外接口服务(API Server)

负责 Token 及其他的服务端接口,移动开发者可以在其服务端,通过这些接口完成包括消息收发、好友管理等多种功能,这些功能是项目的核心组成。

  • 链接管理服务(Connect Manager)

链接管理服务是直接面向 App 的服务,该服务在集群内负责接收、转发用户指令,这种方式有效的将用户与实现隔离。

  • 代理服务(Proxy)

代理服务位于最终用户(App 使用者)。与公共服务之间,通过代理服务保证用户就近接入,这种方式有效的避免了弱网络环境中的各种问题,大大加强了用户体验。同时,通过代理服务,可以将用户分配到不同的物理机房,也是冗灾能力的基础。

  • 公众号服务(Public Service)

提供公众号主要服务能力,包括关注、引用、推荐和推送等功能。

  • 消息服务(Message Service)

消息服务通过链接管理服务对外提供单聊服务能力。

  • 群组服务(Group Service)

群组服务通过链接管理服务对外提供群组的服务能力。

  • 用户服务 (User Service)

用户管理职能。

  • 存储服务 (Repo Service)

存储消息中涉及的包括图片、音频、视频在内的多媒体资源。

  • 消息广播服务(Broadcast)

    提供消息群发职能。

公司简介

北京云中融信网络科技有限公司(简称融云),是安全、可靠的全球互联网通信云服务商,向开发者和企业提供即时通讯和实时音视频通信云服务。iResearch 艾瑞权威数据报告显示,融云即时通讯云市场份额连续多年稳居头位。

融云构建了一张覆盖全球所有国家及地区(共 233 个)的通信云网络,在全球各地设立多个数据中心及数千个加速节点。基于客户业务需求,融云可提供多种部署模式——公有云、私有云、混合云,为全球企业提供稳定的互联网通信云服务。针对企业级用户,融云将业务垂直到各个行业,为社交、直播、金融、交通运输、教育、电商、医疗等多个行业领域推出了针对性解决方案。

融云基于海量业务的技术锤炼,从基础架构到精细化运营,充分体现平台实力;凭借卓越的产品和优质的服务,在开发者规模、行业覆盖率、平台日活跃用户数、日均消息量等方面超越全行业。目前,已有数十万互联网用户及上千家企业级用户通过融云实现了场景化沟通,并从中获益,包括工商银行、中国移动、四川航空、CCTV 微视、中联重科、58 赶集、大河报业、新东方、陆金所、融创地产、华兴资本、易车网、猪八戒、得到 APP、荔枝、汽车之家、哈啰出行、百姓网、StarMaker、Opera、Elelive。