tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
媒体处理
    文档
    Download PDF

    终端 SDK 功能介绍及接入

    最后更新时间：2024-09-29 16:18:37
    下载PDF
      终端 SDK 是腾讯云推出的音视频终端产品能力，包括视频编码、音频增强、视频增强3类功能 SDK，面向不同客户场景需求提供针对性的产品能力，支持移动端、Web 端、PC 端等多终端接入。
      
      
      

      终端视频编码 SDK

      腾讯极速高清终端视频编码器是一款针对端侧低算力、低延迟、高画质场景研发的编码器。和硬件编码相比，优势在于：
      1. 稳定可靠，启动快。
      2. 同等画质下节省码率，提升传输的稳定性，节省下行分发带宽，节省存储成本等。
      3. 同等码率下提升画质，提升用户体验。
      4. 丰富的功能，满足业务多样化需求，如使用 ROI 编码提升人脸区域画质，动态调整编码配置适应网络波动等。

      终端音频 SDK

      客户端音频SDK提供音频编码和音频增强能力，实现包括自适应噪声抑制、声学回声消除以及自动增益控制等效果，可以显著提升音频质量、消除回声及噪声。

      终端增强 SDK

      客户端增强 SDK，基于高效的图像处理算法和AI模型推理能力，实现终端视频超分辨率、画质增强、插帧等功能。

      极速高清终端视频编码SDK

      产品简介

      和云点播、直播编码相比，端测编码需要采用不同的编码解决方案。
      编码模式
      云点播
      云直播
      端测编码
      典型业务
      腾讯视频、视频号等行业主流点播业务
      视频号直播、腾讯体育直播等行业主流直播业务
      腾讯会议、微信视频通话和5G远控等业务
      延迟要求
      追求极限压缩率，无延迟要求
      追求高压缩率，允许秒级延迟
      追求高压缩率同时要求零延迟
      实时性要求
      追求极限压缩率，无实时要求
      允许多线程下多帧平均实时
      要求单线程下编码实时
      网络条件约束
      编码过程与网络状态无关，编码配置固定
      编码过程与网络状态无关，编码配置固定
      编码过程与网络强相关，需要随网络状态动态调整编码配置
      场景特点
      1 -> N，无交互
      1 -> N，无交互
      N < - > N，强交互
      解决方案
      服务端编码
      服务端编码
      终端编码
      腾讯极速高清终端视频编码器是一款针对端侧低算力、低延迟、高画质场景研发的编码器。和硬件编码相比，优势在于：
      1. 稳定可靠，启动快。
      2. 同等画质下节省码率，提升传输的稳定性，节省下行分发带宽，节省存储成本等。
      3. 同等码率下提升画质，提升用户体验。
      4. 丰富的功能，满足业务多样化需求，如使用 ROI 编码提升人脸区域画质，动态调整编码配置适应网络波动等。

      SDK 接入流程

      
      
      

      1. 评估试用：客户提供系统平台和需求信息，申请产品体验。
      系统平台：Android、iOS、Windows、macOS 等。
      使用场景：直播、点播。
      编码规格：编码格式（H.264、H.265）、分辨率、帧率、码率、延迟要求等。
      优化目标：码率节省、画质提升、CPU 节省以及相应的衡量指标（PSNR、SSIM、VMAF 等）
      2. 开发集成：集成测试版 SDK 到 App，效果评测和定制优化。
      根据客户效果评测结果和具体业务场景需求，提供深度优化支持。
      3. 上线发布：申请 License，集成带 License 授权的正式版 SDK，测试和上线发布 App。
      License 临期或过期后，可再次申请 License 续期。

      SDK 集成

      视频编码 SDK 为 C/C++/汇编实现，为各系统平台提供统一的 C 接口。

      Android

      ● 提供 armv7、armv8 版本动态库，应用程序通过 NDK 方式集成。
      ● 提供 Java 接口封装，接口与 Android 硬件编码 MediaCodec 基本一致，方便平行替换 MediaCodec。

      iOS

      提供 armv8、x86_64 版本 xcframework。

      macOS

      提供 armv8、x86_64 版本 framework。

      Windows

      提供 x86、x86_64 版本动态库。

      视频编码基本流程

      
      
      

      极速高清终端音频SDK

      产品介绍

      客户端音频 SDK 提供音频编码和音频增强能力，可以显著提升音频质量、消除回声及噪声。
      各版本具体功能详情如下：
      功能点
      标准版
      专业版
      旗舰版
      声学回声消除
      支持
      支持
      支持
      自动增益控制
      支持
      支持
      支持
      自适应噪声抑制
      支持
      支持
      支持
      回声消除音乐模式
      -
      支持
      支持
      音量均衡
      -
      支持
      支持
      AI智能降噪
      -
      支持
      支持
      音频编码
      -
      -
      支持
      AI Codec
      -
      -
      支持

      实时通信音频 3A

      音频3A技术是声音信号处理中的一组基础功能，常用于实时通信系统，如视频会议、通话、直播连麦等，以保障音频信号的高质量传输，提供更好的通信质量和音频听觉体验。3A分别代表自适应噪声抑制（Adaptive noise supperssion, ANS）、声学回声消除（Acoustic echo cancellation, AEC）以及自动增益控制（Automatic gain control）。
      实时通信音频链路
      实时通信音频链路
      
      自适应噪声抑制（Adaptive noise supperssion, ANS）
      ANS 主要功能是消除语音信号中的背景噪声成分、降低干扰，以提高语音可懂度和感知质量。基于加性噪声模型假设，麦克风采集到的音频信号可以看成是纯净语音信号和噪声干扰的叠加，通过对音频非语音段进行噪声跟踪估计，然后在语音段减去噪声成分能量，可以得到更清晰的语音信号。
      声学回声消除（Acoustic echo cancellation, AEC）
      AEC 主要解决音频通信过程中的回声问题。在通话过程中，扬声器播放的声音直接或者经过反射被麦克风采集，导致远端用户听到自己说话的声音，这会严重干扰通话质量。而AEC技术能根据远端参考信号对近端信号进行处理，有效消除或者降低这种回声现象，提升通话体验。
      自动增益控制（Automatic gain control, AGC）
      AGC 主要负责在音频信号传输过程中调整音量大小。当声源音量过低或者过高时，会显著影响通话体验，而AGC能够自动识别音频流响度，动态调节音量水平，使其始终保持在一个舒适的范围之内。AGC能够缓解由录音设备采集差异、说话人音量大小、距离远近等因素引起的音量不稳定问题。

      使用场景

      SDK 可以应用在推流上行音频编码预处理和拉流下行音频解码后处理，提升音质。目前支持 Android、iOS、Windows 和 macOS 客户端。
      
      
      
      线上教学场景：消除噪声和回声，提升教学过程中声音的清晰度。
      游戏内语音场景：音量均衡，将大小声做均衡处理，提升玩家听感和游戏体验。
      直播场景：主播声音去噪和语音增益控制，在语聊、歌房等场景提升整体的直播质量。

      SDK API 调用流程

      
      
      

      极速高清终端增强 SDK

      产品介绍

      客户端增强 SDK，基于高效的图像处理算法和 AI 模型推理能力，实现终端视频超分辨率、画质增强、插帧等功能。
      各版本具体功能详情如下：
      功能点
      标准版
      专业版
      旗舰版
      标准超分辨率
      支持
      支持
      支持
      标准超分+增强参数
      (对比度/色彩/亮度)
      支持
      支持
      支持
      专业超分辨率
      -
      支持
      支持
      AI画质增强
      -
      支持
      支持
      AI插帧增强
      -
      -
      支持
      
      
      
      
      
      
      标准版的优势是性能，我们的算法能以极低的耗时和功耗实现较好的超分辨率效果。适配几乎所有性能的手机。
      标准版里还提供了图像增强能力，可以调整图像的亮度、色彩饱和度和对比度。
      专业版的优势是效果，它通过 AI 模型推理，能生成原图像缺失的纹理细节，实现最好的图像增强和超分辨率效果。专业版对设备算力有要求，建议只在中高端手机上使用。

      产品性能

      标准超分辨率
      系统
      设备型号
      设备配置
      基础超分参数
      CPU
      (%)
      内存
      (MB)
      帧率
      GPU
      (%)
      耗电
      (mAh)
      Android
      HUAWEI Mate50 （2022）
      芯片：骁龙8+Gen1 CPU：3.0 GHz GPU：Adreno 730 电池：4272.8mAh
      720P-关
      2.8
      48
      59.9
      5
      138.01
      720Px1.5倍
      3
      64
      60.4
      10
      196.55
      576Px1.25倍
      3
      60.1
      59.9
      7
      /
      4Kx1.25倍
      3
      163.2
      59.9
      46.4
      /
      Android
      Sony Xperia 5 II （2020）
      芯片：骁龙865 CPU：2.84 GHz GPU：Adreno 650 电池：3104mAh
      720P-关
      1
      135.9
      59.1
      4
      133.78
      720Px1.5倍
      2
      146.8
      59.2
      10
      152.41
      576Px1.25倍
      2
      139.2
      59.2
      6
      /
      4Kx1.25倍
      2
      311.2
      59.2
      46.7
      /
      Android
      小米6 （2017）
      芯片：骁龙835 CPU：2.45GHz GPU：Adreno 540
      720Px1.5倍
      2.9
      119
      60
      18.9
      /
      Android
      Redmi Note 4 （2016）
      芯片：联发科 MT6797 Helio X20 CPU：mt6797 2.0GHz GPU：ARM Mali-T880
      720Px1.5倍
      9.4
      137.9
      60.6
      74.5
      /
      Android
      荣耀8青春版 (2016，千元机)
      芯片：海思麒麟655 CPU：hi6250 2.3GHz GPU：ARM Mali-T830
      720P-关
      2
      77
      58.8
      不支持
      /
      720Px1.5倍
      2
      83.4
      58.1
      不支持
      /
      iOS
      iPhone 13 （2021）
      CPU：3.23GHz GPU：四核 电池：3065.65mAh
      720P-关
      5.9
      54.4
      59.5
      15.9
      64.99
      720Px1.5倍
      6
      63.8
      59.5
      24
      88.29
      576Px1.25倍
      4.7
      57.3
      59.5
      18.9
      /
      4Kx1.25倍
      9.2
      162.2
      59.5
      60.6
      /
      iOS
      iPhone 6P （2014）
      CPU：Apple A9 GPU: PowerVR GT7600
      720P-关
      13
      40.5
      59.5
      22.8
      /
      720Px1.5倍
      18.8
      49.4
      59.6
      50.2
      /
      
      专业超分辨率
      系统
      设备型号
      设备配置
      专业超分参数
      CPU
      (%)
      内存
      (MB)
      帧率
      GPU
      (%)
      耗电
      (mAh)
      Android
      HUAWEI Mate50 （2022）
      芯片：骁龙8+Gen1 CPU：3.0 GHz GPU：Adreno 730 电池：4272.8mAh
      720P-关
      3
      66
      60
      3
      138.01
      720Px1.5倍
      13
      123
      48
      10
      342.9
      576Px1.25倍
      13
      105
      60
      7
      333.13
      540Px2倍
      13
      105
      60
      11
      322.73
      Android
      Sony Xperia 5 II （2020）
      芯片：骁龙865 CPU：2.84 GHz GPU：Adreno 650 电池：3104mAh
      720P-关
      1
      142
      59.1
      3
      133.78
      720Px1.5倍
      13
      196
      39
      8
      294.06
      576Px1.25倍
      13
      148
      58
      8
      /
      540Px2倍
      13
      159
      40
      7
      /
      iOS
      iPhone 13 （2021）
      CPU：3.23GHz GPU：四核 电池：3065.65mAh
      720P-关
      6
      73
      60
      14
      64.99
      720Px1.5倍
      15
      94
      40
      14
      /
      576Px1.25倍
      10
      84
      60
      16
      /
      540Px2倍
      9
      76
      60
      21
      /
      AI 画质增强
      系统
      设备型号
      设备配置
      专业增强分辨率
      CPU
      (%)
      内存
      (MB)
      帧率
      GPU
      (%)
      Android
      HUAWEI Mate50 （2022）
      芯片：骁龙8+Gen1 CPU：3.0 GHz GPU：Adreno 730 电池：4272.8mAh
      720P
      13
      140
      55
      7
      576P
      13
      126
      74
      5
      540P
      13
      130
      78
      7
      Android
      Sony Xperia 5 II （2020）
      芯片：骁龙865 CPU：2.84 GHz GPU：Adreno 650 电池：3104mAh
      720P
      13
      184
      41
      5
      576P
      13
      174
      59
      5
      540P
      13
      142
      43
      4
      iOS
      iPhone 13 （2021）
      CPU：3.23GHz GPU：四核 电池：3065.65mAh
      720P
      17
      91
      40
      11
      576P
      12
      70
      60
      11
      540P
      9
      68
      60
      11

      使用场景

      1. 终端播放器增强，提高视频播放的画质、流畅度体验。
      
      
      
      2. 节约成本，降低视频分发的分辨率和码率，再通过终端播放增强来减小体验损失。
      
      
      
      例如，云游戏场景，利用端上实时视频超分辨率的能力，可以降低云端渲染和编码的算力，并且节省传输带宽，节约成本。如下例子，云端传输720P(5.6Mbps)的游戏画面，在终端播放实时超分到1080P，观看效果接近云端传输1080P(8.2Mbps)的画面，节省30%带宽。

      SDK集成

      兼容性

      Android 平台：适用于 Android5.0以上（API 21，OpenGL ES 3.1）。
      iOS 平台：适用于 iPhone 5s及更高版本的设备，最低系统版本为 iOS 12。

      包大小

      标准版：Android AAR约 0.3MB（arm64-v8a），iOS Framework 0.4MB。
      专业版：Android AAR约 2.1MB（单 arm64-v8a 架构），iOS Framework 1.9MB。

      接入指引

      参考 Android、iOS 接入指南。
      
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款