tencent cloud

文档反馈

智能拆条能力接入

最后更新时间:2024-11-29 15:40:13
    智能拆条可以将完整长视频分段。例如,将完整的新闻联播素材拆分成多个新闻事件视频,可以显著提升新闻和体育类视频的拆条质量,促进二次创作,节省人力和硬件成本。智能拆条支持处理离线视频或直播流,请分别参考下文 处理离线视频处理直播流

    处理离线视频

    接入方式一:API 发起任务

    调用 媒体处理接口 ,选择 AiAnalysisTask 任务,将 Definition 设置为 27(预设智能拆条模板)ExtendedParameter 填额外的扩展参数,通过该参数实现特定的能力,取值详情见下文 指定拆条场景
    
    
    

    1. 指定拆条场景

    说明:
    以下提供了几种预设 ExtendedParameter 参数。
    为了确保拆条效果,建议您与我们联系,我们可以根据您的视频场景确认具体参数并提供持续的优化支持。

    场景一:新闻拆条

    功能描述
    对新闻视频中的导播台,以及“快讯”等特征进行定位识别, 从而达到新闻拆条的效果。输出内容包括:拆出的视频片段、每个片段的封面图、起止时间。
    参数
    ExtendedParameter 不填,则默认为新闻拆条场景。
    效果示例
    原始视频约30分钟;红框中为拆条结果,新闻事件被拆为多个几分钟的短视频。
    
    
    

    场景二:NLP 拆条

    功能描述
    通过识别视频语音、画面文字内容后提取出文本,基于文本智能分段对视频进行拆条。输出内容包括:拆出的视频片段、每个片段的封面图、起止时间、标题、摘要。
    参数
    在 ExtendedParameter 中填入以下参数,具体参数建议线下对接确认。输出内容:拆出的视频片段、每个片段的封面图、起止时间、标题、摘要。
    {"strip":{"type":"content"}}
    
    /*
    如需自定义摘要相关参数,传参参考下面格式:
    {"strip":{"type":"content"},"des":{"need_ocr":true,"only_segment":0,"text_requirement":"标题在20字以内,摘要在40字以内","dstlang": "en"}}
    */
    其中"des"部分可选参数参考下表:
    参数
    是否必填
    类型
    说明
    need_ocr
    No
    bool
    是否使用 ocr 辅助分段,True 表示开启,默认为 False。
    不开启,系统仅识别视频语音内容辅助视频分段;开启,还识别视频画面上的文字内容辅助视频分段。
    only_segment
    No
    int
    是否只分段,不生成标题摘要,默认为0。
    1:只分段,不生成标题摘要。
    0:分段且生成标题摘要。
    text_requirement
    No
    string
    对生成标题摘要的要求。例如限制字数"标题在20字以内,摘要在40字以内"。
    dstlang
    No
    string
    标题摘要语言,默认为"zh"。
    "zh":中文
    "en":英文
    效果示例
    原演讲视频(左边的视频)被分割成多个短视频,每个短视频都有封面图片、标题和摘要。
    
    
    

    场景三:目标拆条

    功能描述
    支持指定物体、人物等目标,识别视频中该目标出现的关键帧,将相应片段拆出来。例如,针对监控视频,只拆分出有人出现的画面片段。输出内容包括:拆出的视频片段、每个片段的封面图、起止时间。
    参数
    在 ExtendedParameter 中填入以下参数, 具体需要检测的物体目标建议线下对接确认。
    {"strip":{"type":"object","objects":["人"], "object_set":[91020415]}}
    效果示例
    某客户案例:拆出监控视频中有人出现的画面,从而降低存储成本。
    
    
    

    2. API Explorer 快速验证

    您可以通过 API Explorer 实现快速验证,进入页面填写相关参数信息后即可发起 API 在线调用。
    注:explorer 会自动转换,ExtendedParameter 填写对应 json 即可,不用转换成字符串。
    
    
    

    3. 查询任务结果

    任务回调:在使用 ProcessMedia 发起媒体处理任务时,可以通过 TaskNotifyConfig 参数设置回调信息。当任务处理完成后,会通过配置的回调信息回调任务结果,您可以通过 ParseNotification 解析事件通知结果。
    调用 DescribeTaskDetail 接口查询任务结果:
    若您是直接使用 API 关联模板发起任务,即按上文接入方式一发起的任务, ProcessMedia 返回的 TaskId 中会包含“WorkflowTask”(例如:24000022-WorkflowTask-b20a8exxxxxxx1tt110253),此时您需要解析 DescribeTaskDetail 接口 -> WorkflowTask ->AiAnalysisResultSet字段获取任务结果;
    若您在使用 ProcessMedia 发起任务时,不是按照上文接入方式一所述的在AiAnalysisTask -> Definition 中关联模板ID,而是在ScheduleId字段中填入编排 ID(下文自动触发任务 描述了如何创建编排),则返回的 taskid 中会包含“ScheduleTask” (例如:24000022-ScheduleTask-774f101xxxxxxx1tt110253),此时您需要解析 DescribeTaskDetail 接口 -> ScheduleTask -> ActivityResultSet 字段获取任务结果;
    若您从控制台发起任务,即按下文接入方式二发起的任务,在控制台 点播任务管理列表 中会显示任务 ID和任务结果,部分任务结果(如拆条输出的标题、摘要等文本内容)暂时不支持在控制台上预览,您可以解析 DescribeTaskDetail 接口 -> ScheduleTask -> ActivityResultSet 字段获取。
    控制台查询任务:进入控制台 点播任务管理,任务列表中会展示刚发起的任务。
    
    
    
    当子任务状态为“成功”时,您可以进入 COS Bucket > 输出 Bucket 中,找到您的输出目录,在目录下strip-开头的文件即为智能拆条的输出文件(分段视频以及封面图)。
    说明:
    标题、摘要等文本内容不会输出至 bucket 中,必须通过事件回调或接口查询。
    
    
    

    接入方式二:控制台发起任务(零代码)

    说明:
    控制台发起智能拆条任务,默认为 新闻拆条场景。如需其他拆条场景,请使用 API 接入,通过传参指定具体擦除场景,详情参考上文 接入方式一:API 发起任务

    1. 创建任务

    1.1 进入 媒体处理控制台,依次点击创建任务 > 快速创建点播处理任务。
    
    
    
    1.2 首先指定输入视频文件,目前智能拆条功能支持两种输入来源:腾讯云对象存储(COS)、URL 下载地址。暂不支持 AWS S3。
    1.3 然后,在步骤“处理输入文件”处,加入智能分析节点。
    
    
    
    在弹出的智能分析设置抽屉中,选择预设智能拆条模板(模板ID:27)。若您期望给自定义智能分析模板开启智能拆条功能,可以联系我们并同步模板 ID,腾讯云媒体处理开发人员将为您配置并启动智能拆条功能。
    说明:
    预设智能拆条模板(模板ID:27)默认为 新闻拆条场景。如需其他拆条场景,请使用 API 接入,通过传参指定具体擦除场景,详情参考上文 接入方式一:API 发起任务
    
    
    
    1.4 最后,指定输出视频保存路径后,即可单击创建发起任务。
    
    
    

    2. 查询任务结果

    参考上文 查询任务结果

    3. 自动触发任务(可选能力)

    若您希望实现:在 COS 桶中上传了视频文件,自动按照预设参数进行智能拆条处理。您可以:
    3.1 在创建任务时单击保存此编排,在弹出的窗口中配置触发 Bucket、触发目录等参数。
    
    
    
    3.2 然后进入点播编排列表,找到刚创建好的编排,在启动处开启按钮即可。后续在触发目录下新增的视频文件,将自动按照该编排预设的流程和参数发起任务,并将处理后的视频文件保存到编排配置的输出路径中。
    注意:
    启用编排成功后,需要3~5分钟才会生效。
    
    
    

    处理直播流

    接入方式:API 发起任务

    调用 对直播流发起处理(ProcessLiveStream)接口 ,选择 AiAnalysisTask 任务,将 AiAnalysisTaskInput - Definition 设置为 27(预设智能拆条模板)
    ExtendedParameter ,填额外的扩展参数,通过该参数实现特定的能力。

    1. 指定拆条场景

    直播流目前支持新闻拆条、NLP 拆条场景,暂不支持目标拆条场景,取值详情见上文 指定拆条场景

    2. 查询任务结果

    接收任务回调:在使用 ProcessLiveStream 发起媒体处理任务时,通过 TaskNotifyConfig 参数设置回调信息。处理直播流过程中,会通过配置的回调信息实时回调任务结果。您可以参考 解析直播流处理结果 文档解析 AiAnalysisResultInfo字段获取任务结果。
    
    
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持