每日热闻!北京论道丨网仕科技曹洁:AI助力视频内容生产

来源:流媒体网 发布时间:2023-06-16 09:24:50

推荐阅读:北京论道嘉宾演讲大集合!


(资料图片)

2023年6月15~16日,由流媒体网主办,北京新媒体(集团)有限公司、北京联通、北京电信、北京移动共同协办的「北京论道暨第25届中国智能视听与科技创新高峰论坛」在北京隆重举行。

本届论道以“电视的未来与未来的电视”为主题,邀请到了智慧大屏产业的行业专家、企业翘楚莅临齐聚,多维角度透视当下大屏市场,共谋电视新未来。

在15日召开的“IPTV价值高峰论坛”上,上海网仕科技有限公司总经理曹洁做了主题为《AI助力视频内容生产》的演讲。

以下为演讲全文:

今年是“AI年”,我们作为视频生产工具的提供商,今天分享的主题是:AI助力视频内容生产降本增效。

网仕科技成立10年了,我们最开始提供手机电视直播解决方案,从2015年提供视频能力平台整体解决方案,2017年起提供视频云运营平台,2019年打造了融媒体+融合AI的视频云生产平台,2022年,我们推出了基于AI感知编码解决方案。

我们的主营业务包括4个方向:

1. 硬件设备:在线编码器、4G背包、便携式导播台、数字解码器、IPTV多画面监看、HDR工厂等设备,

2. 视频云:云直播、云会议等视频云业务

3. 应用软件:流媒体服务器、协议转换网关、直播APP、UGC直播互动系统、虚拟直播室、数字人等应用软件

4. 平台解决方案:云转码、云导播、云收录、云快编、云拆条、云轮播、云接收等平台解决方案。

我们主要聚焦于四个方向:

1. 智能化AI:将AI能力融入视频生产平台;

2. 互动+会议:将广电级别的技术和服务,注入互联网式的设计和市场思维;

3. 云化+全协议栈:基于微服务架构的视频云解决方案,模糊设备、技术和服务的界限;

4. 移动化+4K+5G背包:基于5G技术设计超高清便携式直播产品。

我们将专业级AI引擎应用于视频内容生产,提供一站式视频内容生产可视化解决方案,目前已经大规模商用于东方明珠、百视通、海康威视、四川广信天下传媒、CNTV、天翼视讯、北京国际云转播公司等。

AI赋能视频拆条/编辑/编码

云拆条是基于BS的拆条工具,对直播节目实施快速打点、剪辑、拼接等操作,生成点播文件,可实时快速预览,支持时间轴、EPG等快速定位;并对视频文件实施非编操作,包括剪切、合并,添加字幕、Logo、图片及画面特效,依托于强大的云端后台处理能力实现视频快速碎片化处理,提高内容生产效率进而实现内容快速发布。

云拆条支持实时预览拆条内容,支持时间轴、EPG等快速定位,支持多段合并,添加logo等,支持帧精确编辑,支持广告识别+EPG自动拆条。

AI拆条支持智能广告识别+EPG实现精准拆条:上传频道的广告素材,训练模型;在创建任务中选择要拆条的频道设置拆条的起始结束时间,创建成功后进入拆条任务列表等待运行,拆条运行成功后会生成一个去除广告的成品视频。

AI智能拆条支持智能广告识别+EPG实现精准拆条:利用网仕科技累积的广告视频片段,经过训练学习得到的序列区分性深度广告分类模型,能够自动识别视频中的广告节目,并通过多特征融合拆分模型,结合EPG信息实现对广告节目的精准自动拆分,大大提高节目制作效率。

AI标签是对视音频内容进行多维分析的工具,实现拆条体系通过标签精准定位打点,方便融媒体资产的统一检索和共享交换。AI标签系统基于人脸识别、OCR文字识别技术、ASR语音识别、NLP自然语言处理等技术,智能提取视频中的结构化信息,再通过知识图谱进行一阶推理和一阶联系提取出视频标签。AI标签可为用户视音频内容分析、视音频检索、智能推荐等业务场景提供支持。

云编辑模块采有B/S构架具有快速制作、高效合成、帧精确、全格式兼容、易上手、一体化部署、本地编辑云端合成等特点,可完成视频快速制作、图文叠加、加遮挡、配音等应用,为新媒体、教育、医疗、等用户提供快速的视频制作生产服务。

云编辑功能区包括:1、多轨道操作:根据媒体类型,分为音频、视频和图像轨道,使视频编辑操作一目了然。2、便捷导入素材:模块页面提供实时导入功能,在编辑过程中可随时从本地导入所需的新素材。3、字幕和贴图:自定义添加字幕和贴图,可根据需要调整字幕和贴图的大小、位置、字体、颜色等,在时间轴上拖动即可改变字幕和贴图的时间点和时长。4、高级视频编辑:云智编辑模块除了具备视频叠加等简单功能,还提供了视频旋转、视频翻转、画面大小调整和不透明度调整等功能。5、快速发布:视频编辑完成后可在云编辑页面快速进行发布,可定义节目名称、类型、标签、发行地区等。

AI审核基于敏感信息知识图谱,敏感人物分类及样本库,成熟的审核标准,图像要素AI识别、全屏文字OCR提取、语音识别等先进技术,对政治敏感、涉暴、涉黄、广告等风险内容进行审核,支持文字、图像、音频、视频等各种内容形式,满足用户多种业务场景的需求。

AI感知编码引擎集感知编码、AI辅助编码、智能码控于一体,兼容点播、直播、RTC等应用,节省带宽,为企业降本增效。

AI感知编码可以对内容进行感知,对图像画质进行加强;在画质加强的根底上,进行码率调配的优化;联合外围编码器的优化,压缩带宽,提升用户体验。AI提供了对内容进行剖析和了解的能力,并在此基础上实现疾速、最优的参数编码的预测。

基于ROI的编码:所谓ROI就是人眼感兴趣的区域,人眼有注意力机制,人眼在看一幅图像或者看视频的时候有更敏感的区域。整个视频输出之后,人眼最感兴趣的区域,首先是人体,而后是人脸,还有一个是字幕。检测到感兴趣区域之后,就能够对这些ROI的区域进行预处理,做一些边缘增强锐化。

AI+超分增强修复引擎,则融合了HDR增强、智能超分辨率、光流插帧、画质增强修复,提升视频观看品质。具体能力方面,比如SDR-HDR:提高动态范围、提升色深、色域转换;自适应判断噪声伪影、根据噪声强度智能调节、智能上色提升质感、边缘轮廓清晰;画面清晰流畅、精准性动态补偿、动态场景更稳定;智能遮标、去马赛克、水印、二维码等。

应用场景方面,覆盖广电及新媒体部门、视频内容提供商、通信运营商、短视频APP等。比如我们为百视通提供频道拆条和视频素材剪辑服务,月均生产上万条节目内容;比如为橙视传媒提供智慧内容生产平台,为政企部门提供视频内容剪辑服务;再比如为天翼视讯搭建原子能力平台,提供视频素材剪辑能力等。

责任编辑:房家辉

分享到:版权声明:凡注明来源“流媒体网”的文章,版权均属流媒体网所有,转载需注明出处。非本站出处的文章为转载,观点供业内参考,不代表本站观点。文中图片均来源于网络收集整理,仅供学习交流,版权归原作者所有。如涉及侵权,请及时联系我们删除!

标签:

Copyright ©  2015-2022 欧洲饰品网版权所有  备案号:沪ICP备2022005074号-23   联系邮箱: 58 55 97 3@qq.com