多模态AIGC应用和音视频领域自主可控的探讨——访杭州当虹科技股份有限公司副总裁陈刚、传媒业务线产品总监陈左乐

2023年第29届中国国际广播电视信息网络展览会(CCBN2023)期间,本刊特约记者潘波对杭州当虹科技股份有限公司副总裁陈刚和传媒业务线产品总监陈左乐进行了采访,采访围绕多模态的AIGC应用和音视频领域自主可控等话题展开,以下为现场实录。潘波:这几个月来,以Chat GPT为代表的AIGC应用,带给我们很大的震撼,那么AIGC会给传媒行业带来哪些影响和变革?

关于游戏化运营产品对用户黏性影响的探究

【目的】探究用户黏性行为的形成,论证归纳影响黏性的游戏化元素,并提出游戏类产品的设计策略。【方法】通过理论证明和案例分析,总结归纳出用户黏性规律。【结果】证明用户黏性行为产生的前提和用户需求有关,并受游戏化元素影响。【结论】在移动端类游戏产品的设计中遵循黏性规律,使用游戏化元素创造更好的互动体验,提升用户参与度,让用户和平台达成更紧密的联系,增强用户对平台的黏性。

国产化技术在赛事直播中的实践与思考

赛事直播是最受观众喜爱的节目类型之一,每当重大赛事举行都会在大屏、小屏端掀起一股观赛浪潮。赛事直播从技术角度来看,经历了高清向4K/8K超高清发展、传统直播向AI融合直播技术演进、国外技术引领到国产化技术逐步普及的发展路径。本文重点介绍国产化音视频技术在赛事直播中的应用经验以及对国产化技术大范围推广面临的问题总结和思考。

视频侦查中人像智能分析应用及算法优化

人像智能分析指的是对视频或录像中的人像进行结构化和可视化分析,对目标人物进行性别、年龄、发型等特征的智能识别,这项技术在视频侦查中有极高的应用价值。人像识别早期的算法是通过人工提取特征,通过学习低级视觉特征来针对不同属性进行分类学习,这种基于传统方法的模型表现常常不尽如人意。在计算机视觉领域,通过海量图像数据学习的神经网络比传统方法有更丰富的信息量和特征可以被提取。文章尝试通过深度学习技术训练神经网络模型对行人进行检测和识别,对于衣着不同的行人进行智能识别,具有更好的鲁棒性,提升了视频人像识别的准确率,拓展了人工智能技术在身份识别领域的应用。

AVS2预测模式快速决策算法研究与实现

随着超高清视频等应用场景的出现,需要处理的视频数据量显著提升,对视频编码提出了很大的挑战。AVS2视频编码采用新的编码工具,能有效提升编码效率,但带来了编码复杂度的成倍增长。在AVS2视频编码中,预测环节占据编码的大部分时间,如何降低预测阶段的计算复杂度是AVS2视频编码优化的关键。本文从帧间预测和帧内预测两个方面分别提出了预测模式快速决策算法,实验数据表明,帧间快速算法以1.91%的编码性能损失带来平均58.83%的编码时间节省,帧内快速算法以1.52%的编码性能损失带来平均33.92%的编码时间节省。本文所提算法在4K/8K超高清编码器中进行了实现,能够有效降低编码复杂度,满足实际应用需求。

基于FPGA内部高速缓存的质谱数据传输系统设计

四极杆质谱仪与快速气相色谱仪的联用极大地提高了仪器的快速定性和定量能力.但是,与快速气相色谱仪联用的四极杆质谱仪必须具备快速质量扫描能力和很高的工作占空比,这对质谱数据传输系统提出了很高的要求.为减少两次质谱扫描之间等待数据传输的死时间,提高四极质谱仪的工作占空比,本文提出一种基于FPGA内部高速缓存的质谱数据传输系统,实现外部SDRAM和以太网口之间的数据实时传输.在FPGA中设立了2个容量为1M的高速缓存,高速A/D采集得到的质谱数据首先被存储在内部RAM中,然后通过时序调度将数据分块传输至高速缓存SDRAM中,进一步轮流访问高速缓存并将数据通过以太网口传输至上位机.本文中的主控制器FPGA选用Altera公司的EP4CE30F23C7,外部SDRAM则采用ISSI公司的IS42S16160G,基于AlteraSOPCBuilder设计了SDRAM和RAM控制、Avalon总线控制器和主从设备控制端口.仿真及实验结果表明,本控制系统将四极杆质谱的数据传输死时间由以前的100ms缩短到10ms,四极杆质谱仪的工作占空比由50%提升至90%以上,同时大幅提升了四极杆质谱的扫描速率.

内容自适应编码的研究与应用实践

本文探讨了内容自适应编码的背景和研究现状,并探索实践了基于内容自适应的预测模型,证实内容自适应编码能获得比传统ABR方案更优的效果,在降低码率的同时达到较好的主观质量一致性。

基于AVS2的编码单元快速划分算法研究与实现

AVS2采用了基于四叉树的块划分结构,能有效提升4K/8K超高清视频的编码效率,但同时也带来了编码复杂度的显著增长,制约了AVS2编码的应用和推广。因此,本文在对AVS2块划分关键技术充分研究的基础上,提出一种基于AVS2的编码单元快速划分算法,利用空域相邻CU信息对当前CU划分进行快速决策,并综合考虑高频系数对划分结果进一步修正。实验结果表明,采用快速划分算法以后,可以减少60.05%的编码时间,编码性能仅损失1.04%。

基于AVS3的全Ⅰ帧8K浅压缩编码实践

本文对AVS3标准进行扩展以支持4:2:2色度采样格式,针对AVS3的全I帧编码研发了基于CPU+GPU的混合编码框架,同时设计实现高效并行机制,实现了8K 50P 10bit 4:2:2的实时编码效果。通过对AVS3全I帧浅压缩的实践,验证了其不仅可以满足实际应用需求,而且在压缩率上比现有方案体现出明显优势。