再夺全球顶级竞赛CVPR NTIRE冠军,打造更好用户体验,淘宝拥有哪些内容技术?

再夺全球顶级竞赛CVPR NTIRE冠军,打造更好用户体验,淘宝拥有哪些内容技术?

极目新闻记者 康旭阳

闲暇时间,拿出手机在电商平台直播间,下单心仪的商品,已经成为不少消费者日常。除了海量的商品、优惠的价格、精致的场景、有趣的内容外,高清画质、流畅播放,也是直播间吸引消费者的重要因素。

有不少商家和主播曾因直播间画质较差的问题而苦恼。如何实现高画质开播?在一系列前沿音视频技术的加持下,淘宝内容技术团队解决了这个问题。

某主播就通过团队自研的一系列音视频技术,实现了超低码率的 1080p 高清直播。改造后的画面质感变得更好,从“标清”飞跃到了“超清”,人像肤色也变得更自然,连商品色彩都更加准确了。

这种肉眼可识别的提升,来自团队提供的音视频技术能力加持。包括视频编码器(淘宝自研的 S265)、视频增强方案(STaoVideo)、无参考视频质量评价模型(MD-VQA)以及媒体处理系统(TMPS),并通过接入低延时传输网络 GRTN,为淘宝的直播和短视频提供底层核心技术,打造业界领先的音视频体验,尤其是视频画质和流畅度。

据淘宝内容技术团队相关人员介绍,近年来,图像和视频处理的一系列技术经历了巨大变革,包括超分处理、噪声去除等,这些技术都是为了实现更好的画质服务,同时也希望尽量降低内容生产、处理和分发过程的总体成本。但从技术层面上说,如何分析、定位视频内容存在的问题并找到有针对性的改造方法,仍然是一个复杂的过程。而所有的视频内容处理方法,都基于一个非常重要的前置环节:视频质量评价。

前不久,计算机视觉和视频领域最具影响力的全球性赛事CVPR NTIRE 2023比赛结果公布,淘宝音视频技术团队(TB-VQA)获得视频质量评价项目冠军。此次冠军是团队继 MSU 2020 和 2021 世界编码器比赛、CVPR NTIRE 2022 视频超分与增强比赛夺魁后,再次在音视频核心技术的权威比赛中折桂。

淘宝内容技术不断升级(图片来源:淘宝)

淘宝音视频技术团队负责人总结道:“无论是短视频还是直播,都存在一个问题 —— 源头的画质并不一定是最好的,比如用户可能使用一款低端手机设备去拍摄、开播。面向这种应用场景,我们希望为淘宝甚至业界提供的无参考视频质量评价方案,能够发挥类似 VMAF 在有参考质量评价方法的影响力。”

音视频技术之外,淘宝也拥有全面的内容领域基层技术布局,包含内容理解、内容搜索和内容推荐等领域,覆盖计算机视觉、自然语言处理、多模态和 AIGC 等。这些都是淘宝内容化战略的核心技术,团队长期在这些方向有深度的打磨,沉淀出一定的技术领先性。

内容技术团队还拥有前端、客户端、服务端和数据科学团队,负责面向亿级消费者提供服务的淘宝首页、淘宝信息流、淘宝逛逛等核心业务场域,通过规模化内容供给和高效率内容运营,提高消费的丰富度,辅助消费决策;面向千万级商家、品牌、机构、达人,提供内容创作工具、内容运营平台和内容商业化解决方案,打开流量新增量的更大空间,助力商家触达更广泛的消费人群。团队同时也支撑阿里巴巴电商板块各业务线的内容管理,提供高效、低成本、灵活的业务架构,协助各业务线实现内容创新和运营的转型升级。

(来源:极目新闻)返回搜狐,查看更多

责任编辑:

发布于:浙江杭州富阳市