PaddleSports是飞桨面向体育场景的端到端开发套件,实现人工智能技术与体育行业的深度融合,目标打造“AI+Sports”的标杆案例集。PaddleSports的特色如下:
-
整体采用“5W1H”的产品架构,即:when(什么时间),where(什么位置),who(是谁),what(发生了什么),why(为什么),how(怎么样)。系统梳理人工智能技术在体育行业的研究、应用、落地。
-
AI模型:从精度、速度、集成度三个维度进行性能评测。AI技术不仅是深度学习,同时整理了经典3D建模,SLAM,机器学习,以及硬件集成开发等工作,目标打造软硬一体的“AI+Sports”开发套件。
-
数据:除了各个已有的公开数据集来评测深度模型的性能外,将首次推出SportsBenchmark,力争能够用一个数据集来评测所有算法模型。
-
工具:面向体育场景的工具集,比如标注工具、检测工具、识别工具等,具有All-in-One,AutoRun的特点。
-
应用:涵盖足球、跳水、乒乓球、花样滑冰、健身、篮球、蹦床、大跳台、速度滑冰、跑步等热门的体育运动。
“when”模块重点从时域角度回答以下问题:
1)输入一段视频,首先判断是什么体育运动;
2)从一段视频中,精确分割出体育运动的起止时间;
3)判断每一帧属于哪个动作,以跳水三米板为例,动作过程分为:走板、起跳、空中、入水等阶段。
4)时间同步,针对多相机同步问题,整理了硬件同步和软件同步两种控制方法。
5)编解码,包括视频编解码和音频编解码。
任务 | 技术方向 | 技术细分 | 算法模型 |
---|---|---|---|
1.when | 1.1) 视频分类 | 视频分类(是什么体育项目) | PP-TSM |
PP-TimeSformer | |||
SlowFast | |||
AttentionLSTM | |||
MoViNet | |||
1.2) 视频分割 | 片段切割(起始点,终止点) | BMN | |
1.3) 视频理解 | 动作识别(每一帧属于什么动作) | MS-TCN | |
CFBI | |||
ASRF | |||
1.4) 硬件同步 | 硬件同步 | PTP同步,IEEE 1588 | |
软件同步 | CPU时钟同步 | ||
1.5) 编解码 | 视频编码 | H.264/MPEG-4 AVC | |
音频编码 | WAV/MP3/AAC | ||