Home

Jump to bottom Edit New page

huangjun12 edited this page Jan 21, 2022 · 1 revision

Welcome to the PaddleVideo wiki!

1月17号：3D医学影像的预训练模型

Q：手术刀追踪可以吗

A：可以使用PaddleVideo的检测算法先测试一下效果，不过因为没有进行手术视频的预训练，因此需要注意改进。同时受到手术追踪的公开数据限制，此任务需要进一步测试和调节哦～也欢迎帮助我们PR新模型～～

Q：训练时长是几个epoch，几个卡？

A:训练使用epoch=30 ；卡都是 GPU 16G V100.

Q：动作识别准确率达到多少才能商业化啊

A：不同行业的商业化落地需要达到的准确率不太一样哈～如果是医疗领域，也分为一类、二类、三类软件，准确度要求逐步增高，有对应的指南和国家规定哦～因为门槛高，医疗类项目，目前还是先以科研为主。

Q：脑片是不同深度的照片，然后当做视频帧嘛？

A：我们使用了视频帧的展开策略，用2D(t)相关模型去弥补3D模型训练量太大的问题，是一种新思路。本质上MRI不同深度层面的图像。

Q：请问这个项目在落地后的准确率是多少？

A：目前在公共数据集已经能达到91%左右的准确度，在落地的私有数据集的验证效果也不错。不过训练数据越多,也会提升ACC.

Q:2D模型 , 那多出来的维度怎么处理的?

A：原来的3D是（x,y,z）,现在处理为2D（x,y)+t时序信号。相当于在时间轴展开。

Q：数据增强用了哪些？会不会改变

A：数据增强用了：翻转、平移、缩放；数据增强对于模型的ACC/AUC是有部分提升效果的。

Q：怎么想到当做视频祯和抽祯来做的想法？

A：百度研究院的技术指导想出的策略，为了克服2D损失上下层信息，3D训练量太大的问题。

Q：这个多模态模型能把图像和EEG结合推理吗

A：多模态是可以做一维信号和图像融合的，也是目前研究的热门。只是由于完整的多模态数据更难获取。

Q：3D resnet是啥？区别在哪

A：3D-resnet,3D 残差网络。与2D-resnet的差异在于卷积核是3D的，输入为3D.

Q：预训练模型适用其他解剖部位吗

A：可以测试一下MRI其他部位的效果，对于imagenet的预训练效果。方便的话可以补充数据再训练和优化模型。

Q：训练时间1分钟都不到, 为何不考虑更复杂的模型额

A：有对比复杂模型呢，其实是为了找到轻量且准确率高的模型。因为当前使用了不到400个数据，如果大规模数据上千上万，则需要考虑模型大小和计算量，有可能内存溢出。

Q：实验结果是在什么硬件环境下进行的？

A：GPU 16G V100.

Q：开源项目中有提供thumos14的例子吗

A：目前还没有提供此数据集的例子，感谢建议。

Q：视频处理是切分出来一张张图片在来卷么

A：3D数据其实本来是一张一张的非连续数据，进入网络的是抽帧后的2D图。

Q：那训练出来的模型有可解释的结果吗, 能帮助找到病灶否?

A：我们正在尝试模型的解释性，下一步，对应解剖学位置进行病灶可疑区域，进行推理。

Q：训练数据是只有300个吗？

A：目前使用的是公开数据测试，训练+测试是378例。

1月18号：

视频内容智能分析和生成解决方案

Q：这些标签是监督还是无监督？

A：VideoTag和MultiModalVideoTag是有监督，TagMining是无监督

Q：小视频文本信息哪里来的？

A：用户上传，有些视频带有标题，有些没有标题

Q：能不能跟根据一段文字自动生成视频？

A：可以的，推荐一篇文章：GODIVA: Generating Open-DomaIn Videos from nAtural Descriptions

Q：请问新闻拆条是实时分析么边播边拆？

A：无法做到实时，但可以在新闻结束2min内完成拆分。目前还不是边播边拆，正在进行这方面探索。

Q：新闻识别分割的效果如何衡量呢?

A：不太好衡量，我们有人工标注一些测试集，同时也可以衡量核心几个模型的准确率

Q：介绍下抽帧？

A：一秒一帧处理，要求更精确也可以一秒五帧，我们都有尝试，主要看性能要求；另外，不建议1s25帧，截帧耗时太大

Q：模型如何结合先验知识

A：MultimodalVideoTag中，用文本指导图像和音频，因为文本语义程度更高，实际实验得出的结论也一致；新闻拆条中，OCR结构化引入很多先验知识辅助判断新闻内容。

Q：现在有哪些播放器有实时字幕

A：不太了解

Q：可以用语文课本等课本来训练语义层次吗？

A：没尝试过，不过理论上只要有成对数据，就可以用来训练语义相似

Q：新闻开始和结束点位是用的策略还是模型判断？

A：目前是策略

1月19号：

体育+安防行业中的行为识别

Q：图和音怎么融合？张量大小一样嘛？

A：融合方式为：视频特征和音频特征拼接到一起，需要使时序维度一致，例如[9000, 2048]维的视频特征和[9000, 640]维的音频特征，拼接到一起后得到特征为[9000, 2688]。

Q：pptsm怎么部署？需要依赖框架？

A：目前依赖于Paddle Inference进行部署，支持pytho端和c++端部署，具体参考模型使用文档 https://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/model_zoo/recognition/pp-tsm.md

Q：声音特征会对识别有作用哇？感觉噪声很大

A：有一定的提升作用，但作用有限，具体以实验结果为导向。

Q：梅尔频谱是啥？

A：语音信息的一种特征，具体可以参考 https://blog.csdn.net/mao_hui_fei/article/details/85165320， https://www.jianshu.com/p/c34c885e58e7

Q：这个特征图需要多大的内存来放啊？

A：

Q：遮挡，对特征点有影响么？需要几个点匹配？

A：

Q：8个类别拿来计分的么？

A：

Q：Tsm特征提取用什么训练的呢

A：用截取的动作片段和对应的lable进行训练。

Q：无言需要按定位的场景来提取吗

A：

Q：Tsm提取特征多少纬度啊？

A：2048维的，在分类器fc之前

Q：有thumos14训练的例程吗

A：目前还没有支持这个数据集，有需求场景的话可以添加～

Q：刚才说的足球视频分析可以做到实时吗

A：目前还不能，足球针对的是精彩片段剪辑场景，输入40分钟的视频，处理时间大概要2分钟，单卡 v100 32G（受影响配置和参数设置影响）

Q：Bmn输入的特征是什么呢

A：视频的特征表示，在足球案例中是[9000. 2688]维的特征。

Q：只适合做后期？

A：目前仅提供方案思路，针对不同的场景可以做不同的调整

Q：花滑那个怎样评估整个过程的呢

A：需要有专业标注数据，评估模型预测质量。

Q：视频动作要怎么标注？

A：参考用户需求，目前PaddleVideo计划新增视频标注工具

Q：有移动端部署的工具吗？

A：

Q：怎么部署到 window， C#

A：Paddle Inference

Q：有移动端比如tx2的部署工具吗

A：

Q：一个video只生成一个向量吗

A：30分钟的视频，fps=5，共9000帧，那么预测生成的向量维度维[9000, feature_dim]

Q：视频的动作在代码里是怎么识别？

A：核心是要提取时序信息，PP-TSM使用的是时序位移模块

Q：语音特征的采样频率怎么确定？

A：一般有固定值，16000，24000

Q：有tx2上的部署工具吗

A：

Q：paddlelite.可以部署么？

A：

Q：### Q：为什么 5帧作为判断吗

A：

Q：Bmn输入特征怎么提取啊

A：

Q：可以对职业训练识别吗？

A：

Q：输出是帧长*类别吗？

A：不是的，是分类器之前的特征向量，一般是2048维的

1月20号：

顶会冠军视频目标分割算法深度解密

Q：能否拿来做医学视频分割，比如心脏分割

A：可以，基于2d图像的都可以。但很多医学图像是3d的，例如层扫ct，需要相应的修改。

Q：一帧多个小目标分割可以么？

A：可以，小目标的分割难度较大、精度会低于大的目标。在检测和分割中，小目标一直是挑战。

Q：无监督分割，目前有好的解决方案么？

A：用于分割的无监督pretraining已经有不少工作了，例如densecl和 propogate youself，但最终分割还是要提供标注的，相关的任务除了vos之外，还有few shot segmentation等。

Q：cfbi在小目标且高速的情况下效果如何？

A：小目标和高速都是挑战，但根据我们对比竞争对手的方案，应该来讲cfbi是有优势的

Q：画线标注和精确标注，对分割dice影响？

A：画线式标注更快更便捷，准确率略差

Q：vspw里面有垃圾分类吗？

A：没有，垃圾分类的难点更多的在于界定到底什么是垃圾，垃圾本身是一个涵盖很大的concept，在实际业务中是非常值得注意的

Q：vspw是用eivideo标注的吗？

A：是使用了eivideo的内测版标注的，而且因为是一个数据集，为了保证精度，我们进行了仔细的人工清洗。尽管如此，eivideo也是大大降低了标注成本

Q：能输出标注的mask么？

A：

Q：哪个参数是控制相邻帧的匹配域的？

A：

Q：视频场景切换了，交互帧是不是要重新选？

A：

Q：这个是不是不能用在实时视频预测？实时分割可以嘛

A：

Q：遮挡情况是否影响较大

A：

Q：推理硬件，运行速度如何

A：

Q：标注量要达到多少可以达到比较好的训练效果

A：

Q：pixel embedding的作用是？

A：

Q：非法视频识别，预警信息发送，可以做吗？

A：

Q：静态图像分割是不是相对容易？

A：

Q：只有第一帧的标注? 那训练的时候也只需要第一帧吗?

A：

Q：视频加速播放会影响目标检测吗？

A：

1月21号：多模态学习和检索方法

Q：融合的部分都是点乘换算成相似度？

A：

Q：训练都需要多少算力?

A：

Q：使用的是什么数据模型？

A：

Q：3070Ti能跑吗？

A：

Q：输入和中心点的关系度？

A：

Q：局部匹配的center数量是固定5个吗？

A：

Q：如果搜索文本是第一次看到胡椒粉什么时候

A：

Q：能返回正确的吗

A：

Q：融合的部分都是点乘换算成相似度？

A：

Q：或者有什么建模方法吗

A：

Q：算法可以用在广告视频的标签提取吧

A：

Q：特征和中心点点乘是找他们相似度？

A：