[技术咨询] RK3588使用mk动态库推流(低帧率1FPS)，再通过addStreamProxy拉流，帧率变为1000FPS

[TRYOKETHEPEN]

咨询的功能模块

• zlmediakit c++ sdk（mk动态库）推流
• zlmediakit addStreamProxy拉流

咨询的具体内容和问题
RK3588开发板，使用mk动态库推流rtsp输出，本应为1FPS，记为流yolo。
使用vlc无法播放流yolo（参考#608 可能是播放器本身的问题）。
部署在另一台服务器上的zlmediakit通过addStreamProxy对流yolo拉流，录制的MP4文件帧率为1000FPS，zlmediakit的web管理页面显示的时间戳增量信息也异常，看起来像是把dts除了1000倍。
不知道是mk动态库的问题，还是zlmediakit的问题，请问有没有进一步排查的思路建议？

• 开发板工作流程：输入rtsp视频流为25FPS，每25帧从输入视频流取1帧，进行推理画框后，使用mk动态库推流rtsp输出。
• 推流相关代码如下：
  （1）推流初始化：
  
  其中初始化时v_args.video的三项参数不指定，现象也一样。
  （2）推流：
  
• 推流信息：只有一个视频轨道，格式为YUV420SP(NV12)，分辨率为1920*1080，视频编码为H.264，无音频。推流地址rtsp://192.168.1.107:554/live/yolo
• 开发板输出日志：可以看到推流的dts是正常的，每两个推流帧之间dts间隔约为1000ms
  展开查看详细日志

  
  
  #1714006149091 (frame4700) RGA cvtcolor
  
  #1714006149098 (frame4700) RGA letterbox
  
  省略
  
  0.85 (1621,1637, 646, 661) earth
  
  #1714006149286 (frame4700) encode
  
  #1714006149291 (frame4700) push rtsp
  
  dts=1714006149291
  
  #1714006150104 (frame4725) RGA cvtcolor
  
  #1714006150111 (frame4725) RGA letterbox
  
  省略
  
  0.97 (1737,1920, 465, 843) wangka (part)
  
  #1714006150216 (frame4725) encode
  
  #1714006150221 (frame4725) push rtsp
  
  dts=1714006150221

• 使用VLC播放流yolo现象：无画面，进度条正常变化，能显示编码信息。
  
• 使用zlmediakit拉流的参数：http://172.18.100.49:8081/index/api/addStreamProxy?secret=省略&vhost={{defaultVhost}}&app=live&stream=record2&url=rtsp://172.18.4.2:15554/live/yolo&rtp_type=0&timeout_sec=1000&enable_hls=0&enable_hls_fmp4=0&enable_mp4=1&enable_rtsp=1&enable_rtmp=0&enable_ts=0&enable_fmp4=0&enable_audio=0&add_mute_audio=0&mp4_save_path=&mp4_max_second=10&hls_save_path=&modify_stamp=0&auto_close=0
  其中rtsp://172.18.4.2:15554/live/yolo即为开发板推流rtsp://192.168.1.107:554/live/yolo的端口转发映射地址。
  将modify_stamp分别设置为0、1、2，现象均一样。
• zlmediakit管理页面：显示的“时间戳增量信息”异常，应当是“累计接收帧数”+1时“时间戳增量信息”+1000左右才对。
  
• zlmediakit录制MP4文件：下载http://172.18.100.49:8081/record/live/record2/2024-04-25 下的录制视频，使用potplayer视频播放器打开，信息如下：
  
  暂停视频逐帧查看，每帧画面都是正常的，只是时间间隔异常，本应为1s左右，变成了1ms左右。

开发板相关信息

• 操作系统及版本:Debian 11, 内核5.10.160
• 硬件信息:RK3588，aarch64平台
• mk动态库：用的是https://github.com/airockchip/rknn-toolkit2/tree/master/rknpu2/examples/3rdparty/zlmediakit
• mk动态库的配置文件：mk_config.ini.txt

zlemdiakit服务相关信息

• 操作系统及版本:Ubuntu 22.04, 内核5.15.0-97-generic
• zlmediakit docker版本：zlmediakit/zlemediakit:master，镜像ID为b872a073743e

[xiongguangjie]

z这个应该是编码器码流里面携带的帧率

[TRYOKETHEPEN]

z这个应该是编码器码流里面携带的帧率

你好，编码器使用的是RK3588的MPP硬件编码器，fps相关参数如下：

来自文档https://github.com/rockchip-linux/mpp/blob/develop/doc/Rockchip_Developer_Guide_MPP_CN.md#351-control%E4%B8%8Emppenccfg

来自文档https://github.com/rockchip-linux/mpp/blob/develop/doc/Rockchip_Developer_Guide_MPP_CN.md#42-%E7%BC%96%E7%A0%81%E5%99%A8demo

开发板按照如下设置编码器后：

只是会使此处的fps变化，时间戳增量仍然异常，录制视频帧率仍然是900~1000fps：

异常应该与编码器无关。

[TRYOKETHEPEN]

另外进行试验如下：
输入视频流为25FPS，对输入的每n帧中丢弃(n-1)帧，只对其中1帧进行AI视觉处理并输出。
n≥6时，时间戳增量稳定出现异常。
n=4或5时，时间戳增量不稳定异常，刷新一下可能又正常了。
n≤3时，时间戳增量稳定正常。

n=8:

n=5:


n=4:

n=3:

[xiongguangjie]

ZLMediakit 的帧率，是通过解析sps里面的信息获取的（这个是h264的标准规定的，参考h264 sps vui 的解析），播放器也是这么做的，我看你的代码，dts 应该从0开始计数，你的代码直接获取系统时间，作为dts的，你要看dts的间隔值

[TRYOKETHEPEN]

ZLMediakit 的帧率，是通过解析sps里面的信息获取的（这个是h264的标准规定的，参考h264 sps vui 的解析），播放器也是这么做的，我看你的代码，dts 应该从0开始计数，你的代码直接获取系统时间，作为dts的，你要看dts的间隔值

（1）sps我去学习一下，感谢回复。
（2）dts的间隔值是正常的。我也尝试了从0开始，每次+1000，现象一样。
（3）另外，这个yolo流转record4流，昨晚尝试了开启转hls后用web播放器播放，是正常的1FPS。

[xiongguangjie]

ZLMediakit 的帧率，是通过解析sps里面的信息获取的（这个是h264的标准规定的，参考h264 sps vui 的解析），播放器也是这么做的，我看你的代码，dts 应该从0开始计数，你的代码直接获取系统时间，作为dts的，你要看dts的间隔值

（1）sps我去学习一下，感谢回复。 （2）dts的间隔值是正常的。我也尝试了从0开始，每次+1000，现象一样。 （3）另外，这个yolo流转record4流，昨晚尝试了开启转hls后用web播放器播放，是正常的1FPS。
(2), 时间间隔正常，那你的截图中时间戳异常是咋回事，是怎么判断识别的，如果hls 正常的，其他协议应该也一样，因为都是用的同一个时间戳

[TRYOKETHEPEN]

“时间间隔正常，那你的截图中时间戳异常是咋回事” 这就是我提这个issue要问的问题呀

[xiongguangjie]

“时间间隔正常，那你的截图中时间戳异常是咋回事” 这就是我提这个issue要问的问题呀

你是通过什么办法来判断时间戳异常的？你可以通过rtsp协议抓包来分析时间戳是否异常