Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

RedisStreamer如何配置batch_size&max_latency #67

Open
c0derm4n opened this issue May 22, 2020 · 6 comments
Open

RedisStreamer如何配置batch_size&max_latency #67

c0derm4n opened this issue May 22, 2020 · 6 comments

Comments

@c0derm4n
Copy link

您好,有几个问题请教下:

    1.在分布式web server为何RedisStreamer类的init方法中未传入batch_size, max_latency,cuda_devices等参数
    2.service-streamer.py中的run_redis_workers_forever方法应该是需要在RedisStreamer类初始化时调用,但是为何从未在任何地方调用?
@c0derm4n
Copy link
Author

我的场景是:
希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理
应该是最适合使用RedisStreamer类,对么

@syyuan14
Copy link

syyuan14 commented Oct 8, 2020

我的场景是:
希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理
应该是最适合使用RedisStreamer类,对么

我的场景是:
希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理
应该是最适合使用RedisStreamer类,对么

最后问题解决了吗老哥

@lfxx
Copy link

lfxx commented Mar 25, 2021

我的场景是:
希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理
应该是最适合使用RedisStreamer类,对么

我的场景是:
希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理
应该是最适合使用RedisStreamer类,对么

最后问题解决了吗老哥

想知道问题解决了吗,官方的例子有点简陋,看不太懂

@Meteorix
Copy link
Contributor

run_redis_workers_forever这个就是快捷方法,没有封装其他参数。可以自己抄一下这个函数,传进去。

@Meteorix
Copy link
Contributor

我的场景是:
希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理
应该是最适合使用RedisStreamer类,对么

这种可以用多进程的stream就够了

@lfxx
Copy link

lfxx commented Mar 26, 2021

我的场景是:
希望在一块大显存GPU上开多个worker,然后每个worker支持批量推理
应该是最适合使用RedisStreamer类,对么

这种可以用多进程的stream就够了

这个项目非常棒,不知您是否可以抽空更新一个可用的分布式web server例子,现有demo不是很懂,不知道在哪里添加cpu预处理函数,我看许多人也有这个疑问

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants