服务卡死现象

[caseware66]

您好，我的服务器有两个GPU显卡，我起了8个worker ，batch_size=64,max_latency=0.1,当并发在30-50之间的时候，有时候服务会被卡住。我观察出现这个情况大多是只收集到一个batch。不清楚是什么原因造成了，望您给与解答。

[caseware66]

{"text":[
"聚焦经济社会发展需求发出气象智慧强音",
"聚焦经济社会发展需求发出气象智慧强音来源：中国气象报社发布时间：2020年04月23日15:32分享到：习近平总书记关于新中国气象事业70周年的重要指示，进一步明确了新时代>赋予气象工作的历史使命，也为天津气象事业改革发展带来新的机遇天津市气象局将迎难而上，只争朝夕，不负韶华，推动天津气象事业高质量发展",
"天津市气象局作为北方海洋气象中心的牵头单位，积极打造面向北方海洋、服务于区域各省市气象局的综合海洋气象业务体系，成立海洋气象业务发展领导小组和业务工作组，出台
《天津海洋气象业务发展行动计划（2019-2022年＞》，着力提升海洋气象监测预报预警水平、海洋气象服务能力和海洋科研支撑能力",
"天津市气象局建成海洋气象一体化预报平台和TIPTOP海洋气象共享平台，基于多源海洋气象实况观测数据开展海上大风、近海海雾、沿岸与近海强对流等灾害性天气的精细化预报分
析，实现了制作黄渤海及北太平洋海域格点化预报产品，具备了包括日本海、黄渤海在内的31个主要港口和21条航线的气象预报能力，面向东北亚区域重要港口和航线开展服务，辐射京津冀和面>向“三北”地区的港口海洋气象服务能力显著提升",
"今年2月，作为国家气象科技园重点项目的天津海洋气象观测实验基地（超级站）项目正式启动，市气象局以面向天津城市海洋观测、服务京津冀气象观测、支撑超大城市气象观测>科学试验为理念，建设天津地区气象观测“超级站”，形成以国家气象科技园为核心，以海上石油平台站、天津市城市气候观测站、武清国家气象站为联盟的“1+N”集群化观测模式，提升多尺度、智
能气象观测试验能力，为天津城市智慧化管理、城市安全运行、服务保障等提供优质的气象观测保障和科学理论支撑",
"建立由海基气象观测站、地基垂直廓线观测站和大气边界层观测站组成的多节点观测站，分别开展海洋气象立体观测，天津内陆地区近地面层气象观测和城市区域内冠层至边界层气
象观测，为海洋气象机理研究、海气耦合模式验证和超级站系统观测提供数据支撑，为城市环境和热岛、干岛、湿岛、雨岛和浑浊岛的特征研究提供依据",
"天津市气象局作为牵头单位，联合兄弟省市气象局探索现代农业气象服务新技术、新思路，为生产农业、生态农业和生活农业提供气象增值服务",
"为帮助农户更有效规避农业生产气象风险，天津市气象局联合人保天津分公司开展稻谷保险研发，进行线上农保精算，开展品质保险服务，在去年小站稻收割前，推出全国首个“稻>谷气候品质保险”产品天津市气象局还将水稻生产气象服务产品与保险叠加，为种植户防御气象灾害提供指导",
"聚焦业务需求，加强数值预报模式核心技术研发，推进人工智能订正预报、专业气象服务、智能观测和大数据融合应用等关键攻关2019年5月，天津市气象局与华为技术有限公司签>署《推进天津气象信息化发展战略合作协议》，加强科技创新支撑引领，开展关键技术联合攻关，大力提升天津气象业务的信息化水平依托双方合作，市气象局不断深化人工智能技术在气象领域>的应用，推进“气象+AI”模式在业务应用中的深度融合",
"研发了基于“物联网+互联网+AI”的城市暴雨内涝立体监测技术，建立积水智能识别系统，通过城市公共摄像头视频监控图片识别出积水深度，进而划分内涝级别，为城市内涝防御提
供科学依据强化党的领导筑牢发展根基天津市气象局把学习贯彻习近平总书记重要指示精神作为做到“两个维护”的实践要求，进一步明确了“六个坚定不移”具体举措，为气象事业高质量发展提供>坚强政治保障",
"坚定不移强思想、筑根基，把学懂弄通习近平新时代中国特色社会主义思想转化为思想自觉和指导实践坚定不移纠四风、树新风，把作风建设和专项治理工作贯穿于气象业务服务、
改革发展、党建和党风廉政建设等重点工作坚定不移强监督、提质效，构建全方位无死角监督格局坚定不移严治标重治本，一体推进不敢腐不能腐不想腐坚定不移建铁军、抓落实，坚持“书记抓”“抓书记”，强化守土有责、守土担责、守土尽责的政治担当",
"实干铸就忠诚，创新彰显担当，市气象局将紧紧围绕天津经济社会发展需求，缪力同心，砥砺奋进，以更高的标准、更有力的举措，推动新时代气象事业高质量发展，为天津打造现
代化大都市保驾护航（作者：中国气象报记者张妍通讯员郭玲责任编辑：苏杰西）气象微博气象微信客户端分享到：[打印本页][字号大中小][关闭]精彩热图"
],"url":"www.baidu.com"}

[caseware66]

传入的数据格式如上所示

[MarvinLong]

我们也碰到这个问题了，应该是monkey.patch_all()引起的。
gevent's patch_all is incompatible with multiprocessing.Queue. Specifically, patch_all calls patch_thread by default.
https://stackoverflow.com/questions/44016677/queue-of-multiprocessing-doesnt-work-well-with-gevent
https://stackoverflow.com/questions/9192539/using-gevent-monkey-patching-with-threading-makes-thread-work-serially