检索到10000条，只下载了1500多条卡住不动了，怎么办 #37
-
|
有解决办法吗 |
Beta Was this translation helpful? Give feedback.
Replies: 5 comments 4 replies
-
|
数据量大了之后这确实是一个问题，可以暂时通过多次按时间范围导出后再导入数据，不过我想到了一个比较好的优化方法了，等我改改它😹 |
Beta Was this translation helpful? Give feedback.
-
|
@copymonopoly 你好，我在 #38 中修复了它，你试一下更新到 最新版本 看看，应该会好很多了，而且也支持了断点续传，刷新后也会回到上次的状态🥳 |
Beta Was this translation helpful? Give feedback.
-
|
更新了版本，依然在1500多条卡住了，刷新页面还是加载不动，按时间范围的话，有没有办法自动从上次导出的时间重新开始，还是说要下载图片后才能根据时间来重新设置 |
Beta Was this translation helpful? Give feedback.
-
|
我重新尝试了一下，问题可能不是数据量过大引起的？我导出中间的161条 结果121条卡住了？而且之前导出的1500条也不是按时间顺序排列的，里面有最新的也有非常古早的 |
Beta Was this translation helpful? Give feedback.
-
|
没遇到过这种情况欸，你能提供一些更详细的信息让我复现吗？例如博主的id、具体搜寻的范围、以及按F12出来的控制台页面的输出，这样我才能更好地定位问题。 也可以尝试用微博官方的时间搜索来看看这部分的微博都有哪些特征，按时间导出的功能就是模仿微博这个的 另外，现在加了个保存爬取进度的功能，它会保存上次爬取过程中的信息，如页数、微博等，切换导出方法或是用户需要先手动点重置数据
|
Beta Was this translation helpful? Give feedback.
-
|
我找到大致的原因了，结束的逻辑出错了，正在修：#39 |
Beta Was this translation helpful? Give feedback.
-
|
v0.3.9 应该修好了这个 bug，你再试试看 下载 |
Beta Was this translation helpful? Give feedback.
-
|
最新版本我重新尝试了之前那个161条的时间段 确实下载完成了 但是下载10000条的时候 会在1600多条自动导出 然后再点击开始又会瞬间导出 但是进度条不再增加了 如果不点继续上次的进度 则会从头开始 |
Beta Was this translation helpful? Give feedback.
-
|
我发现这应该是爬取得太快了，被微博封了ip，详细可以看这里 #40 (comment) 我又重新修了一下这个问题，放缓了一些速度 weibo-archiver.user.js |
Beta Was this translation helpful? Give feedback.
@copymonopoly 你好，我在 #38 中修复了它，你试一下更新到 最新版本 看看，应该会好很多了，而且也支持了断点续传，刷新后也会回到上次的状态🥳