my-crawler

爬屁站每日top50的虫子,作为定时任务跑在我阿里云服务器上面 屁站top页 -遍历-> 屁站详情页 -> 原图url:建立输入流/相关信息:记录数据库 -> 判重,输入流保存到oss

前情提要(prepare):

• 改host你懂得
• 下载phantomjs到resources/phantomjs,win版的去掉后缀名
• 把accessKeyId/Secret改成自己的

未解之谜(TODO):

• 每次都新开了一个photomjs浏览器,不然跳转后验证不到用户
• 要再做个缩略图页,调oss的图片接口时传stylename

山上有虎(warning):

• 别给阿里云添麻烦: 别爬R18
• 别给屁站添麻烦: 爬完一张图,请休息一秒钟
• 别给作者添麻烦: 爬来的图自己收藏,或者去训练ai,不作商业用途