Skip to content

ROTT-YC/crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

13 Commits
 
 
 
 
 
 

Repository files navigation

crawler (施工中)

一些爬蟲小模組

Install

  • bs4
  • Pillow
  • requests
  • openai
  • pymysql

於 setting.py 中填入 Openai API Key,並在 main.py 中設定 host,微調資料庫設定後即可使用

功能:

get_webdata() - 爬取文章標題、內文、圖片與原文連結

currentime() - 依據當下時間分配文章統一發布在12/16/22點整(台北時間)

genereate_content() - 串接OpenAI API產生文章摘要

draw_icon() - 可對圖片進行水印(圖片/文字)備註

status_num - 標題或內文缺失異常檢查

increase_db() - 新增至資料庫

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages