Skip to content

Latest commit

 

History

History
46 lines (30 loc) · 1.17 KB

README.md

File metadata and controls

46 lines (30 loc) · 1.17 KB

DataSpiders

存储了各视频网站爬取视频数据的代码以及自动截取视频中的人脸

配置

我使用的环境是python3.8

新开一个环境,安装所需的依赖:

pip install -r requirements.txt

之后安装面部识别包face_alignment:

git clone https://github.com/1adrianb/face-alignment
cd face-alignment
pip install -r requirements.txt
python setup.py install

视频下载

批量下载脚本待补充 执行各自的爬虫代码后,下载好的视频自动存放在data里

执行:

python run.py

代码默认使用gpu版本的pytorch, 可能需要重新下载, 或者在run.py文件中修改为cpu版本:

os.system(f'python crop-video.py --inp ./data/{i} --cpu')

裁剪后的结果存放在output文件中

b站的视频爬取

执行BiliBili_Spider.py 按提示输入搜索关键词/视频存储目录和抓取视频的数量并在headers中加入自己的cookie

抖音的视频爬取

执行Douyin_Spider.py 按提示输入搜索关键字(用空格分开)和抓取视频的数量

YouTube视频爬取

执行YouTube_Spider.py 按提示输入搜索关键字(用空格分开)和抓取视频的数量