Skip to content

inoue0124/tabelog-scraping

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

28 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

食べログスクレイピング

Architecture

architecture

Requirement

  • python 3.x
  • serverless framework (開発時のバージョンは以下)
$serverless --version
Framework Core: 2.47.0
Plugin: 5.4.0
SDK: 4.2.3
Components: 3.12.0

Deployment

以下を参考にslsコマンドが使える状態にしておく。

https://www.serverless.com/framework/docs/providers/aws/guide/installation/

ルートディレクトリで以下コマンドを実行し、デプロイ。

sls deploy

リソースを削除する場合は以下。

sls remove

For local

以下の手順でAWSやserverless framework全く関係なしでローカル実行できる。

cd local
pip3 install -r ../requirements.txt
python3 main.py ../doc/test.csv

About

serverless architecture使ってIaC化したスクレイピング基盤。Lambda, DynamoDB, SQS, API gateway, S3を使っている。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages