다나와 크롤러

각종 PC부품들의 가격의 변동을 알아보기 위해서 제작했습니다

크롤링은 GitHub의 Actions를 사용하여 매일 UTP 0시(한국시간으로 9:00 AM)에 실행되도록 설정하였습니다

Actions의 큐 대기시간이 존재해 보통 10시 5~15분에 완료됩니다

크롤링 데이터

• CPU / (데이터 파일)

• 그래픽카드 / (데이터 파일)

• 마더보드 / (데이터 파일)

• 램 / (데이터 파일)

• SSD / (데이터 파일)

• HDD / (데이터 파일)

• 쿨러 / (데이터 파일)

• 케이스 / (데이터 파일)

• 파워 / (데이터 파일)

• 모니터 / (데이터 파일)

• 스피커 / (데이터 파일)

• 헤드폰 / (데이터 파일)

• 이어폰 / (데이터 파일)

• 헤드셋 / (데이터 파일)

• 키보드 / (데이터 파일)

• 마우스 / (데이터 파일)

• 노트북 / (데이터 파일)

---

제작에 사용된 것들

• Python : 3.7
• Scrapy : 2.5.1
• selenium : 3.141.0
• PyGithub : 1.51
• pytz : 2020.1
• Chromedriver : 2.40 (linux 64)