[ウェブスクレイピング]ホットペーパよりベトナム料理の店リストを抽出

| - 初めに -

仕事では、日本にあるベトナム料理店の住所リストを抽出する必要が出てきました。最初はホットペーパのapiを利用しようとしましたが、簡単にはできなさそうなので、scrapyを使って、ウェブスクレイピングしました。そのソースと注意事項について、共有させていただきます。

| - 使い方 -

事前準備

1. pip install scrapy

使い方

1. git clone https://github.com/makotovnjp/HotPeperScraper

2. cd HotPeperScraper/hotpepper

3. scrapy crawl restaurants -o data.csv

data.csvより、ベトナム料理の店情報を確認できる

| - 注意事項 -

1. 大量にデータを取得するため、このシステムを頻繁に利用すると、ブロックされるかもしれないです。