スパイダーのデプロイ

このセクションでは, Scrapy のスパイダーを定期的に実行するためのさまざまなオプションについて説明します. あなたのローカルマシンで Scrapy のスパイダーを実行するは,（早期の）開発段階にとっては非常に便利ですが, ロングランニングスパイダーを実行したり, スパイダーを継続的に稼動させたりするには現実的ではありません. ここでは, Scrapy のスパイダーをデプロイするためのソリューションを提案します.

Scrapyのスパイダーを展開するためのオプティカルな選択肢は:

Scrapyd サーバーへのデプロイ

Scrapyd は Scrapy のスパイダーを実行するためのオープンソースのアプリケーションです. これは, HTTP API を備えたサーバーを提供し, Scrapy スパイダーの実行および監視することができます.

スパイダーを Scrapyd にデプロイするには,  scrapyd-client パッケージが提供する scrapyd-deploy ツールを使用します. 詳細については, scrapyd-deploy documentation を参照してください.

Scrapyd は何人かの Scrapy 開発者によって維持されています.

Scrapy Cloud へのデプロイ

Scrapy Cloud はScrapyの背後にある Scrapinghub, のホスティング型のクラウドベースのサービスです.

Scrapy Cloud は, サーバーのセットアップと監視の必要性を排除し, スパイダーを管理し, スクラップされたアイテム, ログ, 統計情報を確認するための優れたUIを提供します.

Scrapy Cloud にスパイダーをデプロイするには,  shub コマンドラインツールを使用します. 詳細については, Scrapy Cloud documentation を参照してください.

Scrapy Cloud はScrapydと互換性があり, 必要に応じてそれらの間を切り替えることができます. scrapyd-deploy と同様に scrapy.cfg ファイルから読みこまれます.