scrapy命令行工具

运行命令来获取关于每个命令的详细内容:

scrapy<command>-h

您也可以查看所有可用的命令:

scrapy-h

Scrapy提供了两种类型的命令。
一种必须在Scrapy项目中运行(针对项目(Project-specific)的命令)，
另外一种则不需要(全局命令)。全局命令在项目中运行时的表现可能会与在非项目中运行有些许差别(因为可能会使用项目的设定)。

全局命令:

• startproject
• settings
• runspider
• shell
• fetch
• view
• version

项目(Project-only)命令:

• crawl
• check
• list
• edit
• parse
• genspider
• deploy
• bench

创建Scrapy项目

scrapy startproject myproject

在当前项目中创建spider

scrapy genspider[-ttemplate]<name><domain>

使用spider进行爬取

scrapy crawl<spider>

运行contract检查

scrapy check[-l]<spider>

列出当前项目中所有可用的spider。每行输出一个spider。

scrapy list

使用 EDITOR 中设定的编辑器编辑给定的spider

scrapy edit<spider>

使用Scrapy下载器(downloader)下载给定的URL，并将获取到的内容送到标准输出。

scrapy fetch<url>

在浏览器中打开给定的URL，并以Scrapy spider获取到的形式展现。 有些时候spider获取到的页面和普通用户看到的并不相同。 因此该命令可以用来检查spider所获取到的页面，并确认这是您所期望的。

scrapy view<url>

以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。

scrapy shell[url]

获取给定的URL并使用相应的spider分析处理

scrapy parse<url>[options]

获取Scrapy的设定

scrapy settings[options]

在未创建项目的情况下，运行一个编写在Python文件中的spider。

scrapy run spider<spider_file.py>

输出Scrapy版本

scrapyv ersion[-v]

将项目部署到Scrapyd服务

scrapy deploy[<target:project>|-l<target>|-L]

运行benchmark测试

scrapy bench