64
我的第一个Scrapy 程序 - 爬取当当网信息-麻婆豆腐-51CTO博客
source link: http://blog.51cto.com/beanxyz/2069239
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
前面已经安装了Scrapy，下面来实现第一个测试程序。概述Scrapy是一个爬虫框架，他的基本流程如下所示（下面截图来自互联网）简单的说，我们需要写一个item文件，定义返回的数据结构；写一个spider文件，具体爬取的数据程序，以及一个管道pipeline文件，作为后续操作，比如保存数据等等。下面以当当网为例，看看怎么实现。这个例子里面我想爬取的内容是前面20页的羽绒服产品，包括产品名字，链接和
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK