0

Python爬虫编程思想(157):使用Scrapy从CSV格式转换到JSON格式

 2 years ago
source link: https://blog.csdn.net/nokiaguy/article/details/126335100
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

Python爬虫编程思想(157):使用Scrapy从CSV格式转换到JSON格式

        通过scrapy框架编写的爬虫很容易进行格式转换,本节将利用爬虫将CSV格式的文件转换为JSON格式的文件。转换的基本原理是将CSV格式的文件作为数据源来读取,然后在parse方法中将CSV文件中的数据通过Item转换为指定的格式,如JSON格式。

        本例会使用BookSpider爬虫从京东商城下载图书信息,并保存为CSV文件格式,然后使用ToJSONSpider爬虫将CSV格式的文件转换为JSON格式的文件。

        下面先编写一个名为BookSpider的爬虫,用于从京东商城抓取图书信息(ISBN、出版社、图书名称和产品ID),并将这些信息保存在books.csv文件中。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK