Scrapy -无法在项目位置之外保存已擦除的数据

e5nszbig 于 2022-11-09 发布在其他

关注(0)|答案(2)|浏览(96)

我是Python-Scrapy的新手。我不知道如何在项目外保存抓取的输出文件（项目在Eclipse中）。
我的Scrapy项目结构是：

这是我如何运行我的scrapy项目：
1.将“命令行提示符”更改为项目位置文件夹，即：
cd D：/Y/论坛
1.Scrapy抓取论坛-o输出.json
这是将我的剪贴输出文件保存到项目位置。

但是，我希望在运行时将该输出文件保存在用户指定的位置（不是项目位置的本地位置）
下面是将输出文件保存到其他位置的命令，

抓取抓取论坛-o D：/output.json

但是它不起作用。我的输出文件仍然保存在项目中。
有人能帮我实现这一点吗？

scrapy

来源：https://stackoverflow.com/questions/35216604/scrapy-unable-to-save-the-scraped-data-outside-the-project-location

2条答案

按热度按时间

3zwjbxry1#

对不起，我张贴的答案，而不是评论-评论需要超过50声望。
这对我在Ubuntu中工作得很好（实际的spider在非常不同的目录中，并且这个路径不在我的项目中）：

scrapy crawl spider_name -o /folder/file_name.csv

所以我认为你的Windows路径格式有问题。试试D：\some_path或者一些斜杠转义符等等。

赞(0）回复(0）举报 2022-11-09

7lrncoxx2#

它将为Windows10和静态文件夹给予解决方案编号


# settings.py

file = '\\' + 'D:\Test1\Test2' + '\\' + 'name_list.csv' #for Windows10 and static folders

FEEDS = {file: {'format': 'csv', 'fields': ['image_urls', 'image_names'],}}

output:
2022-05-05 13:10:12 [scrapy.extensions.feedexport] INFO: Stored csv feed (10 items) in: \D:\Test1\Test2\name_list.csv

赞(0）回复(0）举报 2022-11-09

我来回答

Scrapy -无法在项目位置之外保存已擦除的数据

2条答案

相关问题

热门标签

最新问答