使用Streamlit部署Scrapy项目

ny6fqffe  于 2022-11-09  发布在  其他
关注(0)|答案(2)|浏览(245)

我有一个scrapy蜘蛛,刮产品信息从亚马逊的基础上的产品链接。
我想用streamlit来部署这个项目,并将产品链接作为Web输入,将产品信息作为Web上的输出数据。
我不知道很多关于部署,所以任何人都可以帮助我。

n3ipq98p

n3ipq98p1#

你可以用streamlit在GitHub上创建一个公共仓库,然后用0auth连接你的账户,登录streamlit网站后就可以在streamlit服务器上部署了。

rt4zxlrg

rt4zxlrg2#

您可以使用scrapy.crawler.CrawlerProcess模块从脚本运行scrapy
基本上,你可以运行蜘蛛,暂时导出数据,并在你的streamli应用程序中使用它-

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess(settings={
    "FEEDS": {
        "items.json": {"format": "json"},
    },
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

现在您可以保存此脚本并使用subprocess运行,这将把数据导出到items.json
这里有一个有用的streamlit cloud scrapy threadpublic streamlit-scrapy project github repo

相关问题