单击按钮启动Scrapy

jhkqcmku  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(134)

我在Django & Scrapy开始了这个项目。在主页上,我想让用户可以输入汽车的型号(我添加了汽车细节链接,以选择正确的列表进行刮擦),然后单击按钮,提取过程开始并将数据加载到Django数据库中。
你能帮我怎么做吗,可能吗?怎么做这个按钮?谢谢

mec1mxoz

mec1mxoz1#

我认为您可以使用CrawlerProcess来执行此操作。CrawlerProcess documentation
你所要做的就是通过点击按钮来运行python函数。我在这里附加了一个简单的函数,希望它能对你有所帮助。

from scrapy.crawler import CrawlerProcess
from your_scraper_project.spiders.spider_file import spiderClass

# if your project name is carScraper and spider file is named car_spider and class is carSpider

# from carScraper.spiders.car_spider import carSpider

# 

def run_car_scraper(car_model):
    process = CrawlerProcess()
    process.crawl(carSpider, first=car_model) # Assuming that you are passing the argumment of the car_model to scrape specific models
    process.start() # This will start your spider

当爬行器将数据保存在数据库中或从要显示数据的任何位置保存数据后,您可以获取数据并从函数中返回。
如果您想将抓取的数据保存在变量中,这个答案可能对您有用。How to save the data from a scrapy crawler into a variable?

相关问题