我正在做一个项目,它包含一个GET请求,带有一些参数,比如(航空公司代码和航班日期),我把这些参数传递给一个用scrapy编码的爬虫。我在management/commands中创建了Django命令来攻击scrapy爬虫,一旦抓取完成,数据就被保存在特定的模型中。因为我想把保存的数据返回到同一个GET请求,我有一些关于它的问题。
- 如何在GET请求中返回数据?因为我找不到一种方法来从Scrapy Crawler中获取返回的数据。
- 当正在进行擦除时,如何使GET请求等待特定的时间。
- 假设GET请求处于等待状态,并且现在已经完成了报废,我必须验证数据库中是否存在与参数相应的报废数据。
- 假设在数据库中找到了数据,那么我如何将其返回给同一个GET请求?
- 如果我想在整个过程中使用celery ,什么可以是它的最佳用途?
1条答案
按热度按时间hrysbysz1#
你可以创建一个异步任务来使用你的scraper来抓取数据,然后你可以反复检查任务是否已经完成,如果是,那么你可以调用你的API来返回你的被抓取的数据。
1.创建任务视图以创建作业
1.检查任务完成情况以创建
1.您的APIView以获取数据
从django.core.management导入调用命令