我正在构建一个python scraper，目前，需要多个URL并提取有关汽车广告的信息。代码看起来像这样：

import time
import csv
import scrapy
import json
from scrapy.loader import ItemLoader
from urllib.parse import urlencode, quote
 

class autovitSpider(scrapy.Spider):
    name = "autovit"
    start_urls = [
            url1,
            url2,
            url3,
            url4,
            url5,
        ]
        

    def parse(self, response):
        for list_ in response.css("div.offer-params"):
            for sublist in list_.css("ul.offer-params__list"):
                for elem in sublist.css("li.offer-params__item"):
                    if elem.css("span.offer-params__label::text").get() == "Anul" or elem.css("span.offer-params__label::text").get() == "Km" or elem.css("span.offer-params__label::text").get() == "Putere" or elem.css("span.offer-params__label::text").get() == "Capacitate cilindrica":
                        yield { 
                            "type":elem.css("span.offer-params__label::text").get(),
                            "value":elem.css("div.offer-params__value::text").get().replace("\n                ","").replace("         ","").replace("        ",""),
                        }
                    elif elem.css("span.offer-params__label::text").get() == "Marca" or elem.css("span.offer-params__label::text").get() == "Model" or elem.css("span.offer-params__label::text").get() == "Versiune" or elem.css("span.offer-params__label::text").get() == "Combustibil" or elem.css("span.offer-params__label::text").get() == "Culoare" or elem.css("span.offer-params__label::text").get() == "Cutie de viteze" or elem.css("span.offer-params__label::text").get() == "Numar de portiere":
                        yield { 
                            "type":elem.css("span.offer-params__label::text").get(),
                            "value":elem.css("a.offer-params__link::text").get().replace("\n                ","").replace("                ",""),
                        }
                    else:
                        pass

        yield {"url": response.request.url,
            "price": response.css("span.offer-price__number::text").get().replace("        ",""),
            
            }

我知道yield的是丑陋的，但这是我刮的网站。汽车的不同属性有不同的html div/a's/etc。
无论如何，我注意到以下问题：
对于多个链接，蜘蛛有时（一些运行以正确的顺序返回数据，另一些则不是）开始混淆它产生的值的顺序。我特别需要那个顺序，每个广告要有10行。有时它会将多个广告中的信息混在一起。我认为这是由异步请求引起的，因为蜘蛛加载多个URL，（几乎）同时开始抓取它们，并在发现感兴趣的内容时产生信息。现在，我通过设置CONCURRENT_REQUESTS = 1解决了这个问题，但这（显然）会使它变慢。有没有办法解决这个问题，而不限制蜘蛛在同一时间只有一个请求？比如为它抓取的每个URL生成一个单独的dict，或者跟踪dict中每个元素的来源？我知道我可以通过为字典中的每个条目创建一个基于URL的键，然后将具有相同键的条目聚集在一起来沿着它。但是，这再次增加了与排序相关的额外时间并降低了效率。
请记住，我对这些东西如何工作的技术方面没有太多的了解。我从概念上理解异步请求或yield命令是如何工作的，但我不知道它背后的实际机制。我甚至不知道Scrapy本身是如何工作的（创建所有这些文件，从shell处理它们，等等），因为我习惯于编写单个文件程序，这些程序在它们内部执行任务，而没有一个完整的运行过程。因此，一个过于技术性的答案可能没有帮助。
为了参考我的理解水平，我尝试在class autovitSpider之外创建一个for url in url_list:循环，它遍历一个url列表，并为每个url重新运行spider。它没有工作，并且只产生第一个URL的数据。还尝试在class autovitSpider内部循环并给予start_urls单独的URL。结果与第一种情况相同。
编辑：当使用多个并发请求时，也会有某种数据丢失：
INFO: Stored json feed (41 items) in: a.json
INFO: Stored json feed (31 items) in: a.json
concentive在不更改代码的情况下运行。