这里有一个解决方案，我可以运行多个蜘蛛，其中一些蜘蛛需要以前的结果，一些蜘蛛与多处理。
在不同的进程中初始化每个Crawler：

import sys
import json
import pandas as pd
from multiprocessing import Process

## Scrapy

from scrapy.crawler import CrawlerProcess
from scrapy.settings import Settings

## Spiders & settings

from myproject.spiders.cat_1 import cat_1
from myproject.spiders.cat_2 import cat_2
from myproject import settings as default_settings

## Init crawler

crawler_settings = Settings()
crawler_settings.setmodule(default_settings)

# runner = CrawlerRunner(settings=default_settings)

runner = CrawlerProcess(settings=crawler_settings)

def launch_crawler_cat_2(crawler, url):
    process = CrawlerProcess(crawler_settings)
    process.crawl(crawler,url[0],url[1])
    process.start(stop_after_crawl=True)

def process_cat_2(url_list):
    nb_spiders = 5
    list_process = [None] * nb_spiders

    while(url_list):
        for i in range(nb_spiders):
            if not (list_process[i] and list_process[i].is_alive()):
                list_process[i] = Process(target=launch_crawler_cat_2, args=(cat_2, url_list.pop(0)))
                list_process[i].start()
                break

    # Wait all thread end
    for process in list_process:
        if process:
            process.join()

def crawl_cat_1():
    process = CrawlerProcess(crawler_settings)
    process.crawl(cat_1)
    process.start(stop_after_crawl=True)

if __name__=="__main__":

    ## Scrape cat_1
    process_cat_1 = Process(target=crawl_cat_1)
    process_cat_1.start()
    process_cat_1.join()

    ##########################################################################
    ########## LOAD cat_1 RESULTS
    try:
        with open('./cat_1.json', 'r+', encoding="utf-8") as f:
            lines = f.readlines()
            lines = [json.loads(line) for line in lines]
            df_cat_1 = pd.DataFrame(lines)
    except:
        df_cat_1 = pd.DataFrame([])

    print(df_cat_1)
    if df_cat_1.empty:
        sys.exit('df_cat_1 empty DataFrame')

    df_cat_1['cat_1_tuple'] = list(zip(df_cat_1.cat_name, df_cat_1.cat_url))
    df_cat_1_tuple_list = df_cat_1.cat_1_tuple.tolist()

    process_cat_2(df_cat_1_tuple_list)

嗯..我找到了一个解决方案，运行多个蜘蛛，多次使用CrawlerRunner推荐的文档https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script
还有另一个Scrapy实用程序，它提供了对爬行过程的更多控制：scrapy.crawler.CrawlerRunner.这个类是一个简单的 Package 器，它封装了一些简单的帮助器来运行多个爬虫程序，但是它不会以任何方式启动或干扰现有的React器。
使用这个类，React器应该在调度蜘蛛后显式运行。如果你的应用程序已经在使用Twisted，并且你想在同一个React器中运行Scrapy，建议你使用CrawlerRunner而不是CrawlerProcess。
下面是我的解决方案：https://stackoverflow.com/a/71643677/18604520