如果您将抓取结果生成为dict，则CSV列将从第一个生成的dict的键填充：

def _write_headers_and_set_fields_to_export(self, item):
    if self.include_headers_line:
        if not self.fields_to_export:
            if isinstance(item, dict):
                # for dicts try using fields of the first item
                self.fields_to_export = list(item.keys())
            else:
                # use fields declared in Item
                self.fields_to_export = list(item.fields.keys())
        row = list(self._build_row(self.fields_to_export))
        self.csv_writer.writerow(row)

因此，您应该定义并使用显式定义的所有字段填充Item，或者编写自定义的CSVItemExporter。

基于mizhgun's answer的解决方案：
我创建了一个项目管道来写入csv输出。当迭代通过每个项目时，它存储唯一键集，并在最后写入csv文件。请记住，在调用scrapy crawl时删除-o选项，并将管道添加到settings.py：

管道.py

import csv
import logging

class CsvWriterPipeline(object):

    def open_spider(self, spider):
        self.file = open('mietwohnungen.csv', 'w', newline='')
        #if python < 3 use
        #self.file = open('mietwohnungen.csv', 'wb')
        self.items = []
        self.colnames = []

    def close_spider(self, spider):
        csvWriter = csv.DictWriter(self.file, fieldnames = self.colnames)#, delimiter=',')
        logging.info("HEADER: " + str(self.colnames))
        csvWriter.writeheader()
        for item in self.items:
            csvWriter.writerow(item)
        self.file.close()

    def process_item(self, item, spider):
        # add the new fields
        for f in item.keys():
            if f not in self.colnames:
                self.colnames.append(f)

        # add the item itself to the list
        self.items.append(item)
        return item

设置.py

ITEM_PIPELINES = {
    'willhaben.pipelines.CsvWriterPipeline': 300,
}

此答案作为CC BY-SA 3.0下OP MoRe的问题Scrapy csv输出“随机”缺失字段的edit发布。