您可以定义文件的schema，并使用header True读取文件并传递模式。
在这种情况下，spark将读取头并将模式添加到dataframe。

Example:

from pyspark.sql.types import *

sch = StructType([
    StructField("A", IntegerType()),
    StructField("B", DoubleType()),
    StructField("C", StringType())
])
df =spark.read.options(schema = sch, delimiter=',',header=True, multiLine=True, inferSchema=True).csv('/mnt/file.csv')

• 我有一个具有|分隔符的文件，其中一个字段的值具有连续的|字符。我使用文本格式读取了文件，以下是dataframe结果：

df = spark.read.text('dbfs:/FileStore/sample1__1_.csv')
df.show(truncate=False)

• 使用regex_replace function, I was able to replace any trace of multiple|“人物。下面是我使用的代码：

from pyspark.sql.functions import *

df1 = df.withColumn('value', regexp_replace('value', r'\|{2,}', ' '))
df1.show(truncate=False)

• 然后我把它以文本格式写了回来。但是当我读取它时，我使用csv格式读取它，分隔符为|，并获得适当的结果：

df =spark.read.options(delimiter='|',header=True, multiLine=True, inferSchema=True).csv('/FileStore/final')
df.show(truncate=False)

• • 注：**
• 只有当字段值中有多个|字符时，此操作才有效。如果值中只有一个随机|，则无法将其与分隔符区分开。
• 此外，只有当字段的值不包含多个|字符时，这才有效。如果是这种情况，则这些附加字符与实际的列分隔符混合，因此不能解决问题。这是解决特定情况的一种可能方法。