即使我在我的环境中也得到了同样的结果。

的数据
你遵循所有这些方法。下面是csv文件中的数据。

的
在我的例子中，escape \"成功地工作了。

from pyspark.sql.functions import *
df = spark.read.csv("/FileStore/tables/todaytst.csv", sep="^A", header=True, multiLine=True,escape='\"')
df = df.select([regexp_replace("Col1",'\\\\','').alias('Col1'),regexp_replace("Col2",'\\\\','').alias('Col2'),regexp_replace("Col3",'\\\\','').alias('Col3'),regexp_replace("Col4",'\\\\','').alias('Col4')])
display(df)

字符串

的
如果不起作用，请尝试在上面的代码中使用escape '"'。
即使这样也不起作用，首先替换它们并加载到spark dataframe中。
您可以使用下面的函数来替换这些东西并写入新文件。

file_path = "/dbfs/FileStore/tables/todaytst.csv"
output_file_path = "/dbfs/FileStore/tables/modtmp.csv"
with  open(file_path,  "r")  as infile:
    with  open(output_file_path,  "w")  as outfile:
        for line in infile:
            replaced_line = line.replace('\\"',  '"')
            outfile.write(replaced_line)

型
并读取新文件。

spark.read.csv("/FileStore/tables/modtmp.csv", sep="^A", header=True, multiLine=True)

型

的
或者将所有\和"替换为空并读取它们。

file_path = "/dbfs/FileStore/tables/todaytst.csv"
output_file_path = "/dbfs/FileStore/tables/modtmp.csv"
with  open(file_path,  "r")  as infile:
    with  open(output_file_path,  "w")  as outfile:
        for line in infile:
            replaced_line = line.replace('\\',  '')
            replaced_line = replaced_line.replace('"',  '')
            outfile.write(replaced_line)

型

的