将文本文件读取到元组pyspark

mjqavswn 于 2021-05-27 发布在 Spark

关注(0)|答案(2)|浏览(633)

我有一个关于读取和创建数据集的问题。我有一个文本文件，其中包含：

Sunny,Hot,High,Weak,No
Sunny,Hot,High,Strong,No

我实现了如下代码：

from pyspark import SparkConf, SparkContext
import operator
import math

conf = SparkConf().setMaster("local[*]").setAppName("Lab 6")
sc = SparkContext(conf=conf)
rawData = sc.textFile("txtfile.data")
data = rawData.flatMap(lambda line: line.split(","))

而不是产生这样的结果：

[(Sunny, Hot, High, Weak, No), (Sunny, Hot, High, Strong, No)]

结果是：

['Sunny', 'Hot', 'High', 'Weak', 'No', 'Sunny', 'Hot', 'High', 'Strong', 'No']

有人能告诉我怎么修吗？

hadoop python apache-spark pyspark tuples

来源：https://stackoverflow.com/questions/61901563/read-text-file-to-tuple-pyspark

2条答案

按热度按时间

yvgpqqbh1#

flatmap 是 map （转换）和展平，这将为子数组中的每个元素创建一行。
你想用 map 方法生成字符串数组类型的列。

赞(0）回复(0）举报 2021-05-27

ecfsfe2w2#

使用 map 而不是 flatMap .

data = rawData.map(lambda line: line.split(","))

# [['Sunny', 'Hot', 'High', 'Weak', 'No'], ['Sunny', 'Hot', 'High', 'Strong', 'No']]

# to get list of tuples

data = rawData.map(lambda line: tuple(line.split(",")))

# [('Sunny', 'Hot', 'High', 'Weak', 'No'), ('Sunny', 'Hot', 'High', 'Strong', 'No')]

赞(0）回复(0）举报 2021-05-27

我来回答

将文本文件读取到元组pyspark

2条答案

相关问题

热门标签

最新问答