**结束。**此问题需要详细的调试信息。它目前不接受答案。
**想改进这个问题吗？**更新问题，使其成为堆栈溢出的主题。

上个月关门了。
改进这个问题
我目前正在学习更多关于pyspark的知识，并希望将spotifyapi数据放到spark数据框架中进行分析。
我很熟悉如何在Pandas身上做到这一点，并认为这种方法会类似，但我很快意识到，情况并非如此。我已经检查了其他的so问题，但仍然没有找到一个适合我的方法。
我当前拥有的代码如下所示：

from spotipy.oauth2 import SpotifyClientCredentials, SpotifyOAuth
import datetime
import os

from pyspark.sql import SparkSession, types
from pyspark import SparkContext,SparkConf

# Extract Data

def get_data():

        CLIENT_ID = os.environ.get('SP_CLIENT_ID')
        CLIENT_SEC = os.environ.get('SP_CLIENT_SECRET')

        scope = "user-library-read user-read-recently-played"

        today = datetime.datetime.now()
        yesterday = today - datetime.timedelta(days=1)
        yesterday_unix_timestamp = int(yesterday.timestamp()) * 1000

        client_creds_manager = SpotifyClientCredentials(client_id=CLIENT_ID,client_secret=CLIENT_SEC)
        sp = spotipy.Spotify(auth_manager=SpotifyOAuth(client_id=CLIENT_ID,client_secret=CLIENT_SEC,scope=scope,redirect_uri='http://localhost:3000/callback'))

        return sp.current_user_recently_played(after=yesterday_unix_timestamp, limit=30)

# Transform Data in pyspark

def transform():

    data = get_data()

    song_names = []
    artist_names = []
    played_at = []
    timestamps = []

    for song in data['items']:
        song_names.append(song['track']['name'])
        artist_names.append(song['track']['album']['artists'][0]['name'])
        played_at.append(song['played_at'])
        timestamps.append(song['played_at'][0:10])

    song_dict = {
        'song_names': song_names,
        'artist_names': artist_names,
        'played_at': played_at,
        'timestamps': timestamps
    }

    spark = SparkSession.builder.appName('Spotify').getOrCreate()

    sc = spark.sparkContext

    json_rdd = sc.parallelize(song_dict)

    df = spark.read.json(json_rdd, multiLine=True)

    df.show(truncate=False)

transform()

任何帮助将不胜感激，Spark是一个有趣的技术学习和加载api数据是我想真正了解。
谢谢！