我不确定流媒体部分，但spark可以有效地处理大型文件-并且存储到db表将并行进行，因此不太了解您的详细信息，如果您的服务器上有上载的文件，我会说：
如果我想在表中保存一个像csv这样的大型结构化文件，我会这样开始：

# start with some basic spark configuration, e.g. we want the timezone to be UTC

conf = SparkConf()
conf.set('spark.sql.session.timeZone', 'UTC')

# this is important: you need to have the mysql connector jar for the right mysql version:

conf.set('jars', 'path to mysql connector jar you can download from here: https://dev.mysql.com/downloads/connector/odbc/')

# instantiate a spark session: the first time it will take a few seconds

spark = SparkSession.builder \
    .config(conf=conf) \
    .appName('Huge File uploader') \
    .getOrCreate()

# read the file first as a dataframe

df = spark.read.csv('path to 7GB/ huge csv file')

# optionally, add a filename column

from pyspark.sql import functions as F
df = df.withColumn('filename', F.lit('thecurrentfilename'))

# write it to the table

df.write.format('jdbc').options(
            url='e.g. localhost:port',
            driver='com.mysql.cj.jdbc.Driver',  # the driver for MySQL
            dbtable='the table name to save to',
            user='user',
            password='secret',
        ).mode('append').save()

注意这里的“append”模式：这里的问题是spark不能对表执行更新，它要么追加新行，要么替换表中的内容。
所以，如果你的csv是这样的：

id, name, address....

您将得到一个具有相同字段的表。
这是我能想到的最基本的例子，所以你可以从spark开始，不考虑spark集群或其他相关的东西。我建议你拿着这个转一转，看看这是否适合你的需要：）
另外，请记住，这可能需要几秒钟或更长时间，这取决于您的数据、数据库所在的位置、您的计算机和数据库负载，因此最好与api保持异步，同样，我不知道您的任何其他详细信息。
希望这有帮助。祝你好运！