假设您没有内存约束，也没有插入空值，则可以：

sql = "SELECT pk_1, pk_2, pk_3 FROM my_table"
sql_df = pd.read_sql(sql=sql, con=con)
df = pd.concat((df, sql_df)).drop_duplicates(subset=['pk_1', 'pk_2', 'pk_3'], keep=False)
df = df.dropna()
df.to_sql('my_table', con=con, if_exists='append')

根据应用程序的不同，您还可以通过更改查询来减小sql_df的大小。

更新-整体更好，可以插入空值：

sql = "SELECT pk_1, pk_2, pk_3 FROM my_table"
sql_df = pd.read_sql(sql=sql, con=con)
df = df.loc[df[pks].merge(sql_df[pks], on=pks, how='left', indicator=True)['_merge'] == 'left_only']
# df = df.drop_duplicates(subset=pks) # add it if you want to drop any duplicates that you may insert
df.to_sql('my_table', con=con, if_exists='append')

如果您遍历行DataFrame.iterrows()，然后在每次迭代中使用ON DUPLICATE作为键值FileName以避免再次添加它，该怎么办？

您可以检查是否为空，如下所示：

sql = "SELECT pk_1, pk_2, pk_3 FROM my_table"
sql_df = pd.read_sql(sql=sql, con=con)
    
if sql_df.empty:
    print("Is empty")
else:
     print("Is not empty")

您可以设置参数index=False参见下面的示例

data.to_sql('book_details', con = engine, if_exists = 'append', chunksize = 1000, index=False)**

如果未设置，则命令会自动添加index列
book_details是我们要插入 Dataframe 的表的名称。
结果

[SQL: INSERT INTO book_details (`index`, book_id, title, price) VALUES (%(index)s, %(book_id)s, %(title)s, %(price)s)]
[parameters: ({'index': 0, 'book_id': 55, 'title': 'Programming', 'price': 29},
{'index': 1, 'book_id': 66, 'title': 'Learn', 'price': 23},
{'index': 2, 'book_id': 77, 'title': 'Data Science', 'price': 27})]

因此，它需要在表中！！！