我有一个运行我的\u func(list)的脚本,这个脚本运行我的\u request(),它点击公共api服务器获取数据,但是这个查询随机失败,我得到一个responseerror。我必须重新运行脚本,直到所有的分区都被收集(tmp\ulst的长度等于df\ulst的长度)。
我很好奇是否有一种方法可以让我运行这个脚本一次,然后让脚本重试n次,直到收集了所有分区,而不必每次遇到responseerror时都重新运行它。
我试图插入while循环,但这并没有解决问题,我仍然必须手动重新运行它。
import pandas as pd
# from pytrends.exceptions import ResponseError
def my_func(list):
df = my_request(list) #requests api call to grab data for each element in a list
return df # returns pandas dataframe object
df_list = [pd.DataFrame([[1,2],[3,4]]), pd.DataFrame([[5,6],[7,8]])] # there are more in my actual list
try:
if tmp_lst is not None:
try:
while len(tmp_lst) < len(df_list):
for remaining_partition in range(len(tmp_lst),len(df_list)):
tmp_lst.append(my_func(df_list[remaining_partition])) #my_func returns df
print(f"partition {remaining_partition+1} appended")
except ResponseError:
print("Rate limit Exceeded. Progress: ",str(len(tmp_lst)),"/",str(len(df_list)))
except NameError:
tmp_lst = []
try:
while len(tmp_lst) < len(df_list):
for partition in range(len(df_list)):
tmp_lst.append(my_func(df_list[partition]))
print(f"partition {partition} appended")
except ResponseError:
print("Rate limit Exceeded. Progress: ",str(len(tmp_lst)),"/",str(len(df_list)))
1条答案
按热度按时间bf1o4zei1#
你试过把try/except块放在while循环中吗?