我试图通过从网站上抓取数据（使用BeautifulSoup）来补充Pandas Dataframe 。
由于这个网站问我是否是人类，我需要使用代理来绕过这个-为此我使用Scraper API。我组织我的代码在一个循环，因为我需要这样做~1600次访问网站内的特定路线，以获得数据：

url = 'https://www.example.com/'

for index, row in df.iterrows():

    url_date = url + str(row.date)
    payload = {'api_key': 'a_key', 'url': url_date}
    response = requests.get('http://api.scraperapi.com', params=payload)
    soup = BeautifulSoup(response.content, 'html.parser' )
    df.at[row,'column_name'] = soup.find("div", {"class": "a class"}).get_text(strip=True)[-2:]

但是，有这么多的url要检查，这段代码运行起来真的很慢，我这样做对吗？