第一次迭代生成一个有效的URL：baseURL/?ids=1，但由于它是使用连接和赋值构建的，所以当需要baseURL/?ids=2时，第二次迭代会生成baseURL/?ids=1?ids=2。

while counter < len(listOfRows):
    response = requests.get(f'{url}?ids={listOfRows[counter].ID}', headers=headers)

API是否支持在单个请求中获取多个资源？通常，对于像ids这样的复数查询参数，它将采用逗号分隔的资源ID列表（?ids=1,2,3）或数组（?ids[]=1&ids[]=2&ids[]=3或?ids=1&ids=2&ids=3）。如果是这样的话，发出这样一个请求会更有效率，对API提供者来说也更有礼貌。

response = requests.get(
    url + '?ids=' + ','.join([row.ID for row in listOfRows]),
    headers=headers
)

您可能需要更改代码以解析新响应。
如果不支持多个GET，至少将其转换为for循环。不需要跟踪counter并测试counter < len(listOfRows)，这将提高可读性。

df_filter=spark.sql("""select distinct ID from filter_view""")

rdd = df_filter.rdd
listOfRows = rdd.collect()
for row in listOfRows:
    response = requests.get(f'{url}?ids={row.ID}', headers=headers)
       
    if response.status_code == 200:
        json_response = response.json()
        df2 = pd.json_normalize(json_response, record_path=['entities'])
        display(df2)
        
    else:
        print("Error: HTTP status code " + str(response.status_code))

更新：基于评论

我有超过5000个身份证，需要通过一个接一个。这怎么能在一个20块的块中传递呢？
构建...?ids=1&ids=2&ids=3...的URL，每个URL不超过20个id。

from itertools import islice
def chunker(it: seq, chunksize):
    iterator = iter(it)
    while chunk := list(islice(iterator, chunksize)):
        yield chunk

for id_chunk in chunker([row.ID for row in listOfRows], 20):
    response = requests.get(
        f'{url}?ids=' + '&ids='.join(id_chunk),
        headers=headers
    )

chunker()会将一个可迭代对象拆分为list s，长度〈= chunksize。第一个过滤器listOfRows仅用于ID。然后将ID分块为长度为20的list s。创建URL并发出请求。感谢kafran的chunker()。