我刮地址,但他们会给我没有这些是一个页面链接https://www.baroulconstanta.ro/tabloul-avocatilor/avocati-definitivi/
import scrapy
from scrapy.http import Request
class TestSpider(scrapy.Spider):
name = 'test'
start_urls=["https://www.baroulconstanta.ro/tabloul-avocatilor/avocati-definitivi/"]
def parse(self, response):
address=response.xpath("//div[@class='col-md-12']//p[1]//text()[2]").get()
print(address)
2条答案
按热度按时间8fsztsew1#
因为数据是通过 AJAX 请求作为post方法从外部生成的,所以你得到的输出是空的。
输出:
9wbgstp72#
您无法提取数据,因为您要查找的页面部分位于iframe(页面中的页面)中。您有两种选择:您可以手动查找iframe的URL并在代码中解析它,或者您可以通过编程方式查找此URL并再次在代码中解析它。
下面是第二种方法(请耐心听我说,这是我第一次使用Scrapy,所以我很可能是在屠杀它,而且还有更合适的方法):
产生: