我从这个网址抓取了一些数据
https://www.degruyter.com/search?query=*&startItem=0&pageSize=10&sortBy=relevance&documentTypeFacet=journal
当我尝试获取日志名称时,它没有给出任何信息。一些标记给出响应,但日志名称的标记没有给出任何信息。类名为“resultTitle”的div有日志名称,但当我在Scrappy中尝试以下操作时response.css("div.resultTitle").get()
什么都不给,我也试过BeautifulSoup
1条答案
按热度按时间ki1q1bka1#
看起来该块包含您想要的内容“resultTitle”由JS加载,即xxxxxxxx-main.js
如果您通过“wget”命令而不是使用Web浏览器发布请求,您可以找到如下代码块。
您可以读取“xxxxxxxx-main.js”JS代码并实现它。或者只是简单地使用Splash来处理它。
附言