javascript 无法爬网NextJS动态页

3phpmpom 于 2023-03-11 发布在 Java

关注(0)|答案(3)|浏览(158)

我使用NextJS和ExpressJS作为服务器。
我已经实现了自定义路由，就像nextjs文档中的示例（https：//nextjs.org/docs#custom-routes-using-props-from-url）一样，我还使用getInitialProps进行服务器端呈现。
我还使用了Screaming Frog SEO Spider作为爬虫来测试它是否能够抓取我的动态页面（它不能抓取我的动态页面，它只会抓取静态页面）。我不知道我是否做错了什么，但我只是按照文档的自定义路线。
我真的希望爬虫抓取我的动态网页，因为它会影响我们网站的搜索引擎优化。
谢谢

JavaScript

来源：https://stackoverflow.com/questions/57188127/nextjs-dynamic-pages-cannot-be-crawled

3条答案

按热度按时间

pbpqsu0x1#

有一个常见的SEO建议是不要建立动态网站。我不是NextJS和ExpressJS的Maven。但总的来说，我可以说大多数爬虫都不喜欢动态网站。要抓取动态网站，他们需要执行JavaScript，这需要时间和资源。据我所知，谷歌可以抓取动态网站，请遵循link。所以，这是可能的谷歌爬虫成功地抓取您的网站。2请不要建立搜索引擎优化SPA。3关于尖叫青蛙搜索引擎优化蜘蛛。4据我所知，它也可以使用 chrome 像谷歌爬虫。5请阅读文档。

赞(0）回复(0）举报 2023-03-11

liwlm1x92#

在我的项目中，我添加了一个sitemap.xml.tsx作为页面，它允许GoogleCrawler查看所有可用的页面，为了使其工作，您必须能够检索所有可能的动态页面，然后创建站点Map。
我会按照下面给出的例子：https://dev.to/timrichter/dynamic-sitemap-with-next-js-41pe关于如何正确实现网站Map。

赞(0）回复(0）举报 2023-03-11

cqoc49vn3#

我不知道你是否设法解决了这个问题，但我也遇到过类似的问题，我的方法的问题是，我没有在我的主页上渲染任何路线在构建时间。基本上，当爬虫到达主页，有是不是任何文章可见的因为这javascript是需要的到呈现他们（我有一个功能来渲染或不渲染文章）。SEO爬虫需要链接和路线来导航和Map您的网站：）

赞(0）回复(0）举报 2023-03-11