如何在stormcrawler中使用快速url过滤器?

1qczuiv0  于 2021-06-24  发布在  Storm
关注(0)|答案(1)|浏览(307)

我遇到了快速网址过滤器。它提供了几个选项,比如对特定域应用过滤器。有人能告诉我们更多关于它的用法以及如何在url filters.json中配置它的细节吗?

r8uurelv

r8uurelv1#

可以在urlfilters.json中配置该过滤器,就像配置任何其他过滤器一样。

{
  "class": "com.digitalpebble.stormcrawler.filtering.regex.FastURLFilter",
  "name": "FastURLFilter",
  "params": {
    "file": "fast.urlfilter.json"
  }
}

file参数是可选的,默认采用上面给定的值。
有关详细信息,请参阅javadoc、blog和wiki。

相关问题