data = {'categories': {}, 'contracts':{}, 'goods':{}, 'services':{}, 'construction':{} }
其中每个项都包含一个Python字典。 然后创建一个管道,并在管道内执行以下操作。
if 'categories' in item:
categories = item['categories']
# and then process categories, save into DB maybe
if 'contracts' in item:
categories = item['contracts']
# and then process contracts, save into DB maybe
.
.
.
# And others
2条答案
按热度按时间umuewwlo1#
我建议你从另一个Angular 来解决这个问题。
您只需要在类初始值设定项中包含所引用的变量
你还可以考虑添加多个参数,这样你就可以从网站的主页开始,使用这些参数,你可以得到你需要的任何数据。例如,对于这个网站https://buyandsell.gc.ca/procurement-data/search/site,你可以有两个命令行参数。
这样你就能
然后根据您传递的参数,您可以让您的爬行器单击网站上的这些选项来获取您要爬行的数据。Please also see here。我希望这对您有所帮助!
qrjkbowd2#
在你的蜘蛛中,像这样交出你的物品。
其中每个项都包含一个Python字典。
然后创建一个管道,并在管道内执行以下操作。