解析wikipedia pagelink数据集

0s7z1bwu  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(657)

我下载了wikipedia页面链接数据集(可在wiki转储-http://dumps.wikimedia.org/enwiki/20140102/). 我想在数据集上运行pagerank算法,但是,我无法解析数据,因为它没有很好的文档记录。
这是下载的数据集示例。给出的字段是p1\u from、p1\u namespace和p1\u title。在网上看,p1\u namespace是一个表示文章类型的数字,但我不知道p1\u来自何处。为了实现pagerank算法,我需要链接到特定文章的文章数量,但是,我不知道p1\u from代表什么。从名字上看,这听起来像是文章中的链接数量,而不是相反。是这样吗?而且,如果是的话,我怎样才能反转给定数据的图形,这样我才能找到正确的数字。

DROP TABLE IF EXISTS `pagelinks`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `pagelinks` (
  `pl_from` int(8) unsigned NOT NULL DEFAULT '0',
  `pl_namespace` int(11) NOT NULL DEFAULT '0',
  `pl_title` varbinary(255) NOT NULL DEFAULT '',
  UNIQUE KEY `pl_from` (`pl_from`,`pl_namespace`,`pl_title`),
  KEY `pl_namespace` (`pl_namespace`,`pl_title`,`pl_from`)
) ENGINE=InnoDB DEFAULT CHARSET=binary;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `pagelinks`
--

/*!40000 ALTER TABLE `pagelinks` DISABLE KEYS */;
INSERT INTO `pagelinks` VALUES (10,0,'Computer_accessibility'),(12,0,'-ism'),(12,0,'1848_Revolution'),(12,0,'1917_October_Revolution'),

(12,0,'1919_United_States_anarchist_bombings'),(12,0,'19th_century_philosophy'),
(12,0,'6_February_1934_crisis'),(12,0,'A._K._Press'),(12,0,'A._S._Neill'),(12,0,'AK_Press'),(12,0,'A_Greek–English_Lexicon'),(12,0,'A_Language_Older_Than_Words'),
(12,0,'A_Vindication_of_Natural_Society'),(12,0,'A_las_Barricadas'),(12,0,'Abbie_Hoffman'),(12,0,'Absolute_idealism'),(12,0,'Abstentionism'),(12,0,'Action_theory_(philosophy)'),
(12,0,'Adam_Smith'),(12,0,'Adolf_Brand'),(12,0,'Adolf_Hitler'),(12,0,'Adolphe_Thiers'),(12,0,'Aesthetic_emotions'),(12,0,'Aesthetics'),(12,0,'Affinity_group'),(12,0,'Affinity_groups'),
(12,0,'African_philosophy'),(12,0,'Against_Civilization:_Readings_and_Reflections'),(12,0,'Against_His-Story,_Against_Leviathan'),(12,0,'Age_of_Enlightenment'),(12,0,'Agriculturalism'),
(12,0,'Agriculture'),(12,0,'Al-Ghazali'),(12,0,'Alain_Badiou'),(12,0,'Alain_de_Benoist'),(12,0,'Albert_Camus'),(12,0,'Albert_Libertad'),(12,0,'Albert_Meltzer'),(12,0,'Aleister_Crowley'),
(12,0,'Alex_Comfort'),(12,0,'Alexander_Berkman'),(12,0,'Alexandre_Christoyannopoulos'),(12,0,'Alexandre_Skirda'),(12,0,'Alfredo_M._Bonanno')
ecfdbz9o

ecfdbz9o1#

我无法解析数据,因为它没有很好的文档记录。
sql转储直接包含mediawiki使用的mysql表中的数据。这些表格记录在mediawiki.org上,在您的情况下 pagelinks table。
给出的字段是p1\u from、p1\u namespace和p1\u title。
不,那不是1(数字1),是l(字母l), pl 是的缩写 pagelinks .
我不知道你从哪里来的。
在文档中,这是“包含链接的页面的页面id的键” page table。

相关问题