yuu_nkjm blog


2011-05-23(Mon) 編集

[Wikipedia][CMS] Wikipediaのスナップショットを取得

自分でクローリングしなくてもWikipediaのダンプデータをダウンロードすることができる.というより,クローリングすると迷惑なので,データが欲しかったらダンプデータをダウンロードする.以下のページからのリンクをたどると,ダウンロードリンクがある.色々な種類(記事ページだけとか議論ページも入っているとか)のダンプがあるので,好きな種類を選ぶ.

以下,自分のコピペ用.

英語版Wikipedia(記事ページのみ)

wget http://download.wikimedia.org/enwiki/20091103/enwiki-20091103-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100116/enwiki-20100116-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100130/enwiki-20100130-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100730/enwiki-20100730-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100817/enwiki-20100817-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100904/enwiki-20100904-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100916/enwiki-20100916-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20101011/enwiki-20101011-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20110115/enwiki-20110115-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20110317/enwiki-20110317-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20110405/enwiki-20110405-pages-articles.xml.bz2
 
bunzip2 -k enwiki-20100730-pages-articles.xml.bz2  enwiki-20100904-pages-articles.xml.bz2 enwiki-20100817-pages-articles.xml.bz2  

日本語版Wikipedia(記事ページのみ)

wget http://download.wikimedia.org/jawiki/20100226/jawiki-20100226-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100306/jawiki-20100306-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100317/jawiki-20100317-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100328/jawiki-20100328-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100607/jawiki-20100607-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100624/jawiki-20100624-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100729/jawiki-20100729-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100812/jawiki-20100812-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100827/jawiki-20100827-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100910/jawiki-20100910-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100924/jawiki-20100924-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20101007/jawiki-20101007-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20101018/jawiki-20101018-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20101102/jawiki-20101102-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110129/jawiki-20110129-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110308/jawiki-20110308-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110404/jawiki-20110404-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110420/jawiki-20110420-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110507/jawiki-20110507-pages-articles.xml.bz2
 
bunzip2 -k jawiki-20100328-pages-articles.xml.bz2  jawiki-20101102-pages-articles.xml.bz2 jawiki-20100306-pages-articles.xml.bz2  jawiki-20101007-pages-articles.xml.bz2  jawiki-20110129-pages-articles.xml.bz2  jawiki-20110507-pages-articles.xml.bz2 jawiki-20100317-pages-articles.xml.bz2  jawiki-20101018-pages-articles.xml.bz2  jawiki-20110308-pages-articles.xml.bz2 jawiki-20100607-pages-articles.xml.bz2 jawiki-20100624-pages-articles.xml.bz2 jawiki-20100729-pages-articles.xml.bz2 jawiki-20100812-pages-articles.xml.bz2 jawiki-20100827-pages-articles.xml.bz2 jawiki-20100910-pages-articles.xml.bz2 jawiki-20100924-pages-articles.xml.bz2

トップ «前の日(05-22) 最新 次の日(05-24)» 追記 設定
2006|01|06|12|
2007|06|09|
2008|01|03|04|06|07|08|09|10|12|
2009|01|02|05|06|07|08|10|11|12|
2010|03|04|05|06|07|08|09|10|11|
2011|01|02|03|04|05|06|07|08|09|11|12|
2012|01|02|04|06|07|08|10|11|12|
2013|01|02|03|07|08|10|11|12|
2014|01|02|04|05|06|07|08|09|10|11|
2015|01|02|07|11|12|
2016|01|03|05|07|08|09|