yuu_nkjm blog

[Wikipedia][CMS] Wikipediaのスナップショットを取得

自分でクローリングしなくてもWikipediaのダンプデータをダウンロードすることができる．というより，クローリングすると迷惑なので，データが欲しかったらダンプデータをダウンロードする．以下のページからのリンクをたどると，ダウンロードリンクがある．色々な種類(記事ページだけとか議論ページも入っているとか)のダンプがあるので，好きな種類を選ぶ．

• Wikipedia:Database download - Wikipedia, the free encyclopedia
• Wikipedia:データベースダウンロード - Wikipedia

以下，自分のコピペ用．

英語版Wikipedia(記事ページのみ)

wget http://download.wikimedia.org/enwiki/20091103/enwiki-20091103-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100116/enwiki-20100116-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100130/enwiki-20100130-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100730/enwiki-20100730-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100817/enwiki-20100817-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100904/enwiki-20100904-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20100916/enwiki-20100916-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20101011/enwiki-20101011-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20110115/enwiki-20110115-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20110317/enwiki-20110317-pages-articles.xml.bz2
wget http://download.wikimedia.org/enwiki/20110405/enwiki-20110405-pages-articles.xml.bz2
 
bunzip2 -k enwiki-20100730-pages-articles.xml.bz2  enwiki-20100904-pages-articles.xml.bz2 enwiki-20100817-pages-articles.xml.bz2  

日本語版Wikipedia(記事ページのみ)

wget http://download.wikimedia.org/jawiki/20100226/jawiki-20100226-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100306/jawiki-20100306-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100317/jawiki-20100317-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100328/jawiki-20100328-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100607/jawiki-20100607-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100624/jawiki-20100624-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100729/jawiki-20100729-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100812/jawiki-20100812-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100827/jawiki-20100827-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100910/jawiki-20100910-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20100924/jawiki-20100924-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20101007/jawiki-20101007-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20101018/jawiki-20101018-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20101102/jawiki-20101102-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110129/jawiki-20110129-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110308/jawiki-20110308-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110404/jawiki-20110404-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110420/jawiki-20110420-pages-articles.xml.bz2
wget http://download.wikimedia.org/jawiki/20110507/jawiki-20110507-pages-articles.xml.bz2
 
bunzip2 -k jawiki-20100328-pages-articles.xml.bz2  jawiki-20101102-pages-articles.xml.bz2 jawiki-20100306-pages-articles.xml.bz2  jawiki-20101007-pages-articles.xml.bz2  jawiki-20110129-pages-articles.xml.bz2  jawiki-20110507-pages-articles.xml.bz2 jawiki-20100317-pages-articles.xml.bz2  jawiki-20101018-pages-articles.xml.bz2  jawiki-20110308-pages-articles.xml.bz2 jawiki-20100607-pages-articles.xml.bz2 jawiki-20100624-pages-articles.xml.bz2 jawiki-20100729-pages-articles.xml.bz2 jawiki-20100812-pages-articles.xml.bz2 jawiki-20100827-pages-articles.xml.bz2 jawiki-20100910-pages-articles.xml.bz2 jawiki-20100924-pages-articles.xml.bz2