今さら言語処理100本ノック #03

他の 100 本ノックシリーズ

言語処理 100 本ノック(第 3 章: 正規表現)

Wikipedia の記事を以下のフォーマットで書き出したファイルjawiki-country.json.gzがある． 1 行に 1 記事の情報が JSON 形式で格納される 各行には記事名が”title”キーに，記事本文が”text”キーの辞書オブジェクトに格納され，そのオブジェクトが JSON 形式で書き出される ファイル全体は gzip で圧縮される 以下の処理を行うプログラムを作成せよ．

環境

$ sw_vers
ProductName:    Mac OS X
ProductVersion: 10.15.4
BuildVersion:   19E266

$ python3 -V
Python 3.6.8

20. JSON データの読み込み

Wikipedia 記事の JSON ファイルを読み込み，「イギリス」に関する記事本文を表示せよ．問題 21-29 では，ここで抽出した記事本文に対して実行せよ．

import gzip
import json

with gzip.open("jawiki-country.json.gz", "rt") as f:
    lines = f.readlines()

lines = list(map(lambda x: json.loads(x), lines))
uk, *_ = list(filter(lambda x: x.get("title") == "イギリス", lines))

uk_text = uk.get("text")
print(uk_text)

{{redirect|UK}}
{{redirect|英国|春秋時代の諸侯国|英 (春秋)}}
{{Otheruses|ヨーロッパの国|長崎県・熊本県の郷土料理|いぎりす}}
{{基礎情報 国
|略名  =イギリス
...

21. カテゴリ名を含む行を抽出

記事中でカテゴリ名を宣言している行を抽出せよ．

import re
category_lines = list(filter(lambda x:re.search(r"\[\[Category:.*?\]\]", x), uk_text.splitlines()))
print(*category_lines, sep="\n")

[[Category:イギリス|*]]
[[Category:イギリス連邦加盟国]]
[[Category:英連邦王国|*]]
[[Category:G8加盟国]]
[[Category:欧州連合加盟国|元]]
[[Category:海洋国家]]
[[Category:現存する君主国]]
[[Category:島国]]
[[Category:1801年に成立した国家・領域]]

22. カテゴリ名の抽出 Permalink

記事のカテゴリ名を（行単位ではなく名前で）抽出せよ．

categories = re.findall(r"\[\[Category:(.*?)\]\]", uk_text)
print(*categories, sep="\n")

イギリス|*
イギリス連邦加盟国
英連邦王国|*
G8加盟国
欧州連合加盟国|元
海洋国家
現存する君主国
島国
1801年に成立した国家・領域

純粋なカテゴリ名を取得

categories = [c for c, _ in re.findall(r"\[\[Category:(.*?)(\|.*)?\]\]", uk_text)]
print(*categories, sep="\n")

イギリス
イギリス連邦加盟国
英連邦王国
G8加盟国
欧州連合加盟国
海洋国家
現存する君主国
島国
1801年に成立した国家・領域

23. セクション構造 Permalink

記事中に含まれるセクション名とそのレベル（例えば”== セクション名 ==”なら 1）を表示せよ．

sections = list(filter(lambda x: re.search(r"^=(.+)=$", x), uk_text.splitlines()))
section_levels = [(section.replace("=", ""), section.count("=")//2-1) for section in sections]
print(*section_levels, sep="\n")

きれいに書くならこう?

 section_structure = [(j, len(i) - 1) for i, j in re.findall(r"(=+)(.*?)\1\n", uk_text)]
 print(*section_structure, sep="\n")

('国名', 1)
('歴史', 1)
('地理', 1)
('主要都市', 2)
('気候', 2)
('政治', 1)
('元首', 2)
('法', 2)
('内政', 2)
('地方行政区分', 2)
('外交・軍事', 2)
('経済', 1)
('鉱業', 2)
('農業', 2)
('貿易', 2)
('不動産', 2)
('エネルギー政策', 2)
('通貨', 2)
('企業', 2)
('通信', 3)
('交通', 1)
('道路', 2)
('鉄道', 2)
('海運', 2)
('航空', 2)
('科学技術', 1)
('国民', 1)
('言語', 2)
('宗教', 2)
('婚姻', 2)
('移住', 2)
('教育', 2)
('医療', 2)
('文化', 1)
('食文化', 2)
('文学', 2)
('哲学', 2)
('音楽', 2)
('ポピュラー音楽', 3)
('映画', 2)
('コメディ', 2)
('国花', 2)
('世界遺産', 2)
('祝祭日', 2)
('スポーツ', 2)
('サッカー', 3)
('クリケット', 3)
('競馬', 3)
('モータースポーツ', 3)
('野球', 3)
(' カーリング ', 3)
(' 自転車競技 ', 3)
('脚注', 1)
('関連項目', 1)
('外部リンク', 1)

memo

• 空白対処しないとなぁ

24. ファイル参照の抽出

記事から参照されているメディアファイルをすべて抜き出せ．

media_files = re.findall(r"\[\[ファイル:([^|\]]*)", uk_text)
print(*media_files, sep="\n")

Royal Coat of Arms of the United Kingdom.svg
United States Navy Band - God Save the Queen.ogg
Descriptio Prime Tabulae Europae.jpg
Lenepveu, Jeanne d'Arc au siège d'Orléans.jpg
London.bankofengland.arp.jpg
Battle of Waterloo 1815.PNG
Uk topo en.jpg
BenNevis2005.jpg
Population density UK 2011 census.png
2019 Greenwich Peninsula & Canary Wharf.jpg
Birmingham Skyline from Edgbaston Cricket Ground crop.jpg
Leeds CBD at night.jpg
Glasgow and the Clyde from the air (geograph 4665720).jpg
Palace of Westminster, London - Feb 2007.jpg
Scotland Parliament Holyrood.jpg
Donald Trump and Theresa May (33998675310) (cropped).jpg
Soldiers Trooping the Colour, 16th June 2007.jpg
City of London skyline from London City Hall - Oct 2008.jpg
Oil platform in the North SeaPros.jpg
Eurostar at St Pancras Jan 2008.jpg
Heathrow Terminal 5C Iwelumo-1.jpg
Airbus A380-841 G-XLEB British Airways (10424102995).jpg
UKpop.svg
Anglospeak.svg
Royal Aberdeen Children's Hospital.jpg
CHANDOS3.jpg
The Fabs.JPG
Wembley Stadium, illuminated.jpg

25. テンプレートの抽出

記事中に含まれる「基礎情報」テンプレートのフィールド名と値を抽出し，辞書オブジェクトとして格納せよ．

memo

• 何が正解かわからん…

num = 999999
for item in re.finditer("{{基礎情報|{{|}}",uk_text):
    if item.group() == "{{基礎情報":
        start = item.end()
        num=1
    elif item.group() == "{{":
        num+=1
    elif item.group() == "}}":
        num-=1

    if num < 1:
        end = item.start()
        break

ans = dict(re.findall(r"\|(.*?)\ *?=\ ?(.*?)\n", uk_text[start:end]))
print(*ans.items(), sep="\n")

('略名', 'イギリス')
('日本語国名', 'グレートブリテン及び北アイルランド連合王国')
('公式国名', '{{lang|en|United Kingdom of Great Britain and Northern Ireland}}<ref>英語以外での正式国名:<br />')
('国旗画像', 'Flag of the United Kingdom.svg')
('国章画像', '[[ファイル:Royal Coat of Arms of the United Kingdom.svg|85px|イギリスの国章]]')
('国章リンク', '（[[イギリスの国章|国章]]）')
('標語', '{{lang|fr|[[Dieu et mon droit]]}}<br />（[[フランス語]]:[[Dieu et mon droit|神と我が権利]]）')
('国歌', "[[女王陛下万歳|{{lang|en|God Save the Queen}}]]{{en icon}}<br />''神よ女王を護り賜え''<br />{{center|[[ファイル:United States Navy Band - God Save the Queen.ogg]]}}")
('地図画像', 'Europe-UK.svg')
('位置画像', 'United Kingdom (+overseas territories) in the World (+Antarctica claims).svg')
('公用語', '[[英語]]')
('首都', '[[ロンドン]]（事実上）')
('最大都市', 'ロンドン')
('元首等肩書', '[[イギリスの君主|女王]]')
('元首等氏名', '[[エリザベス2世]]')
('首相等肩書', '[[イギリスの首相|首相]]')
('首相等氏名', '[[ボリス・ジョンソン]]')
('他元首等肩書1', '[[貴族院 (イギリス)|貴族院議長]]')
('他元首等氏名1', '[[:en:Norman Fowler, Baron Fowler|ノーマン・ファウラー]]')
('他元首等肩書2', '[[庶民院 (イギリス)|庶民院議長]]')
('他元首等氏名2', '{{仮リンク|リンゼイ・ホイル|en|Lindsay Hoyle}}')
('他元首等肩書3', '[[連合王国最高裁判所|最高裁判所長官]]')
('他元首等氏名3', '[[:en:Brenda Hale, Baroness Hale of Richmond|ブレンダ・ヘイル]]')
('面積順位', '76')
('面積大きさ', '1 E11')
('面積値', '244,820')
('水面積率', '1.3%')
('人口統計年', '2018')
('人口順位', '22')
('人口大きさ', '1 E7')
('人口値', '6643万5600<ref>{{Cite web|url=https://www.ons.gov.uk/peoplepopulationandcommunity/populationandmigration/populationestimates|title=Population estimates - Office for National Statistics|accessdate=2019-06-26|date=2019-06-26}}</ref>')
('人口密度値', '271')
('GDP統計年元', '2012')
('GDP値元', '1兆5478億<ref name="imf-statistics-gdp">[http://www.imf.org/external/pubs/ft/weo/2012/02/weodata/weorept.aspx?pr.x=70&pr.y=13&sy=2010&ey=2012&scsm=1&ssd=1&sort=country&ds=.&br=1&c=112&s=NGDP%2CNGDPD%2CPPPGDP%2CPPPPC&grp=0&a=IMF>Data and Statistics>World Economic Outlook Databases>By Countrise>United Kingdom]</ref>')
('GDP統計年MER', '2012')
('GDP順位MER', '6')
('GDP値MER', '2兆4337億<ref name="imf-statistics-gdp" />')
('GDP統計年', '2012')
('GDP順位', '6')
('GDP値', '2兆3162億<ref name="imf-statistics-gdp" />')
('GDP/人', '36,727<ref name="imf-statistics-gdp" />')
('建国形態', '建国')
('確立形態1', '[[イングランド王国]]／[[スコットランド王国]]<br />（両国とも[[合同法 (1707年)|1707年合同法]]まで）')
('確立年月日1', '927年／843年')
('確立形態2', '[[グレートブリテン王国]]成立<br />（1707年合同法）')
('確立年月日2', '1707年{{0}}5月{{0}}1日')
('確立形態3', '[[グレートブリテン及びアイルランド連合王国]]成立<br />（[[合同法 (1800年)|1800年合同法]]）')
('確立年月日3', '1801年{{0}}1月{{0}}1日')
('確立形態4', "現在の国号「'''グレートブリテン及び北アイルランド連合王国'''」に変更")
('確立年月日4', '1927年{{0}}4月12日')
('通貨', '[[スターリング・ポンド|UKポンド]] (£)')
('通貨コード', 'GBP')
('時間帯', '±0')
('夏時間', '+1')
('ISO 3166-1', 'GB / GBR')
('ccTLD', '[[.uk]] / [[.gb]]<ref>使用は.ukに比べ圧倒的少数。</ref>')
('国際電話番号', '44')
('注記', '<references/>')

debug

len(list(filter(lambda x: x.startswith("|"), uk_text[start:end].splitlines()))) == len(ans)
>> True

memo

• 正規表現だけで空白削除頑張った

26. 強調マークアップの除去 Permalink

25 の処理時に，テンプレートの値から MediaWiki の強調マークアップ（弱い強調，強調，強い強調のすべて）を除去してテキストに変換せよ（参考: マークアップ早見表）．

new_ans = dict((k, re.sub(r"'{2,3}|'{5}", "", v)) for k, v in ans.items())
print("before: ", ans.get("確立形態4"))
print("after : ", new_ans.get("確立形態4"))

before:  現在の国号「'''グレートブリテン及び北アイルランド連合王国'''」に変更
after :  現在の国号「グレートブリテン及び北アイルランド連合王国」に変更

27. 内部リンクの除去

26 の処理に加えて，テンプレートの値から MediaWiki の内部リンクマークアップを除去し，テキストに変換せよ（参考: マークアップ早見表）．

new_ans = dict((k, re.sub(r"\[\[(?!.*ファイル)(?!.*Category)([^|\]]+\|)*(.*?)\]\]", "\\2", v)) for k, v in ans.items())
print("before: ", ans.get("通貨"))
print("after : ", new_ans.get("通貨"))
print()
print("before: ", ans.get("確立形態3"))
print("after : ", new_ans.get("確立形態3"))

before:  [[スターリング・ポンド|UKポンド]] (£)
after :  UKポンド (£)

before:  [[グレートブリテン及びアイルランド連合王国]]成立<br />（[[合同法 (1800年)|1800年合同法]]）
after :  グレートブリテン及びアイルランド連合王国成立<br />（1800年合同法）

memo

• 漏れてる部分
• {{}}が干渉してそうだから先にこれを置換するのがいいか?

before:  [[女王陛下万歳|{{lang|en|God Save the Queen}}]]{{en icon}}<br />''神よ女王を護り賜え''<br />{{center|[[ファイル:United States Navy Band - God Save the Queen.ogg]]}}
after :  [[女王陛下万歳|{{lang|en|God Save the Queen}}]]{{en icon}}<br />''神よ女王を護り賜え''<br />{{center|[[ファイル:United States Navy Band - God Save the Queen.ogg]]}}

28. MediaWiki マークアップの除去

27 の処理に加えて，テンプレートの値から MediaWiki マークアップを可能な限り除去し，国の基本情報を整形せよ．

new_ans = dict()
for k, v in ans.items():
  v = re.sub(r"'{2,3}|'{5}", "", v) # 26
  v = re.sub(r"{{(.*)\||:?(.*?)}}", '\\2', v) # {{}} 置換
  v = re.sub(r"<br\s*?/>", ' ', v) # <br />
  v = re.sub(r"<ref[^>]*?/>|<ref[^>]*?>.*?/ref>", "", v) # <ref></ref>, <ref />
  v = re.sub(r"\[\[([^|\]]+\|)*(.*?)\]\]", "\\2", v) # 27改 ファイルもカテゴリーも置換
  new_ans[k] = v
print(*new_ans.items(), sep="\n")

('略名', 'イギリス')
('日本語国名', 'グレートブリテン及び北アイルランド連合王国')
('公式国名', 'United Kingdom of Great Britain and Northern Ireland<ref>英語以外での正式国名: ')
('国旗画像', 'Flag of the United Kingdom.svg')
('国章画像', 'イギリスの国章')
('国章リンク', '（国章）')
('標語', '神と我が権利]]）')
('国歌', 'God Save the Queen{{en icon 神よ女王を護り賜え {{center|ファイル:United States Navy Band - God Save the Queen.ogg')
('地図画像', 'Europe-UK.svg')
('位置画像', 'United Kingdom (+overseas territories) in the World (+Antarctica claims).svg')
('公用語', '英語')
('首都', 'ロンドン（事実上）')
('最大都市', 'ロンドン')
('元首等肩書', '女王')
('元首等氏名', 'エリザベス2世')
('首相等肩書', '首相')
('首相等氏名', 'ボリス・ジョンソン')
('他元首等肩書1', '貴族院議長')
('他元首等氏名1', 'ノーマン・ファウラー')
('他元首等肩書2', '庶民院議長')
('他元首等氏名2', 'Lindsay Hoyle')
('他元首等肩書3', '最高裁判所長官')
('他元首等氏名3', 'ブレンダ・ヘイル')
('面積順位', '76')
('面積大きさ', '1 E11')
('面積値', '244,820')
('水面積率', '1.3%')
('人口統計年', '2018')
('人口順位', '22')
('人口大きさ', '1 E7')
('人口値', '6643万5600')
('人口密度値', '271')
('GDP統計年元', '2012')
('GDP値元', '1兆5478億')
('GDP統計年MER', '2012')
('GDP順位MER', '6')
('GDP値MER', '2兆4337億')
('GDP統計年', '2012')
('GDP順位', '6')
('GDP値', '2兆3162億')
('GDP/人', '36,727')
('建国形態', '建国')
('確立形態1', 'イングランド王国／スコットランド王国 （両国とも1707年合同法まで）')
('確立年月日1', '927年／843年')
('確立形態2', 'グレートブリテン王国成立 （1707年合同法）')
('確立年月日2', '1707年{{05月{{01日')
('確立形態3', 'グレートブリテン及びアイルランド連合王国成立 （1800年合同法）')
('確立年月日3', '1801年{{01月{{01日')
('確立形態4', '現在の国号「グレートブリテン及び北アイルランド連合王国」に変更')
('確立年月日4', '1927年{{04月12日')
('通貨', 'UKポンド (£)')
('通貨コード', 'GBP')
('時間帯', '±0')
('夏時間', '+1')
('ISO 3166-1', 'GB / GBR')
('ccTLD', '.uk / .gb')
('国際電話番号', '44')
('注記', '')

memo

• １行に複数該当がある場合に実装もれがある
• 該当を loop で置換するのがいいか?
• 疲れたのでここまで

29. 国旗画像の URL を取得する

テンプレートの内容を利用し，国旗画像の URL を取得せよ．（ヒント: MediaWiki APIのimageinfoを呼び出して，ファイル参照を URL に変換すればよい）

import requests
URL = "https://en.wikipedia.org/w/api.php"
params = {
    "action": "query",
    "format": "json",
    "prop": "imageinfo",
    "titles": "File:"+ans.get("国旗画像"),
     'iiprop' : 'url',
}
r = requests.get(URL, params=params)
pages = r.json()["query"]["pages"]
out = list(pages.values())[0].get("imageinfo")[0].get("url")
print(out)

https://upload.wikimedia.org/wikipedia/en/a/ae/Flag_of_the_United_Kingdom.svg