Skip to content

ニュース例文を形態素解析→品詞別重み値を決定 #4

@krgpi

Description

@krgpi

mecabtest.pyでニュース例文を形態素解析
→人力で品詞別重み値を決定

具体的には

  • 文章から無くても意味が通じる部分を減算
  • ニュースの意味が通じる必要十分まで削る
  • 品詞の重要度に応じて重み付け

新元号「令和(れいわ)」を決めるにあたり、政府は1日、六つの原案を選び、有識者による「元号に関する懇談会」などに提示した。政府は原案の数も含めて公表していないが、「令和」のほか、「英弘(えいこう)」「広至(こうじ)」「万和(ばんな)」「万保(ばんほ)」などがあったことがわかった。複数の政府関係者が1日夜、朝日新聞の取材に明らかにした。

→ 新元号 令和 政府 1日 原案 有識者 提示 (削りすぎ?=個人差を見たいので、それぞれ思うようにやってみてほしい)

→ mecab.pyの結果を、各品詞別に重要度を0〜10くらいでスコアつける

新 10
接頭詞,名詞接続,,,,,新,シン,シン
元号 10
名詞,一般,,,,,元号,ゲンゴウ,ゲンゴー
「 0
記号,括弧開,,,,,「,「,「
令 8
名詞,一般,,,,,令,リョウ,リョー
和 8
名詞,一般,,,,,和,ワ,ワ
( 0
記号,括弧開,,,,,(,(,(
れい 5
名詞,一般,,,,,れい,レイ,レイ
わ 5
助詞,終助詞,,,,,わ,ワ,ワ
) 0
記号,括弧閉,,,,,),),)
」 0
記号,括弧閉,,,,,」,」,」
を 1
助詞,格助詞,一般,,,,を,ヲ,ヲ
決める 3
動詞,自立,
,,一段,基本形,決める,キメル,キメル
にあたり 3
助詞,格助詞,連語,
,,,にあたり,ニアタリ,ニアタリ
、 0
記号,読点,,,,,、,、,、
政府 7
名詞,一般,,,,,政府,セイフ,セイフ
は 5
助詞,係助詞,,,,,は,ハ,ワ
1 6
名詞,数,,,,,1,イチ,イチ
日 6
名詞,接尾,助数詞,,,,日,ニチ,ニチ
、 0
記号,読点,
,,,,、,、,、
六つ 6
名詞,一般,
,,,,六つ,ムッツ,ムッツ
の 4
助詞,連体化,
,,,,の,ノ,ノ
原案 7
名詞,一般,
,,,,原案,ゲンアン,ゲンアン
を 5
助詞,格助詞,一般,
,,,を,ヲ,ヲ
選ぶ 6
動詞,自立,,,五段・バ行,連用形,選ぶ,エラビ,エラビ
、 0
記号,読点,,,,,、,、,、
有識者 5
名詞,一般,,,,,有識者,ユウシキシャ,ユーシキシャ
による 4
助詞,格助詞,連語,,,,による,ニヨル,ニヨル
「 0
記号,括弧開,
,,,,「,「,「
元号
名詞,一般,
,,,,元号,ゲンゴウ,ゲンゴー
に関する
助詞,格助詞,連語,
,,,に関する,ニカンスル,ニカンスル
懇談
名詞,サ変接続,,,,,懇談,コンダン,コンダン

名詞,接尾,一般,,,,会,カイ,カイ

記号,括弧閉,
,,,,」,」,」
など
助詞,副助詞,
,,,,など,ナド,ナド

助詞,格助詞,一般,
,,,に,ニ,ニ
提示
名詞,サ変接続,,,,,提示,テイジ,テイジ
する
動詞,自立,,,サ変・スル,連用形,する,シ,シ

助動詞,,,,特殊・タ,基本形,た,タ,タ

記号,句点,
,,,,。,。,。
政府
名詞,一般,
,,,,政府,セイフ,セイフ

助詞,係助詞,
,,,,は,ハ,ワ
原案
名詞,一般,
,,,,原案,ゲンアン,ゲンアン

助詞,連体化,
,,,,の,ノ,ノ

名詞,一般,
,,,,数,カズ,カズ

助詞,係助詞,
,,,,も,モ,モ
含める
動詞,自立,
,,一段,連用形,含める,フクメ,フクメ

助詞,接続助詞,
,,,,て,テ,テ
公表
名詞,サ変接続,
,,,,公表,コウヒョウ,コーヒョー
する
動詞,自立,
,,サ変・スル,連用形,する,シ,シ

助詞,接続助詞,
,,,,て,テ,テ
いる
動詞,非自立,
,,一段,未然形,いる,イ,イ
ない
助動詞,
,,,特殊・ナイ,基本形,ない,ナイ,ナイ

助詞,接続助詞,,,,,が,ガ,ガ

記号,読点,,,,,、,、,、

記号,括弧開,,,,,「,「,「

名詞,一般,,,,,令,リョウ,リョー

名詞,一般,,,,,和,ワ,ワ

記号,括弧閉,,,,,」,」,」

助詞,連体化,,,,,の,ノ,ノ
ほか
名詞,副詞可能,,,,,ほか,ホカ,ホカ

記号,読点,,,,,、,、,、

記号,括弧開,,,,,「,「,「
英弘
名詞,固有名詞,人名,名,,,英弘,ヒデヒロ,ヒデヒロ

記号,括弧開,,,,,(,(,(
えいこう
名詞,サ変接続,,,,,えいこう,エイコウ,エイコー

記号,括弧閉,,,,,),),)

記号,括弧閉,,,,,」,」,」

記号,括弧開,,,,,「,「,「

接頭詞,名詞接続,,,,,広,ヒロ,ヒロ

名詞,一般,,,,,至,イタリ,イタリ

記号,括弧開,,,,,(,(,(
こうじる
動詞,自立,,,一段,連用形,こうじる,コウジ,コージ

記号,括弧閉,,,,,),),)

記号,括弧閉,,,,,」,」,」

記号,括弧開,,,,,「,「,「

名詞,数,,,,,万,マン,マン

名詞,一般,,,,,和,ワ,ワ

記号,括弧開,,,,,(,(,(
ばん
名詞,一般,,,,,ばん,バン,バン

助動詞,,,,特殊・ダ,体言接続,だ,ナ,ナ

記号,括弧閉,
,,,,),),)

記号,括弧閉,
,,,,」,」,」

記号,括弧開,
,,,,「,「,「

名詞,数,
,,,,万,マン,マン

名詞,一般,
,,,,保,ホ,ホ

記号,括弧開,
,,,,(,(,(
ばん
副詞,一般,
,,,,ばん,バン,バン
ほる
動詞,自立,
,,五段・ラ行,体言接続特殊2,ほる,ホ,ホ

記号,括弧閉,
,,,,),),)

記号,括弧閉,
,,,,」,」,」
など
助詞,副助詞,
,,,,など,ナド,ナド

助詞,格助詞,一般,
,,,が,ガ,ガ
ある
動詞,自立,,,五段・ラ行,連用タ接続,ある,アッ,アッ

助動詞,,,,特殊・タ,基本形,た,タ,タ
こと
名詞,非自立,一般,
,,,こと,コト,コト

助詞,格助詞,一般,,,,が,ガ,ガ
わかる
動詞,自立,
,,五段・ラ行,連用タ接続,わかる,ワカッ,ワカッ

助動詞,
,,,特殊・タ,基本形,た,タ,タ

記号,句点,,,,,。,。,。
複数
名詞,一般,,,,,複数,フクスウ,フクスー

助詞,連体化,,,,,の,ノ,ノ
政府
名詞,一般,,,,,政府,セイフ,セイフ
関係
名詞,サ変接続,,,,,関係,カンケイ,カンケイ

名詞,接尾,一般,,,,者,シャ,シャ

助詞,格助詞,一般,
,,,が,ガ,ガ

名詞,数,,,,,1,イチ,イチ

名詞,接尾,助数詞,,,,日,ニチ,ニチ

名詞,副詞可能,
,,,,夜,ヨル,ヨル

記号,読点,
,,,,、,、,、
朝日新聞
名詞,固有名詞,組織,
,,,朝日新聞,アサヒシンブン,アサヒシンブン

助詞,連体化,,,,,の,ノ,ノ
取材
名詞,サ変接続,,,,,取材,シュザイ,シュザイ

助詞,格助詞,一般,,,,に,ニ,ニ
明らか
名詞,形容動詞語幹,
,,,,明らか,アキラカ,アキラカ

助詞,格助詞,一般,
,,,に,ニ,ニ
する
動詞,自立,,,サ変・スル,連用形,する,シ,シ

助動詞,,,,特殊・タ,基本形,た,タ,タ

記号,句点,
,,,*,。,。,

Metadata

Metadata

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions