大学入試共通テストの英単語出現回数を調べる (自然言語処理ライブラリ使用版)

前回は粗い方法で大学入試共通テスト(センター試験)における単語の出現回数を集計しました．
粗い方法では単数形と複数形が別の単語としてカウントされてしまう 動詞の時制が違うと別の単語としてカウントされてしまう などの問題点がありました． 今回はPythonの自然言語処理ライブラリspaCyを利用してもう少しスマートに出現回数を集計してみたいと思います． 前回と同様に2004年から2023年に出題された20年分の大学入試共通テスト(センター試験)における英単語の出現頻度を調べます．
使用したコードの一部はこちら
単語出現回数カウントのサンプルはこちら→単語出現回数カウンター

1. 単語のカウント方法について
2. spaCyについて
3. 出現した単語数
4. 出現回数の多い単語たち
5. 出現回数の分布
6. 出現した大問のカウント
7. 単語との遭遇確率
8. 覚えた単語の数と文章の理解度の関係
9. 大学入試共通テスト対策で覚えるべき単語数

単語のカウント方法について

前回は以下のような集計方法でした．

• 過去形 複数形などスペルが異なるものはすべて異なる単語としてカウントしています．
• I'm, can't などの短縮形も一つの単語としてカウントしています．
• 数字，地名，人名なども1つの単語としてカウントします．

• 原形以外の単語は原形に直して集計することができます．
• I'm, can't などの短縮形はI と am, can と notとして集計することができます．
• 品詞の分類をすることで単語がどの品詞として出現するかを集計することができます．

spaCyについて

自然言語処理spaCyを利用することで与えられた文章の中に対して(1)文中での単語の品詞は何かタグ付けをする (2)単語の原形は何か を判定することができます． また，記号や余分な句読点，所有語尾('s) などもタグ付けされるためこれを利用して記号などのいらない単語を削除します． 具体的には括弧，句読点，ハイフンなどの記号 単体では意味をなさない所有語尾，誤字などで分類できなかった単語を削除します．
spaCyについてはこちら→spaCy
コードの例はこちら→Natural Language Processing With spaCy in Python
利用できるタグの一覧はこちら→List spaCy Tags

出現した単語数

前回やった自然言語処理を利用しない粗い集計では出現した単語数は5053単語でした． 自然言語処理を利用して原形に直して集計すると人名・地名を含まない場合で3152単語，含む場合で3711単語でした． 原形に直さずに集計した場合でも短縮形や記号の誤集計，人名・地名が減ったのか4292単語でした． 本質的な単語数が3152語なら覚える気も起きますね(?)

出現回数の多い単語たち

今回も出現回数の多かった単語を表にまとめます． 今回は品詞別に集計することができたので，名詞 動詞 形容詞 助動詞 前置詞 副詞のランキングをそれぞれ表示してみます．

名詞の出現頻度

計1822種類の名詞が登場しました． タグはNN,NNP,NNS,NNPSです． 以下が名詞の出現頻度上位100単語の表です．

順位	単語	出現回数
1位	people	170回
2位	time	144回
3位	year	85回
4位	student	85回
5位	day	75回
6位	way	64回
7位	country	57回
8位	thing	53回
9位	example	53回
10位	group	50回
11位	world	45回
12位	japan	44回
13位	school	44回
14位	something	43回
15位	state	42回
16位	friend	41回
17位	food	38回
18位	life	37回
19位	part	36回
20位	area	36回
21位	study	36回
22位	type	35回
23位	player	34回
24位	number	33回
25位	idea	33回
26位	music	32回
27位	lot	30回
28位	town	30回
29位	work	29回
30位	story	29回
31位	place	29回
32位	machine	29回
33位	system	29回
34位	adult	29回
35位	car	28回
36位	product	27回
37位	word	27回
38位	us	26回
39位	family	25回
40位	percent	25回
41位	information	25回
42位	movie	25回
43位	researcher	25回
44位	dictionary	24回
45位	route	24回
46位	culture	23回
47位	problem	23回
48位	amount	23回
49位	drink	23回
50位	city	23回
51位	today	23回
52位	teacher	23回
53位	line	22回
54位	water	22回
55位	father	22回
56位	health	22回
57位	dance	22回
58位	hour	21回
59位	class	21回
60位	room	21回
61位	hand	21回
62位	eye	21回
63位	university	21回
64位	man	21回
65位	orange	21回
66位	john	21回
67位	morning	20回
68位	kind	20回
69位	reason	20回
70位	child	20回
71位	garden	20回
72位	friendship	20回
73位	week	19回
74位	other	19回
75位	money	19回
76位	color	19回
77位	job	19回
78位	planet	19回
79位	painting	19回
80位	fact	18回
81位	month	18回
82位	change	18回
83位	ball	18回
84位	game	18回
85位	art	18回
86位	result	18回
87位	technology	18回
88位	society	18回
89位	science	18回
90位	research	17回
91位	side	17回
92位	activity	17回
93位	sport	17回
94位	sugar	17回
95位	variety	17回
96位	body	17回
97位	opera	17回
98位	percentage	16回
99位	trip	16回
100位	member	16回

動詞の出現頻度

計689種類の動詞が登場しました． タグはVB,VBG,VBN,VBP,VBZです．

順位	単語	出現回数
1位	be	1473回
2位	have	502回
3位	do	238回
4位	make	104回
5位	think	98回
6位	see	90回
7位	say	86回
8位	get	83回
9位	use	82回
10位	take	81回
11位	look	79回
12位	go	75回
13位	find	71回
14位	know	66回
15位	come	65回
16位	want	56回
17位	start	52回
18位	work	49回
19位	help	49回
20位	show	47回
21位	feel	44回
22位	become	44回
23位	give	40回
24位	move	36回
25位	spend	35回
26位	ask	33回
27位	live	33回
28位	let	32回
29位	like	32回
30位	tell	32回
31位	develop	31回
32位	change	30回
33位	understand	30回
34位	seem	29回
35位	need	29回
36位	learn	29回
37位	call	27回
38位	study	27回
39位	continue	26回
40位	enjoy	25回
41位	begin	25回
42位	put	24回
43位	talk	24回
44位	pay	23回
45位	try	22回
46位	include	21回
47位	mean	21回
48位	leave	21回
49位	play	21回
50位	sit	20回
51位	believe	20回
52位	turn	20回
53位	eat	20回
54位	paint	20回
55位	lead	19回
56位	choose	19回
57位	grow	19回
58位	consider	19回
59位	offer	18回
60位	meet	18回
61位	keep	18回
62位	happen	17回
63位	increase	17回
64位	sell	17回
65位	decide	16回
66位	listen	16回
67位	provide	16回
68位	hear	16回
69位	stop	16回
70位	watch	16回
71位	appear	16回
72位	create	16回
73位	follow	15回
74位	cause	15回
75位	vend	15回
76位	read	15回
77位	collect	15回
78位	love	15回
79位	perform	15回
80位	explain	14回
81位	buy	14回
82位	lose	13回
83位	throw	13回
84位	allow	13回
85位	improve	13回
86位	remember	12回
87位	miss	12回
88位	agree	12回
89位	produce	12回
90位	travel	11回
91位	notice	11回
92位	realize	11回
93位	win	11回
94位	pick	11回
95位	share	11回
96位	walk	11回
97位	hold	11回
98位	stay	11回
99位	mention	11回
100位	catch	11回

形容詞の出現頻度

計638種類の形容詞が登場しました． タグはAFX,JJ,JJR,JJSです．

順位	単語	出現回数
1位	other	88回
2位	good	76回
3位	many	68回
4位	more	63回
5位	high	57回
6位	new	57回
7位	different	51回
8位	such	45回
9位	old	38回
10位	same	35回
11位	first	34回
12位	small	33回
13位	great	33回
14位	important	32回
15位	young	30回
16位	little	26回
17位	most	25回
18位	large	25回
19位	few	24回
20位	long	23回
21位	able	23回
22位	japanese	22回
23位	last	22回
24位	big	22回
25位	own	21回
26位	various	21回
27位	much	20回
28位	low	20回
29位	right	19回
30位	natural	19回
31位	possible	19回
32位	well	18回
33位	next	18回
34位	fresh	18回
35位	early	17回
36位	easy	16回
37位	several	14回
38位	common	14回
39位	popular	14回
40位	close	13回
41位	similar	13回
42位	happy	13回
43位	safe	13回
44位	cultural	13回
45位	second	12回
46位	short	12回
47位	particular	12回
48位	human	12回
49位	electronic	12回
50位	interesting	11回
51位	main	11回
52位	sure	11回
53位	special	11回
54位	difficult	11回
55位	strong	11回
56位	bilingual	11回
57位	local	11回
58位	hard	10回
59位	unique	10回
60位	final	10回
61位	bad	10回
62位	wide	10回
63位	famous	10回
64位	english	10回
65位	physical	10回
66位	third	9回
67位	least	9回
68位	less	9回
69位	clear	9回
70位	late	9回
71位	sticky	9回
72位	economic	8回
73位	major	8回
74位	amazing	8回
75位	white	8回
76位	strange	8回
77位	wonderful	8回
78位	nice	8回
79位	available	8回
80位	professional	8回
81位	hot	8回
82位	modern	8回
83位	successful	8回
84位	sharp	8回
85位	only	7回
86位	true	7回
87位	beautiful	7回
88位	foreign	7回
89位	familiar	7回
90位	surprised	7回
91位	green	7回
92位	interested	7回
93位	original	7回
94位	medical	7回
95位	useful	7回
96位	recent	7回
97位	certain	7回
98位	artificial	7回
99位	enough	6回
100位	average	6回

副詞の出現頻度

計265種類の副詞が登場しました． タグはRB, RBS, RBR, WRBです．

順位	単語	出現回数
1位	not	303回
2位	when	139回
3位	so	119回
4位	how	76回
5位	also	73回
6位	however	62回
7位	only	56回
8位	just	56回
9位	then	54回
10位	even	48回
11位	more	46回
12位	now	46回
13位	often	42回
14位	really	40回
15位	very	39回
16位	too	38回
17位	well	35回
18位	always	33回
19位	back	33回
20位	as	32回
21位	still	32回
22位	why	30回
23位	where	29回
24位	never	28回
25位	most	26回
26位	here	26回
27位	sometimes	23回
28位	there	21回
29位	much	19回
30位	about	18回
31位	actually	18回
32位	first	18回
33位	far	17回
34位	long	17回
35位	later	16回
36位	almost	15回
37位	all	15回
38位	especially	15回
39位	together	14回
40位	perhaps	14回
41位	again	14回
42位	usually	13回
43位	away	13回
44位	rather	12回
45位	finally	12回
46位	ever	12回
47位	ago	12回
48位	soon	12回
49位	home	11回
50位	quickly	11回
51位	maybe	10回
52位	around	10回
53位	therefore	10回
54位	before	9回
55位	suddenly	9回
56位	hard	8回
57位	though	8回
58位	clearly	8回
59位	quite	8回
60位	anyway	8回
61位	probably	8回
62位	early	8回
63位	recently	8回
64位	easily	8回
65位	once	8回
66位	next	7回
67位	fast	7回
68位	below	7回
69位	completely	7回
70位	simply	7回
71位	already	7回
72位	exactly	7回
73位	mostly	7回
74位	relatively	6回
75位	thus	6回
76位	approximately	6回
77位	truly	6回
78位	enough	5回
79位	at	5回
80位	alone	5回
81位	extremely	5回
82位	slowly	5回
83位	above	5回
84位	furthermore	5回
85位	safely	5回
86位	anywhere	5回
87位	increasingly	5回
88位	highly	5回
89位	gradually	5回
90位	particularly	5回
91位	slightly	5回
92位	eventually	5回
93位	currently	5回
94位	in	4回
95位	least	4回
96位	less	4回
97位	over	4回
98位	no	4回
99位	close	4回
100位	ahead	4回

前置詞の出現頻度

計67種類の前置詞が登場しました． タグはINです．

順位	単語	出現回数
1位	of	903回
2位	in	736回
3位	for	368回
4位	to	365回
5位	that	240回
6位	with	221回
7位	on	212回
8位	as	202回
9位	at	175回
10位	from	157回
11位	by	133回
12位	about	113回
13位	if	71回
14位	like	68回
15位	than	63回
16位	into	58回
17位	because	54回
18位	after	44回
19位	while	42回
20位	over	37回
21位	around	32回
22位	before	25回
23位	among	24回
24位	through	22回
25位	since	20回
26位	without	20回
27位	although	19回
28位	until	19回
29位	between	19回
30位	so	17回
31位	during	16回
32位	out	14回
33位	though	13回
34位	whether	13回
35位	behind	11回
36位	toward	9回
37位	under	8回
38位	within	8回
39位	throughout	8回
40位	per	7回
41位	once	7回
42位	off	6回
43位	across	6回
44位	near	6回
45位	due	6回
46位	beyond	5回
47位	onto	5回
48位	up	4回
49位	despite	4回
50位	above	4回
51位	beside	4回
52位	inside	4回
53位	down	3回
54位	unlike	3回
55位	opposite	2回
56位	along	2回
57位	against	2回
58位	outside	2回
59位	except	2回
60位	whereas	2回
61位	but	1回
62位	next	1回
63位	below	1回
64位	via	1回
65位	alongside	1回
66位	re	1回
67位	besides	1回

出現回数の分布

出現回数の分布については粗い集計をしときとほとんど変化はありませんでした． 出現頻度上位200位までの単語の出現回数をグラフにしたのが以下のグラフです． 単語の出現頻度は指数関数的に減少するようです．

出現した大問のカウント

一度出現した単語は同じ文中に複数回出現することが考えられます． 前回は単語が出現した年を数えましたが，今回は単語が出現した大問の数を数えます． 単語が出現した大問の数を調べたのが以下のグラフです． 大問別で集計してみたところ半数近くの単語が1つの大問でしか出現していないことが分かりました．

単語との遭遇確率

今回，記号などを取り除いてカウントされた単語の語数は35342語でした． 1回の試験で2000語の英文を読むとすると，出現回数がn回の単語と遭遇する確率は 1-(1-(n/35342))**2000 です． 遭遇確率は粗い集計をしたときとほとんど変わらず． 出現数30回以上の頻繁に出現する単語との遭遇確率は約82%，20回で約68%，10回で約43%でした． 出現頻度の少ないほうでは1, 2, 3, 4回でそれぞれ約 5, 10, 15, 20%となります．

覚えた単語の数と文章の理解度の関係

前回と同様に出現頻度の多い単語から順番に覚えていく場合にどの程度 英文が読めるようになるかを考えます． 文中に占める知っている単語の割合を文章の理解率として考えます． 1単語ずつ読んでいった場合，その単語を知っている確率と暗記している単語の数のグラフが以下です． 原形に直して本質的な見出し語に絞っていることもあって600語知っていればほぼ8割は分かるようです． move の意味が分かって moved の意味が分からない人の方が少ないと思いますので，こちらの方が実情に近いと考えられます． 原形と元の形を一緒に描画してありますが，単語を知っている確率を90%にしたいときに要求される単語数を比べると見出し語だけなら1100語に対して 全ての形を別の単語として捉えると1700語も要求されるので粗い集計のときよりも覚えやすそうな語数になっています．

大学入試共通テスト対策で覚えるべき単語数

98%の理解度を達成するには見出し語で2700語必要でした． しかし，ここから高校生が既に知っているであろう中学卒業レベルの単語を取り除くことができます．
中学生【英単語】一覧｜学習指導要領の全2286単語を完全網羅!で紹介されている中学卒業レベルの2286単語を取り除きます． 1331語の中学卒業レベルの単語が見つかったのでこれをすでに知っているものとして扱います． 中学レベルの単語を知っているだけで既に大学入試共通テストに出現する単語のうち86%は網羅できているようです．

おわりに

今回は大学入試共通テストにおける単語の出現頻度と必要な単語数について考えてみました． 二次試験のデータも使って出現した回数を集計すれば簡単な単語帳も作れそうな気もします． 出現頻度の検索はこちらでできるようにしておきましたので興味があったらご覧ください． 今後は二次試験に関しても分析してみたいと思います．

追記

大学受験に必要な英単語数を調べてみたにて二次試験の長文に関しても調べてみました．