Solrのアップデート #1689
Comments
|
https://dev.next-l.jp で動作させているEnju(Solr 6.6.6)に対するopacevalの実行結果は以下のとおり。 |
|
EnjuのSolrのコンテナを |
|
テスト結果の差分は以下。「こころ」「ぐりとぐら」など、全体的にヒット数が多くなっている。 --- result_solr6.txt 2022-08-12 12:12:17.609537315 +0900
+++ result_solr8.txt 2022-08-12 12:17:03.804559190 +0900
@@ -20,20 +20,27 @@
[QID-2020-02]こころ
カーリル: 3359件
Enju: 500件
-共通:500件
-カーリルのみ:2859件
-Enjuのみ:0件
+共通:106件
+カーリルのみ:3253件
+Enjuのみ:394件
正解:7件
カーリル不足:0件
-Enju不足:3件
-{'4000269739', '4003101111', '404100120X'}
+Enju不足:6件
+{
+ '404100120X',
+ '4000269739',
+ '4101010137',
+ '4003101111',
+ '4167158027',
+ '4087520099'
+}
Recall:
カーリル: 1.000
- Enju: 0.571
+ Enju: 0.143
MRR:
カーリル: 0.250
- Enju: 0.020
-tsv,QID-2020-02,こころ,1.000,0.250,0.571,0.020
+ Enju: 0.004
+tsv,QID-2020-02,こころ,1.000,0.250,0.143,0.004
------------------
[QID-2020-03]メンターと出会う法
カーリル: 1件
@@ -55,10 +62,10 @@
------------------
[QID-2020-04]骨を彩る
カーリル: 2件
-Enju: 2件
+Enju: 3件
共通:2件
カーリルのみ:0件
-Enjuのみ:0件
+Enjuのみ:1件
正解:2件
カーリル不足:0件
Enju不足:0件
@@ -68,8 +75,8 @@
Enju: 1.000
MRR:
カーリル: 1.000
- Enju: 1.000
-tsv,QID-2020-04,骨を彩る,1.000,1.000,1.000,1.000
+ Enju: 0.500
+tsv,QID-2020-04,骨を彩る,1.000,1.000,1.000,0.500
------------------
[QID-2020-05]若者よマルクスを読もう
カーリル: 3件
@@ -98,7 +105,7 @@
正解:4件
カーリル不足:0件
Enju不足:4件
-{'4167148099', '4167148072', '4167148080', '4167148102'}
+{'4167148080', '4167148102', '4167148099', '4167148072'}
Recall:
カーリル: 1.000
Enju: 0.000
@@ -143,10 +150,10 @@
------------------
[QID-2020-10]ぐりとぐら
カーリル: 15件
-Enju: 15件
+Enju: 175件
共通:15件
カーリルのみ:0件
-Enjuのみ:0件
+Enjuのみ:160件
正解:2件
カーリル不足:0件
Enju不足:0件
@@ -156,15 +163,15 @@
Enju: 1.000
MRR:
カーリル: 1.000
- Enju: 0.091
-tsv,QID-2020-10,ぐりとぐら,1.000,1.000,1.000,0.091
+ Enju: 0.023
+tsv,QID-2020-10,ぐりとぐら,1.000,1.000,1.000,0.023
------------------
[QID-2020-11]思考の整理学
カーリル: 2件
-Enju: 2件
+Enju: 3件
共通:2件
カーリルのみ:0件
-Enjuのみ:0件
+Enjuのみ:1件
正解:2件
カーリル不足:0件
Enju不足:0件
@@ -174,16 +181,16 @@
Enju: 1.000
MRR:
カーリル: 1.000
- Enju: 1.000
-tsv,QID-2020-11,思考の整理学,1.000,1.000,1.000,1.000
+ Enju: 0.500
+tsv,QID-2020-11,思考の整理学,1.000,1.000,1.000,0.500
------------------
[QID-2020-12]少年と犬
カーリル: 1件
-Enju: 1件
+Enju: 18件
共通:1件
カーリルのみ:0件
-Enjuのみ:0件
-tsv,QID-2020-12,少年と犬,1.000,1.000,1.000,1.000
+Enjuのみ:17件
+tsv,QID-2020-12,少年と犬,1.000,1.000,1.000,0.500
------------------
[QID-2020-13]絵本の名作200
カーリル: 1件
@@ -241,10 +248,10 @@
------------------
[QID-2020-16]社会とは何か
カーリル: 46件
-Enju: 5件
-共通:5件
-カーリルのみ:41件
-Enjuのみ:0件
+Enju: 52件
+共通:46件
+カーリルのみ:0件
+Enjuのみ:6件
正解:1件
カーリル不足:0件
Enju不足:0件
@@ -254,8 +261,8 @@
Enju: 1.000
MRR:
カーリル: 0.500
- Enju: 0.200
-tsv,QID-2020-16,社会とは何か,1.000,0.500,1.000,0.200
+ Enju: 0.026
+tsv,QID-2020-16,社会とは何か,1.000,0.500,1.000,0.026
------------------
[QID-2020-17]村上ラヂオ
カーリル: 5件
@@ -349,10 +356,10 @@
------------------
[QID-2020-22]鉄輪
カーリル: 2件
-Enju: 2件
+Enju: 4件
共通:2件
カーリルのみ:0件
-Enjuのみ:0件
+Enjuのみ:2件
正解:2件
カーリル不足:0件
Enju不足:0件
@@ -362,10 +369,10 @@
Enju: 1.000
MRR:
カーリル: 1.000
- Enju: 1.000
-tsv,QID-2020-22,鉄輪,1.000,1.000,1.000,1.000
+ Enju: 0.333
+tsv,QID-2020-22,鉄輪,1.000,1.000,1.000,0.333
==================
[Recall]カーリル: 1.000
-[Recall]Enju: 0.767
+[Recall]Enju: 0.744
[MRR]カーリル: 0.830
-[MRR]Enju: 0.648
+[MRR]Enju: 0.547 |
|
Solr8に置き換えたEnjuでの「ぐりとぐら」の実際の検索結果は以下。検索語に1文字だけ一致した場合でも、検索結果に含めてしまっているように見える。
|
|
Solr8の設定ファイルを以下のように変更して、インデックスを再作成した。 --- a/solr/configsets/sunspot/conf/schema.xml
+++ b/solr/configsets/sunspot/conf/schema.xml
@@ -60,16 +60,11 @@
<fieldType name="rand" class="solr.RandomSortField" omitNorms="true"/>
<!-- *** This fieldType is used by Sunspot! *** -->
<fieldType name="text" class="solr.TextField" omitNorms="false">
- <analyzer type="index">
- <tokenizer class="solr.StandardTokenizerFactory"/>
- <filter class="solr.LowerCaseFilterFactory"/>
- <filter class="solr.PorterStemFilterFactory"/>
- <filter class="solr.EdgeNGramFilterFactory" minGramSize="1" maxGramSize="25"/>
- </analyzer>
- <analyzer type="query">
+ <analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
- <filter class="solr.PorterStemFilterFactory"/>
+ <filter class="solr.CJKWidthFilterFactory"/>
+ <filter class="solr.CJKBigramFilterFactory"/>
</analyzer>
</fieldType>
<!-- *** This fieldType is used by Sunspot! *** -->テスト結果は以下。 --- result_solr6.txt 2022-08-12 12:12:17.609537315 +0900
+++ result_solr8_2.txt 2022-08-12 15:09:30.038100597 +0900
@@ -20,13 +20,13 @@
[QID-2020-02]こころ
カーリル: 3359件
Enju: 500件
-共通:500件
-カーリルのみ:2859件
-Enjuのみ:0件
+共通:493件
+カーリルのみ:2866件
+Enjuのみ:7件
正解:7件
カーリル不足:0件
Enju不足:3件
-{'4000269739', '4003101111', '404100120X'}
+{'404100120X', '4003101111', '4000269739'}
Recall:
カーリル: 1.000
Enju: 0.571
@@ -73,21 +73,21 @@
------------------
[QID-2020-05]若者よマルクスを読もう
カーリル: 3件
-Enju: 3件
-共通:3件
-カーリルのみ:0件
+Enju: 0件
+共通:0件
+カーリルのみ:3件
Enjuのみ:0件
正解:3件
カーリル不足:0件
-Enju不足:0件
-set()
+Enju不足:3件
+{'4044086125', '4780303605', '4780307147'}
Recall:
カーリル: 1.000
- Enju: 1.000
+ Enju: 0.000
MRR:
カーリル: 1.000
- Enju: 1.000
-tsv,QID-2020-05,若者よマルクスを読もう,1.000,1.000,1.000,1.000
+ Enju: 0.000
+tsv,QID-2020-05,若者よマルクスを読もう,1.000,1.000,0.000,0.000
------------------
[QID-2020-06]it
カーリル: 10710件
@@ -98,7 +98,7 @@
正解:4件
カーリル不足:0件
Enju不足:4件
-{'4167148099', '4167148072', '4167148080', '4167148102'}
+{'4167148099', '4167148080', '4167148072', '4167148102'}
Recall:
カーリル: 1.000
Enju: 0.000
@@ -110,9 +110,9 @@
[QID-2020-07]1984
カーリル: 810件
Enju: 500件
-共通:480件
-カーリルのみ:330件
-Enjuのみ:20件
+共通:492件
+カーリルのみ:318件
+Enjuのみ:8件
正解:1件
カーリル不足:0件
Enju不足:1件
@@ -156,8 +156,8 @@
Enju: 1.000
MRR:
カーリル: 1.000
- Enju: 0.091
-tsv,QID-2020-10,ぐりとぐら,1.000,1.000,1.000,0.091
+ Enju: 0.100
+tsv,QID-2020-10,ぐりとぐら,1.000,1.000,1.000,0.100
------------------
[QID-2020-11]思考の整理学
カーリル: 2件
@@ -366,6 +366,6 @@
tsv,QID-2020-22,鉄輪,1.000,1.000,1.000,1.000
==================
[Recall]カーリル: 1.000
-[Recall]Enju: 0.767
+[Recall]Enju: 0.714
[MRR]カーリル: 0.830
-[MRR]Enju: 0.648
+[MRR]Enju: 0.596かなり元の結果に近づいているが、読点がインデックスに含まれているため、「若者よマルクスを読もう」での検索が0件になっている。 また、「こころ」が新たに以下の文章にヒットしていると思われる。
|
|
トークナイザをJapaneseTokenizerFactoryに変更した。 --- a/solr/configsets/sunspot/conf/schema.xml
+++ b/solr/configsets/sunspot/conf/schema.xml
@@ -61,10 +61,9 @@
<!-- *** This fieldType is used by Sunspot! *** -->
<fieldType name="text" class="solr.TextField" omitNorms="false">
<analyzer>
- <tokenizer class="solr.StandardTokenizerFactory"/>
+ <tokenizer class="solr.JapaneseTokenizerFactory" mode="search"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.CJKWidthFilterFactory"/>
- <filter class="solr.CJKBigramFilterFactory"/>
</analyzer>
</fieldType>
<!-- *** This fieldType is used by Sunspot! *** -->結果は以下。 --- result_solr6.txt 2022-08-12 19:17:23.746312498 +0900
+++ result_solr8_kuromoji.txt 2022-08-12 19:15:47.521925197 +0900
@@ -2,9 +2,9 @@
[QID-2020-01]i
カーリル: 1035件
Enju: 500件
-共通:3件
-カーリルのみ:1032件
-Enjuのみ:497件
+共通:4件
+カーリルのみ:1031件
+Enjuのみ:496件
正解:1件
カーリル不足:0件
Enju不足:1件
@@ -26,7 +26,7 @@
正解:7件
カーリル不足:0件
Enju不足:3件
-{'4000269739', '4003101111', '404100120X'}
+{'4003101111', '4000269739', '404100120X'}
Recall:
カーリル: 1.000
Enju: 0.571
@@ -98,7 +98,7 @@
正解:4件
カーリル不足:0件
Enju不足:4件
-{'4167148072', '4167148099', '4167148080', '4167148102'}
+{'4167148102', '4167148072', '4167148080', '4167148099'}
Recall:
カーリル: 1.000
Enju: 0.000
@@ -110,9 +110,9 @@
[QID-2020-07]1984
カーリル: 810件
Enju: 500件
-共通:480件
-カーリルのみ:330件
-Enjuのみ:20件
+共通:492件
+カーリルのみ:318件
+Enjuのみ:8件
正解:1件
カーリル不足:0件
Enju不足:1件
@@ -143,9 +143,9 @@
------------------
[QID-2020-10]ぐりとぐら
カーリル: 15件
-Enju: 15件
-共通:15件
-カーリルのみ:0件
+Enju: 7件
+共通:7件
+カーリルのみ:8件
Enjuのみ:0件
正解:2件
カーリル不足:0件
@@ -156,8 +156,8 @@
Enju: 1.000
MRR:
カーリル: 1.000
- Enju: 0.091
-tsv,QID-2020-10,ぐりとぐら,1.000,1.000,1.000,0.091
+ Enju: 0.250
+tsv,QID-2020-10,ぐりとぐら,1.000,1.000,1.000,0.250
------------------
[QID-2020-11]思考の整理学
カーリル: 2件
@@ -179,10 +179,10 @@
------------------
[QID-2020-12]少年と犬
カーリル: 1件
-Enju: 1件
+Enju: 12件
共通:1件
カーリルのみ:0件
-Enjuのみ:0件
+Enjuのみ:11件
tsv,QID-2020-12,少年と犬,1.000,1.000,1.000,1.000
------------------
[QID-2020-13]絵本の名作200
@@ -241,9 +241,9 @@
------------------
[QID-2020-16]社会とは何か
カーリル: 46件
-Enju: 5件
-共通:5件
-カーリルのみ:41件
+Enju: 46件
+共通:46件
+カーリルのみ:0件
Enjuのみ:0件
正解:1件
カーリル不足:0件
@@ -254,8 +254,8 @@
Enju: 1.000
MRR:
カーリル: 0.500
- Enju: 0.200
-tsv,QID-2020-16,社会とは何か,1.000,0.500,1.000,0.200
+ Enju: 0.029
+tsv,QID-2020-16,社会とは何か,1.000,0.500,1.000,0.029
------------------
[QID-2020-17]村上ラヂオ
カーリル: 5件
@@ -368,4 +368,4 @@
[Recall]カーリル: 1.000
[Recall]Enju: 0.767
[MRR]カーリル: 0.830
-[MRR]Enju: 0.648
+[MRR]Enju: 0.647「少年と犬」では、「少年」と「犬」の両方を含む資料がヒットしている。
|
Merged
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Solrは9.0.0がリリースされている。現在使用しているのは6.6.6でアップデートしたいが、そのまま7以上にアップデートすると、検索結果や件数が変わってしまうことが確認されている。
The text was updated successfully, but these errors were encountered: