英文数词被标记为 CN_WORD

[stormyi]

Description

ik_smart（v7.10.0） 对英文数词+中文量词 组合的分词效果与预期不符，特别不能理解的是"7天"的 7 为什么是 CN_WORD？
（ps：相同环境在 es 7.10.2 + ik 7.10.2 英文数词+中文量词 被标记为 TYPE_CQUAN）

Steps to reproduce

POST /_analyze
'{"field":"content","analyzer":"ik_smart","text":"7天 44天 55天"}'

Expected behavior

"7天"应该是一个 TYPE_CQUAN
{
"token": "7天",
"start_offset": 0,
"end_offset": 2,
"type": "TYPE_CQUAN",
"position": 0
}

Actual behavior

{
"token": "7",
"start_offset": 0,
"end_offset": 1,
"type": "CN_WORD",
"position": 0
},
{
"token": "天",
"start_offset": 1,
"end_offset": 2,
"type": "CN_CHAR",
"position": 1
}

Environment

• Versions: Elasticsearch 7.10.0

[stormyi]

按照我的预期，"7天"应该是一个 token，而不是被拆分为"7"和"天"。看起来是因为"7"被认为是一个 CN_WORD，所以没有和"天"组合。有人能解惑一下吗

[stormyi]

@medcl

[medcl]

嗯，这块是需要优化，IK 项目近期会整理遗留的 Bug，我们会继续完善。