Правильное разбиение числовых диапазонов

[vladradishevsky]

Здравствуйте.
Токенизатор правильно разбивает тексты, где содержатся названия городов:
Ростов-на-Дону Санкт-Петербург

Однако с диапазонами значений он поступает аналогично:
2016-2017 - один токен
5-кратное - один токен
10ти-кратное - разбивается на 10 и ти-кратное

[kuk]

2016-2017 - один токен

Спасибо, надо будет поправить

5-кратное - один токен

Это не ошибка, так? "5-кратное" должен оставаться одним токеном?

[vladradishevsky]

Насчет 5-кратное согласен с вами, так должно остаться. Слово пятикратное пишется слитно.

[r7sa]

По правилам "10ти-кратное" - тоже неверное написание. Должно быть "10-кратное".

Цитатат из http://new.gramota.ru/spravka/letters/87-rubric-99 :

При использовании словесно-цифровой формы записи буквенные наращения после числительных не пишутся.