-
Notifications
You must be signed in to change notification settings - Fork 8
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Настройки для GPT-2, GPT-3 #3
Comments
Добрый день! Зависит от данных.
ещё кстати ответ меняется от макс длины. Для GPT советую брать где-то столько же сколько изначальная длина фразы + немного, там от 20 до 50. |
Попробовал с этими параметрами - результат получился такой, будто модель перечитала сводку новостей:
|
Добрый день, подскажите, пожалуйста, какие настройки вы использовали для генерации предложений с помощью GPT2, GPT3?
Пробовал использовать те параметры, которые указаны в вашей работе - получаются совершенно другие предложения, которые и близко не стоят по смыслу. Также пытался подбирать вручную значения top_p [0.1:1] и temperature [0.1:1.9] при top_k=10 и n=5 - не помогло.
Получилось только добиться положительных результатов у модели MT5-large при top_p=0.78, temperature=1.2. А repetition_penalty пришлось вернуть к стандартному значению. Так как, при repetition_penalty=1 модель показывала более корректные результаты.
The text was updated successfully, but these errors were encountered: