Russian SuperGLUE -- TERRa - 0.64 accuracy (7b)

[Andrew-MK]

Notebook из Colab: SUPERGLUE_TERRa__saiga_7b__colab.zip

• Предыдущая версия модели saiga_30b в q4_1 была способна на этом же коде c расскоментированным prompt набрать 0.69 accuracy, но в colab 30b не запускается
• При temperature > 0 - может иногда отвечать по-другому на один и тот же вопрос, для стабильности результатов в бенчмарках, где требуется точный ответ Да/Нет лучше ставить её = 0
• Один и тот же промпт может показывать совершенно разные результаты на разных размерах модели 7b/13b/30b. На приведенном в приложенном notebook промпт 13b модель просто не работает, всегда отвечает Да.