Russian SuperGLUE -- PARus - 0.58 accuracy (7b)

[Andrew-MK]

Notebook из Colab: SUPERGLUE_PARus__saiga_7b__colab.zip
Оказалось, что тест PARus содержит два типа вопросов (выявить причину и выявить следствие):

• "effect" - когда из 2х вариантов необходимо выбрать, что является наиболее правдоподобным следствием по отношению к premise - обозначаются меткой "effect" в поле "question" примеров теста
• "cause" - когда из 2х вариантов необходимо выбрать, что может быть наиболее вероятной причиной premise - обозначаются меткой "cause" в поле "question" примеров теста

Метки типа вопроса подаются во всех файлах теста вместе с вопросами, поэтому, как я понял, их можно использовать для выбора корректного промпта к заданию, где, в случае "effect", необходимо спрашивать у модели наиболее вероятное следствие, а, в случае "cause" - причину.

Пробовал разбивать варианты в вопросе на два вопроса к модели и делать как в тесте TERRa - для каждого варианта задавать отдельный вопрос: Это причина/следствие текста?/Насколько от 0 до 9 это может быть причиной/следствием текста? Но оказалось, что во многих случаях от TERRa тест отличается не только наличием двух вариантов гипотез, но и тем, что эти оба варианта могут быть/являются причиной/следствием и надо именно в сравнении выбрать из них наиболее вероятный, и, при разбиении вариантов ответов на два вопроса к модели, в обоих случаях ответ будет - да и сделать выбор не получится.

Результат по Лидерборду кажется в районе медианы, но, наверное, и потенциал еще есть, ведь я не владею и не пробовал методики "few-shot" или "Chain of Thought (CoT)" prompting, а также не преуспел в поиске и переводе хорошего промпта в papers. Пробовал перевести из Is ChatGPT a Good Causal Reasoner? A Comprehensive Evaluation.:

Input Event: The man fell unconscious.
Question: Please select the cause of the input event
from the following options.
Option 1: The assailant struck the man in the head.
Option 2: The assailant took the man’s wallet.
Answer: Option 1

но хорошего результата это не дало, однако формат такой подачи вопроса "Событие: ...\n\nВопрос: выбери ... из следующих вариантов\n\nA: \n\n B: \n\n" модель воспринимает стабильно и для парсинга ответа отвечает "Выбор A/B", просто метрика не увеличивается и остается на уровне Accuracy: 0.57. Если понадобится, то код для подачи вопросов такой:

    if (test["question"] == "effect"):
        user_message = f'''Событие: {test["premise"]}\n\nОтветь одним словом на вопрос: выберите наиболее вероятное следствие из события из следующих вариантов.\n\nA: {test["choice1"]}\n\nB: {test["choice2"]}'''
    elif (test["question"] == "cause"):
        user_message = f'''Событие: {test["premise"]}\n\nОтветь одним словом на вопрос: выберите наиболее вероятную причину события из следующих вариантов.\n\nA: {test["choice1"]}\n\nB: {test["choice2"]}'''