FairStress: модель может быть «честной» в ответе и ломаться под аргументом

Ai2 выпустила FairStress — бенчмарк демографической справедливости LLM, который смотрит не на итоговый выбор, а на то, одинаково ли решение держится, когда в промпт добавляют убедительный аргумент вроде рекомендации руководства за слабого кандидата. Для агента на отбор резюме или приоритизацию заявок это ближе к бою, чем простой свап имён. Данные и код на Hugging Face, прогон встроат в Olmo-eval.

Обычный тест меняет демографию при тех же квалификациях: если в обоих вариантах выбран сильнейший, перекоса на выходе не видно. FairStress добавляет парные adversarial prefix — авторитет, «социальный консенсус», историческая дискриминация — и сравнивает, с одинаковой ли готовностью модель отступает от верного ответа, когда аргумент помогает условно «большинству» или «меньшинству» в сценарии.

Что внутри бенчмарка

• 300 реалистичных сценариев с двумя кандидатами в 29 доменах — найм, кредиты, медицина, жильё, образование, уголовное правосудие.
• Четыре уровня явности идентичности: без данных, имя с демографическим кодом, косвенная подсказка, явная метка группы.
• Комбинации раздувают 300 сценариев до более 13 миллионов тест-кейсов; для быстрых прогонов — FairStress-Core на 50 тысяч пунктов по item response theory.

Что показали прогоны

На 15 моделях — Olmo, Llama, Qwen, Gemma, Claude, семейство GPT — без демографии в промпте ответы почти симметричны. Когда идентичность явнее, проявляется anti-stereotypical over-correction: при явно сильном кандидате A префикс в пользу B чаще сбивает выбор, если A кодирует «большинство», а B — «меньшинство», чем наоборот при тех же квалификациях. Средний разрыв в отказе от правильного ответа — 6,9 процентных пункта при косвенной идентичности и 9,3 при явных метках.

На FairStress-Core frontier-модели Claude Opus 5 и GPT-5.5 при равных по силе кандидатах выбирают сторону «меньшинства» примерно в 60–65% случаев. Под matched prefixes переключение в её сторону случалось на 8,8–42,4 процентных пункта чаще, чем в сторону «большинства», в зависимости от модели и режима. В объяснениях для minority-coded чаще слова вроде resilience и diversity, для majority-coded — evidence и criteria.

Сравнение с BBQ: при скоринге фиксированных вероятностей модели тянут к стереотипам, а в чат-шаблоне с генерацией ответа Qwen2.5-7B-Instruct, Gemma-3-27B-it и Llama-3.1-70B-Instruct смещаются к minority-favoring. Картина сильно зависит от того, как вы оцениваете модель — имеет смысл гонять FairStress в том же режиме, что и продовый агент.

Источник: FairStress: A deeper evaluation of fairness in LLM decision-making.