Falcon-Emirati-7B: масштаб не спасает, если модель отвечает не тем регистром

Мультиязычная модель может угадать смысл вопроса на эмиратском арабском и ответить книжным стандартным арабским (MSA) — «правильный ответ на неправильном языке». TII выложила Falcon-Emirati-7B: 7B-надстройку над Falcon-H1-Arabic под живой диалект ОАЭ, тон и культурный контекст, а не только общий арабский.

База — семейство Falcon-H1-Arabic (3B, 7B, 34B, окна до 128K и 256K токенов); для чата выбрали 7B — хватает ёмкости под нюанс без цены обслуживания 34B. Архитектура гибридная (Mamba + Transformer в блоке), для морфологически сложного арабского это про длинный контекст без лишней тяжести на инференсе.

Откуда брали данные

• Краул эмиратских сайтов и форумов на родном диалекте, без перевода с MSA.
• Тексты на MSA про культуру, идентичность и нормы ОАЭ — не учат диалекту, но задают «о чём речь».
• Синтетика под глоссариями и словарями эмиратской лексики, чтобы не скатиться в обобщённый «гульфовский» шаблон.

Готового рецепта MSA→диалект нет: перебирали доли данных, continued pre-training, SFT и preference optimization, сверяя автоматические метрики с оценкой носителей — одних бенчмарков на естественность мало.

Как мерили

Бенчмарк Alyah — 1 173 вопроса с вариантами ответа от носителей. Falcon-Emirati-7B набрал 84,83%, выше сравниваемых instruction-tuned моделей, в том числе заметно крупнее.

Те же 1 173 вопроса прогнали в открытой генерации: судья Gemini 3.7 Flash отдельно ставил правильность и то, пришёл ли ответ на эмиратском, а не на MSA. По dialect fidelity (частичная шкала) у лидера 0,52 против 0,05 у ALLaM-7B-Instruct-preview, 0,03 у gemma-3-27b-it и 0,02 у Jais-2-8B-Chat; у Fanar-2-27B-Instruct почти ноль и отказ ответить в 26,2% случаев при менее 5% у остальных пяти.

На multiple choice многие конкуренты выглядят прилично, а в живом чате уходят в MSA — масштаб мультиязычной модели сам по себе регистр не покупает, нужны целевые данные и оценка под диалект, особенно на поэзии, этикете и образном языке.

Источник: Falcon-Emirati: When an LLM Learns the Dialect, the Culture, and the Nuance.