Узкая OCR-модель обогнала Mistral OCR4 на португальских сканах

На бенчмарке португальских документов DharmaOCR набрала 0,925 — Mistral OCR4 остановилась на 0,798, Unlimited-OCR на 0,7587. Обе модели вышли позже узкой DharmaOCR от Dharma-AI, но на бразильских сканах отстают: примерно на 13 пунктов у Mistral и больше чем на 16 у Unlimited-OCR.

Модель заточена под бразильский португальский: дообучение на корпусе местных документов, затем Direct Preference Optimization — вместо погони за следующим токеном она учится выбирать лучший целый ответ. Второй этап как раз бьёт по дегенерации на сложных сканах.

Имена и мелкий шрифт

На рукописных эссе ENEM Mistral OCR4 читает Chico Buarque как «Chico Barque», Unlimited-OCR — как «chico bique». Цитату «O Brasil não exclui, assimila» вторая модель превращает в бессмыслицу — срыв на лексике, которой мало в мультиязычном корпусе, а не случайная опечатка.

На страницах с мелким шрифтом Mistral OCR4 уходит в повторы, не связанные с источником. Опечатку можно поправить; дегенерированный вывод для извлечения полей — не данные. DharmaOCR на тех же сканах держит связный текст.

Источник: Newer Models, Same Advantage.