Kumo Tabular на Hugging Face: таблица с метками вместо отдельного обучения

Kumo Tabular от NVIDIA появилась на Hugging Face — открытая базовая модель для таблиц. В контекст кладёшь уже размеченные строки, на выходе метки для новых за один проход: без обучения, подбора гиперпараметров и ручного feature engineering, и для классификации, и для регрессии.

Три размера весов — от 28M до 215M параметров, лицензия OpenMDW-1.1 с коммерческим использованием. Претрейн только на синтетических таблицах из structural causal models.

На TabArena авторы заявляют первое место с ELO 1950. В той же оценке на RTX 6000 Pro скорость в 17 раз выше, чем у LimiX-2. Отдельно отмечены BeyondArena, TALENT и ScoringBench.

Как это устроено

Логика как у in-context learning у языковых моделей: таблица с примерами вместо текста в промпте. Внутри — трансформер вокруг структуры таблицы (идеи TabICL и TabPFN): ячейки, строки и контекстные примеры. Ключи и значения контекста считают один раз и переиспользуют для следующих query-строк.

Запуск из Python

Инференс через открытую библиотеку structured-data-models — веса с Hub при первом запуске, в примерах нужна GPU. Сценарий из блога: pandas DataFrame, маска на целевой колонке, вызов sdm.models.KumoTabular с x_context, y_context и x_query (device="cuda").

• Из коробки — числовые и категориальные столбцы; текст и timestamps — через встроенные рецепты препроцессинга.
• До 10 классов за один проход; больше — через error-correcting output codes в библиотеке.
• Small, Medium и Large видели порядка 35, 71 и 137 млн искусственных датасетов на этапах обучения.

Источник: NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular Prediction.