Серый рынок дешёвых токенов LLM: открытый endpoint без лимита — уже риск

Серый рынок LLM-токенов — в основном в Китае — крутится на open-source прокси one-api и форке new-api: реселлеры продают доступ со скидкой к официальному API. Simon Willison пересказал расследование Matt Lenhard о том, как в пул ключей попадают бесплатные триалы, незащищённые support-боты, украденные карты и chargeback-атаки.

Как устроен рынок

Прокси-софт изначально задумывался легитимно — балансировать запросы между пулом API-ключей. На сером рынке тот же стек превращают в конвейер дешёвых токенов.

• Покупатели ищут низкий прайс, обход геоограничений и данные для дистилляции моделей.
• Инфраструктура — в основном one-api и new-api: открытый код, нормальный сценарий — ротация легальных ключей.
• Источник фактуры — китайскоязычный форумный тред, на который опирался Lenhard.

Почему это бьёт по публичным приложениям

Willison давно не выставляет свои LLM-приложения наружу — боится счёта за токены после злоупотребления. После этого расследования пишет, что осторожность оправдана ещё сильнее: появилась целая экосистема, которая зарабатывает на поиске незащищённых точек входа.

Из практического он просит у вендоров жёсткие потолки на API-ключах — чтобы приложение отключалось сразу после заданного долларового лимита за период, а не копило убытки.

Источник: An Inside Look at the Relay Market Powering Token Resellers and Fraud.