Green Contexts: одна GPU, несколько соседей в одном процессе

В одном процессе на GPU всё чаще крутятся несколько независимых кусков работы — и между ними по-прежнему трудно договориться, кто сколько карты получает. NVIDIA описала Green Contexts как способ явно задавать это разделение вместо дефолтного планировщика.

Кого обычно сажают на одну карту

• оператор, чувствительный к задержке, рядом с фоновым kernel на пропускную способность;
• препроцессинг данных параллельно с inference модели;
• несколько стадий одного пайплайна на одной GPU.

Открытый фрагмент текста обрывается на постановке: контролировать разделение ресурсов GPU между соседями в одном процессе по-прежнему сложно. Вызовов API в нём нет — только эта формулировка и сценарии из списка.

Источник: Control How Your GPU Shares Work with Green Contexts.