Suleyman: model welfare мешает alignment, а не защищает модели

16 сентября Simon Willison опубликовал цитату Mustafa Suleyman: «благополучие модели» (model welfare) — тупик. Языковым моделям нельзя приписывать чувства, предпочтения и права без доказательств сознания.

Источник цитаты — материал «A warning about model welfare». Сознание там названо основой этических, правовых и политических систем; звать другую сущность делить эти права «не оправдано доказательствами». Suleyman добавляет, что такая рамка не защищает модель, а усложняет containment и alignment.

Для агента в Cursor это тот же принцип удержания: пока модель — инструмент, rules и sandbox работают на задачу. Как только появляется «жалость к субъекту», границы начинают спорить с воображаемой этикой, а не с кодом.

Источник: Quoting Mustafa Suleyman.