DeepMind воссоздали день знакомства пары без единого кадра — и дали промпт для Gemini

В шорте «Love, Rendered» Google DeepMind собрала кадр первой встречи пары, которого никогда не существовало — за 70 лет брака не осталось ни фото, ни плёнки с тем днём. Берт и Этель Шац встретились в студенческом кооперативе в Кливленде; воспоминание жило только в словах, пока команда не попробовала заполнить пробел генеративными моделями.

Техлид Michael Chang признаётся, что тема личная: после инсульта дед путал его возраст, и инженер искал способ удержать семейную память через тот же медиум. Ленту поставила номинантка на «Оскар» Liz Garbus вместе с Dan Cogan и Darren Aronofsky — продакшн шёл через творческое бюро Primordial Soup и DeepMind.

Два слоя без выдумки

Чтобы кадры не уехали от реальности, работу разделили на два этапа — с человеческим контролем на каждом шаге.

• Реставрация снимков — генеративные модели подтянули чёрно-белые фото молодых Берта и Этель, чтобы дальнейшие кадры совпали с их лицами.
• Поза и мимика — модели захвата перформанса сняли сегодняшние микродвижения: наклон головы Берта, паузу в речи, морщинку у глаз — и перенесли на омоложённые портреты.

Этель сидела рядом с инженерами и правила детали — изгиб лестницы, форму каблука. Супруги назвали результат правдоподобным. Darren Aronofsky во время съёмок сравнил машинное обучение с кистью или молотком: инструмент молчит, пока им не руководят руки.

Промпт для своего архива

DeepMind даёт быстрый сценарий для приложения Gemini: загрузите старое фото и попросите: «Can you restore and colorize this photo? Preserve the appearance, expression, and pose of the people.» — восстановить, раскрасить и не сломать позу и выражение лиц. Для семейного альбома это проще, чем документальный пайплайн, но логика та же: модель как инструмент, направление — за человеком.

Источник: Recreating a 70-year love story frame by frame.