Пространственное рефрейминг: революционная технология, меняющая перспективу, которая появится в iOS 27

В рамках того, что первые тестеры назвали «самой полезной функцией iOS 27», Apple разрабатывает революционную возможность под названием «Пространственное рефрейминг», которая фундаментально изменит то, как пользователи iPhone взаимодействуют со своими фотографиями. Эта инновационная функция, которая в настоящее время находится на стадии тестирования, позволяет пользователям манипулировать перспективой изображения после того, как оно было снято, с помощью искусственной интеллектуальной реконструкции элементов, которые обычно находятся за пределами кадра.

Что такое пространственный рефрейминг?

Пространственное рефрейминг представляет собой значительный шаг вперед в компьютерной фотографии. В отличие от традиционного редактирования фотографий, которое просто обрезает или корректирует существующий контент, эта новая технология позволяет пользователям виртуально «перетаскивать» перспективу фотографии в любом направлении. Когда пользователь сдвигает кадр, алгоритм искусственного интеллекта восстанавливает и генерирует недостающие части изображения, плавно расширяя фотографию за пределы исходных границ.

Эта возможность устраняет необходимость неудобного кадрирования или разочарование, когда вы упускаете идеальный кадр из-за того, что что-то немного выходит за рамки кадра. Будь то настройка композиции после съемки, исправление слегка искривленного горизонта или расширение фотографии для лучшего соответствия различным соотношениям сторон, Spatial Reframing предлагает беспрецедентную гибкость при постобработке.

Как работает пространственный рефрейминг

Технология пространственного рефрейминга является частью более широкой инициативы Apple Intelligence. Когда пользователь активирует эту функцию в приложении «Фото» и начинает настраивать перспективу, система анализирует существующее содержимое изображения, понимает контекст и создает фотореалистичные расширения сцены.

Что особенно впечатляет, так это то, как система обрабатывает сложные текстуры и узоры. Первые тестеры сообщают, что даже такие сложные детали, как черты лица, архитектурные элементы и линии автомобилей, реконструируются с поразительной точностью и естественностью. Один рецензент описал результаты как «не похожие ни на что, с чем я сталкивался на любом другом телефоне», подчеркнув сложность реализации Apple.

Техническая реализация

Пространственный рефрейминг использует передовые генеративные модели искусственного интеллекта, специально обученные для пространственного понимания и создания контента. Эти модели могут идентифицировать объекты, понимать взаимосвязь глубины и предсказывать, как элементы должны выглядеть при просмотре под разными углами.

Обработка происходит полностью на устройстве, обеспечивая конфиденциальность пользователя и поддерживая обязательство Apple хранить конфиденциальные фотографии на оборудовании пользователя. Обработка на устройстве также способствует повышению скорости работы этой функции: Apple обещает минимальную задержку при настройке перспективы в реальном времени.

Пользовательский опыт и практическое применение

Пространственное рефреймирование доступно в приложении «Фото» в новом разделе «Инструменты», который Apple представила в iOS 27. Интерфейс интуитивно понятен и позволяет пользователям просто перетаскивать края фотографии, чтобы настроить ее перспективу, наблюдая, как ИИ разумно заполняет пробелы.

Потенциальные возможности применения этой технологии обширны:

Улучшение композиции. Улучшение кадрирования после съемки без потери качества изображения.

Архитектурная фотография: исправление искажений перспективы или расширение видов.

Портретная фотография: корректировка обрезки при сохранении правильных пропорций объектов.

Социальные сети: адаптация фотографий к различным соотношениям сторон, необходимым для разных платформ.

Творческое самовыражение: изучение альтернативных композиций, которые были невозможны на момент съемки.

Сравнение пространственного рефрейминга с существующими решениями

Чтобы понять значение этой функции, полезно сравнить ее с существующими возможностями редактирования фотографий:

Аспекты конфиденциальности и производительности

Программа Spatial Reframing, являющаяся частью Apple Intelligence, обеспечивает строгую приверженность компании обеспечению конфиденциальности пользователей. Обрабатывая все данные изображений на устройстве, а не в облаке, Apple гарантирует, что личные фотографии никогда не покинут iPhone пользователя. Такой подход не только защищает конфиденциальность пользователей, но и ускоряет обработку, поскольку изображения не нужно загружать и скачивать.

Apple вложила значительные средства в оптимизацию производительности этой функции, гарантируя, что она сможет эффективно обрабатывать изображения с высоким разрешением, не расходуя заряд батареи и не вызывая чрезмерного выделения тепла. Нейронные сети, лежащие в основе пространственного рефрейминга, были разработаны таким образом, чтобы сбалансировать вычислительную сложность и оперативность реагирования в реальном времени.

Интеграция с Apple Intelligence

Пространственное рефреймирование — это лишь один из компонентов более широких интеллектуальных функций Apple, которые появятся в iOS 27. Он представляет собой практическое применение расширенных возможностей искусственного интеллекта таким образом, чтобы напрямую улучшить взаимодействие с пользователем с фотографиями — функция, с которой регулярно взаимодействует практически каждый пользователь iPhone.

Эта интеграция предполагает, что мы можем ожидать, что Apple продолжит разработку функций вычислительной фотографии, которые эффективно используют искусственный интеллект на устройствах. Судя по всему, компания сосредоточилась не только на добавлении новых возможностей, но и на решении реальных проблем, с которыми фотографы сталкиваются при ежедневном использовании мобильных устройств.

Доступность и будущие последствия

Выпуск Spatial Reframeing запланирован на осень этого года вместе с iOS 27. Хотя точные сроки могут немного измениться по мере продолжения разработки, Apple подтвердила, что эта функция является приоритетной для предстоящего обновления операционной системы.

Внедрение пространственного рефрейминга потенциально может повлиять на всю индустрию мобильной фотографии. В случае успеха мы можем увидеть, как конкуренты разработают аналогичные технологии, хотя реализация Apple с упором на обработку на устройстве, конфиденциальность и плавную интеграцию может установить новый стандарт того, что пользователи ожидают от возможностей редактирования фотографий на смартфонах.

В будущем эта технология может развиваться для поддержки видеоконтента в будущих обновлениях, что потенциально позволит также корректировать перспективу в движущихся изображениях. Базовые модели искусственного интеллекта также могут стать более сложными, что в конечном итоге позволит выполнять еще более сложные манипуляции, такие как изменение углов обзора или реконструкция скрытых объектов в более сложных сценариях.

Заключение

Пространственное переоформление является свидетельством постоянных инноваций Apple в компьютерной фотографии. Включив корректировку перспективы после съемки с помощью реконструкции недостающих элементов с помощью искусственного интеллекта, компания устраняет фундаментальное ограничение традиционной фотографии и одновременно открывает новые творческие возможности для пользователей iPhone.

По мере развития и распространения этой технологии она может изменить не только то, как мы редактируем фотографии, но и то, как мы думаем о самой природе фотографической композиции. Благодаря акценту на конфиденциальность, производительность и интуитивно понятный дизайн, Spatial Reframing демонстрирует подход Apple к интеграции расширенных возможностей искусственного интеллекта таким образом, чтобы улучшить повседневную работу пользователей.

Когда этой осенью выйдет iOS 27, пространственное рефрейминг вполне может оказаться столь же революционным, как и само появление вычислительной фотографии, — изменив то, как мы захватываем, компонуем и делимся визуальными воспоминаниями на наших iPhone.

🤩 Возможно, это самая полезная функция в iOS 27. 🆕Пространственный рефрейминг уже тестируется, и результаты впечатляют. Теперь пользователи iPhone могут полностью изменить перспективу постфактум — просто перетащите курсор, и ИИ восстановит недостающее. Ни кадрирования, ни пересъемки. 🤔 Первые тестеры говорят, что даже сложные текстуры (лица, линии автомобилей) получаются на удивление чистыми. Один рецензент назвал его «не похожим ни на что, с чем я сталкивался на любом другом телефоне». ℹ️ Эта функция работает в приложении «Фото» в новом разделе «Инструменты». Это часть Apple Intelligence и работает на устройстве, и Apple обещает, что это быстро и конфиденциально. iOS 27 выйдет этой осенью. #функции #iOS @iPhone 🤩 Возможно, это самая полезная функция iOS 27. 🆕Пространственный рефрейминг уже тестируется, и результаты впечатляют. Теперь пользователи iPhone могут полностью изменить перспективу постфактум — просто перетащите курсор, и ИИ восстановит недостающее. Ни кадрирования, ни пересъемки. 🤔 Первые тестеры говорят, что даже сложные текстуры (лица, линии автомобилей) получаются на удивление чистыми. Один рецензент назвал его «не похожим ни на что, с чем я сталкивался на любом другом телефоне». ℹ️ Эта функция работает в приложении «Фото» в новом разделе «Инструменты». Это часть Apple Intelligence и работает на устройстве, и Apple обещает, что это быстро и конфиденциально. iOS 27 выйдет этой осенью. #функции #iOS @iPhone

Функция	Традиционная обрезка	Заливка с учетом содержимого	Пространственное переформатирование (iOS 27)
Регулировка перспективы	Ограничено прямоугольными обрезками	Не применимо	Полная манипуляция перспективой
Качество изображения	Уменьшает разрешение	Может создавать артефакты	Расширяется при сохранении качества
Обработка сложных текстур	Н/Д	Борется со сложными узорами	Превосходно работает с лицами, линиями, текстурами
Конфиденциальность	На устройстве	Зависит от реализации	Обработка на устройстве
Кривая обучения	Минимальный	Умеренный	Интуитивно понятный интерфейс перетаскивания