Trellis (сервис для создания 3D-моделей из фото)

История

2024: Анонс продукта

В начале декабря 2024 года корпорация Microsoft представила новый сервис на основе искусственного интеллекта — платформу Trellis. Эта нейросеть с открытым исходным кодом предназначена для генерации 3D-моделей объектов по фотографии или текстовому описанию.

Отмечается, что Trellis может формировать 3D-модели сложных объектов с множеством деталей. При этом созданные варианты можно редактировать и изменять: в частности, можно посредством текстовых запросов попросить нейросеть добавить какие-либо элементы, модифицировать текстуру и пр. Как утверждают разработчики, по возможностям новый сервис превосходит другие аналогичные решения.

𝓲

Microsoft

Нейросеть основана на методе Structured LATent (SLAT), который декодирует входные данные в различные форматы, включая полигональные сетки. При обучении использовались сведения о 500 тыс. разнообразных объектов. Сервис Trellis доступен на платформе Hugging Face.

Представляем новый метод создания 3D-структур. Наша модель генерирует высококачественные результаты на основе текстовых или графических условий, значительно превосходя существующие методы, — говорится на сайте проекта.

ИИ-платформу Trellis можно использовать в двух режимах — через интернет и локально. В первом случае возможна генерация 3D-объектов только по изображению — можно применять собственные оригиналы или образцы, подготовленные разработчиками. При локальном развертывании становятся доступными текстовые запросы, но при этом требуется наличие достаточно производительного графического ускорителя с 16 Гбайт видеопамяти. При работе с изображениями система удаляет фон, а затем генерирует 3D-модель, которую при необходимости можно откорректировать посредством подсказок. Готовый результат доступен в формате GLB для использования или монтажа в Blender или другом приложении.^[1]

Примечания