Створення відео за допомогою штучного інтелекту щойно зробило величезний стрибок уперед. Runway, стартап у сфері штучного інтелекту, підтримуваний такими великими інвесторами, як Google, Nvidia і Salesforce, запустив Gen-4, свою найбільш просунуту модель генерації відео. У чому особливості та які характеристики Runway Gen-4?
WomanEL розповість все, що потрібно знати про реліз і чому це дійсно прорив у сфері технологій.
Що таке компанія Runway і їхній новий проєкт Runway Gen-4?
Runway покликана зробити революцію у сфері мистецтва, розваг і людської творчості. Будучи компанією, що займається дослідженнями в галузі прикладного штучного інтелекту, Runway пропонує набір інструментів, спрямованих на розвиток творчості за допомогою штучного інтелекту. Якщо ви режисер, цифровий художник або професіонал у сфері творчості, Runway спрощує складні завдання, даючи вам змогу швидко й ефективно створювати відеоконтент із високою точністю та керованістю.
Компанія Runway випустила першу загальнодоступну версію свого продукту для синтезу відео в лютому 2023 року. Творіння першого покоління, як правило, були скоріше дивинами, ніж чимось корисним для креативників. Але подальші оптимізації дали змогу використовувати інструмент в обмежених масштабах у реальних проєктах.
Runway Gen-4 – це абсолютно нова модель, яка покликана вирішити кілька ключових проблем, пов’язаних зі створенням відео за допомогою штучного інтелекту.
Чим відрізняється Gen-4
Компанія Runway стверджує, що її нова модель вирізняється такими перевагами:
- Реалістичність рухів – відео демонструє плавні та реалістичні рухи.
- Узгодженість сцен – суб’єкти та об’єкти залишаються стабільними протягом усього кадру.
- Оперативність – ШІ з високою точністю виконує інструкції користувача.
- Симуляція фізики – модель краще, ніж попередні версії, імітує фізику реального світу.
Runway Gen-4: головні особливості та характеристики
Головною з особливостей є поняття послідовності персонажів і об’єктів у всіх кадрах. Якщо ви дивилися короткометражні фільми, створені за допомогою ШІ, то напевно помітили, що вони являють собою сновидницькі послідовності тематично, але не реалістично пов’язаних зображень. Це скоріше фрагменти якогось настрою, ніж послідовні розповіді.
Runway стверджує, що Gen-4 може підтримувати послідовність персонажів і об’єктів за умови, що в рамках проєкту в інтерфейсі Runway йому буде надано єдине еталонне зображення персонажа або об’єкта, про який ідеться. Конкуруючі інструменти, такі як Sora від OpenAI, також намагалися поліпшити ці недоліки, але з обмеженими результатами.
Компанія опублікувала приклади відеороликів, у яких одна й та сама жінка з’являється в різних кадрах у різних сценах.
А одна й та сама статуя з’являється в абсолютно різних контекстах і має практично однаковий вигляд у різних умовах і при різному освітленні.
Аналогічним чином, Gen-4 покликаний дати змогу режисерам, які використовують цей інструмент, знімати те саме оточення або об’єкт із кількох ракурсів у кількох кадрах однієї послідовності. У Gen-2 і Gen-3 це було практично неможливо. У минулому інструмент був гарний для збереження стилістичної цілісності, але не для створення кількох ракурсів у межах однієї сцени.
Останнім великим оновленням моделі Runway стало оновлення Gen-3, яке було анонсовано трохи менше року тому, у червні 2024 року. Це оновлення значно збільшило довжину відеороликів, які могли створювати користувачі, з двох секунд до 10, і забезпечило більшу послідовність і узгодженість, ніж його попередник, Gen-2.
Характеристики Runway Gen-4: безперервність режисерської зйомки
- Головне нововведення Gen-4 – те, що Runway називає «узгодженістю світу», що дає змогу режисерам підтримувати візуальну узгодженість у кількох створених сценах.
- Персонажі зберігають свій зовнішній вигляд, одяг і характеристики в різних умовах довкілля та освітлення.
- Об’єкти з еталонних зображень (включно з фотографіями реальних об’єктів) можуть бути послідовно поміщені в різні згенеровані декорації.
- Навколишнє середовище залишається впізнаваним на кількох кадрах, що дає змогу встановити кадри і безперервність сцени.
- Система підтримує управління рухом у сценах, водночас персонажі слідують за заданими траєкторіями.
Характеристики Runway Gen-4: демонструє складне розуміння фізики, освітлення та елементів візуального оповідання
Демонстрації показують здатність Gen-4 обробляти складні візуальні сценарії, які раніше вимагали великої роботи VFX або просто не могли бути ефективно реалізовані.
- Відображення правильно відображаються на поверхнях (включно з відображенням персонажів в очах тварин).
- Вогонь та інші складні елементи демонструють реалістичну фізику й ефекти освітлення.
- Вага і рух персонажів/об’єктів виглядають фізично достовірно в згенерованому оточенні.
- Фотографії реального світу можуть бути інтегровані в нові сцени як опорні точки для ШІ.
Революція в конвеєрі VFX: Gen-4 стискає те, що раніше вимагало безлічі спеціалізованих інструментів
Приклади Runway демонструють, як Gen-4 слугує єдиним інструментом для кількох етапів виробничого процесу.
- Дизайн персонажів, концепції оточення і руху – все це можна обробляти в рамках однієї системи.
- Інструмент дає змогу швидко створювати варіації одних і тих самих елементів.
- Кілька короткометражних фільмів було створено «всього за кілька годин», що значно скоротило традиційні терміни виробництва.
- Система працює як «творчий партнер» для швидкої візуалізації концепцій під час розробки.
Runway Gen-4: хто має доступ і ціна
Стало відомо, що ШІ Gen-4 стане доступний усім платним користувачам Runway. Runway пропонує одноразову безкоштовну опцію для початку, а також тарифні плани від 12 доларів на місяць і вище.
Доступ до Gen-4 Image to Video вже почав поширюватися за платними тарифними планами, скоро з’являться посилання і API Runway.
ВАЖЛИВО: деякі користувачі увійшли сьогодні (1 квітня) у свої платні акаунти, і Gen-4 з’явилася в списку моделей, але з написом «Скоро», і її поки не можна вибрати. Можливо, Runway повільно поширює модель серед користувачів, щоб уникнути проблем із навантаженням на сервер. Хвилюватися не варто, це нормально. Зачекайте і знову перевірте, чи доступний вибір Gen-4.
Лякає, що штучний інтелект може вкрасти у вас роботу? Ось що ви можете зробити у 2025 для свого спокою.