Българският INSAIT и Netflix създадоха AI, който променя сцени във видео в реално време
Институтът за компютърни науки, изкуствен интелект и технологии (INSAIT) към Софийски университет „Св. Климент Охридски“ обяви съвместен проект с Netflix, в рамките на който е разработен нов AI модел с името VOID. Технологията е насочена към обработка на видео и позволява премахване на обекти от кадър, като едновременно с това пресъздава реалистично промените в сцената.
За разлика от традиционните инструменти за видео обработка, които просто запълват липсващите части от изображението, VOID анализира взаимодействията между обектите. Това позволява на модела да симулира естествено поведение – например, ако човек държи предмет и бъде премахнат от сцената, системата може да възпроизведе как този предмет пада или се движи според физичните закони.
Технологията е базирана на модела CogVideoX и използва специфичен подход с т.нар. quadmask. Чрез него се разграничават обектите, зоните на взаимодействие и фоновата среда, което позволява запазване на логиката и динамиката на сцената без видими визуални артефакти.
Поради ограничените налични реални данни за обучение, екипите на INSAIT и Netflix са използвали симулирани среди, създадени чрез Blender. По този начин моделът се обучава да разпознава и възпроизвежда реалистично как се променя дадена сцена при премахване на обект.
Според разработчиците, VOID постига по-висока визуална последователност и по-реалистично поведение в сравнение със съществуващите решения. Моделът е публикуван като отворен код, което позволява на изследователи и разработчици да го използват и надграждат.
Проектът е пореден пример за участието на INSAIT в разработката на технологии с глобално значение, като същевременно демонстрира потенциала на съвместните инициативи между академичните среди и индустрията в областта на изкуствения интелект.
