KI hat gelernt, wie man Objekte aus Videos entfernt, ohne die Physik zu verletzen

Es geht um die Modellierung von Ursache-Wirkungs-Beziehungen.

Details

Die Entwicklung wurde von Forschern von Netflix und ihren Kollegen vorgestellt.

Das System heißt VOID (Video Object and Interaction Deletion).

Im Gegensatz zu herkömmlichen Tools:

• löscht" es nicht einfach nur das Objekt
• berücksichtigt es, wie es die umgebenden Elemente beeinflusst
• ändert es das Verhalten der gesamten Szene

Zum Beispiel:

• wenn Sie eine Stütze entfernen, sollte das Objekt umfallen
• wenn Sie ein Element in einer Kette von Dominosteinen entfernen, wird der Fall gestoppt

Die Analyse hat gezeigt:

• Die KI identifiziert zunächst die Bereiche, die von der Änderung betroffen sein werden
• erstellt dann eine Karte der Veränderung (einschließlich Schatten und Bewegungen)
• dann erzeugt sie eine neue Version der Szene
• in der letzten Phase verfeinert es die Bewegung und Form der Objekte

Das System wurde an Tausenden von simulierten Szenen trainiert, um Ursache-Wirkungs-Beziehungen zu verstehen.

Warum das wichtig ist

Die Technologie löst eines der Hauptprobleme bei der Videobearbeitung.

Die Forscher stellen fest:

• herkömmliche Werkzeuge stören oft die Physik einer Szene
• was das Video unnatürlich aussehen lässt
• das neue Modell kann die Qualität von Filmen und visuellen Effekten verbessern

Es eröffnet auch Möglichkeiten für:

• automatische Videobearbeitung
• realistische Szenen ohne Nachdrehs zu erstellen

Hintergrund

Bisher arbeiteten Videobearbeitungssysteme hauptsächlich mit Pixeln und nicht mit der Logik des Geschehens.

Das führte zu Situationen, in denen die Szene "kaputt" aussah, nachdem ein Objekt entfernt worden war.

Quelle

Die Forschung basiert auf der Entwicklung eines VOID-Modells für die Objektentfernung, das die Physik der Interaktionen berücksichtigt. Die Arbeit wurde auf dem arXiv Preprint Server veröffentlicht (2026).