MIT-Forscher stellen ein neues Computer-Vision-System vor, das jedes glänzende Objekt in eine Art Kamera verwandelt: Es ermöglicht dem Betrachter, um Ecken oder hinter Hindernisse zu sehen.

Aus der Spiegelung des Objekts lassen sich wertvolle und oft verborgene Informationen über die unmittelbare Umgebung einer Person gewinnen. Indem man sie als Kameras umfunktioniert, kann man bisher undenkbare Kunststücke vollbringen, wie zum Beispiel durch Wände oder in den Himmel schauen. Dies ist eine Herausforderung, da viele Faktoren die Reflexionen beeinflussen, darunter die Objektgeometrie, Materialeigenschaften, die 3D-Umgebung und der Standpunkt des Betrachters. Indem Menschen die Geometrie eines Objekts dekonstruieren und es intern durch die von ihm reflektierte Spiegelstrahlung aufhellen, können sie tiefgreifende Hinweise und Schlussfolgerungen über die verborgenen Teile der Umgebung ableiten.

Computer-Vision-Forscher am MIT und Rice haben eine Möglichkeit entwickelt, mithilfe von Reflexionen Bilder der realen Umgebung zu erzeugen. Mithilfe von Reflexionen verwandeln sie glänzende Objekte in „Kameras“ und erwecken den Eindruck, dass der Benutzer die Welt durch die „Linsen“ gewöhnlicher Gegenstände wie einer Kaffeetasse aus Keramik oder eines Briefbeschwerers aus Metall betrachtet.

Die von den Forschern verwendete Methode besteht darin, helle Objekte mit unbestimmter Geometrie in Strahlungsfeldkameras umzuwandeln. Die Grundidee besteht darin, die Oberfläche des Objekts als digitalen Sensor zu nutzen, um das von der Umgebung reflektierte Licht zweidimensional zu erfassen.

Die Forscher erklären, dass die neue Ansichtssynthese dank der Wiederherstellung der Strahlungsfelder der Umgebung neue Perspektiven präsentiert, die nur direkt für das helle Objekt in der Szene, nicht aber für den Betrachter sichtbar sind. Darüber hinaus können wir uns Agglodraten vorstellen, die durch nahegelegene Objekte in der Szene mithilfe von Strahlungsfeldern erzeugt werden. Die von den Forschern entwickelte Methode wird durchgängig vermittelt, indem mehrere Fotos des Objekts verwendet werden, um gleichzeitig seine Geometrie, diffuse Strahlung und das Strahlungsfeld seiner 5D-Umgebung abzuschätzen.

Ziel der Forschung ist es, das Objekt von seinem Spiegelbild zu trennen, sodass das Objekt die Welt wie eine Kamera „sieht“ und seine Umgebung aufzeichnet. Computer Vision hat seit einiger Zeit mit Reflexionen zu kämpfen, da es sich dabei um eine verzerrte 2D-Darstellung einer 3D-Szene unbekannter Form handelt.

Die Forscher modellieren die Oberfläche des Objekts als virtuellen Sensor und sammeln die zweidimensionale Projektion des 5D-Umgebungsstrahlungsfelds um das Objekt herum, um eine dreidimensionale Darstellung der Welt aus der Sicht des Objekts zu erstellen. Der größte Teil des Strahlungsfeldes der Umgebung wird außer durch die Reflexionen des Objekts blockiert. Über das Sichtfeld hinaus wird die Synthese der Darstellung des Romans oder die Präsentation neuer Perspektiven, die nur für das helle Objekt in der Szene, nicht aber für den Betrachter direkt sichtbar sind, durch die Nutzung der Strahlungsfelder der Umgebung ermöglicht, die dies ebenfalls ermöglichen zur Abschätzung der Tiefe und Leuchtkraft des Objekts in seine Umgebung.

Kurz gesagt, das Team hat Folgendes getan:

• Sie zeigen, wie stillschweigende Oberflächen in virtuelle Sensoren umgewandelt werden können, die nur mithilfe virtueller Kegel 3D-Bilder ihrer Umgebung aufnehmen können.
• Gemeinsam berechnen sie das 5D-Umgebungsstrahlungsfeld des Objekts und schätzen seine diffuse Strahlung ab.
• Sie zeigen, wie man das Lichtfeld der Umgebung nutzt, um neue, für das menschliche Auge unsichtbare Perspektiven zu generieren.

Dieses Projekt zielt darauf ab, das fünfdimensionale Strahlungsfeld des Ozeans aus vielen Fotografien eines hellen Elements unbekannter Form und Albedo zu rekonstruieren. Blendung durch reflektierende Oberflächen lässt Elemente einer Szene außerhalb des Sichtfelds erkennen. Konkret bestimmen die Oberflächenregeln und die Krümmung des hellen Objekts, wie die Bilder des Betrachters auf die reale Welt abgebildet werden.

Forscher benötigen möglicherweise genauere Informationen über die Form des reflektierten Objekts oder der Realität, was zur Verzerrung beiträgt. Es ist auch möglich, dass Farbe und Textur eines glänzenden Objekts mit den Reflexionen verschmelzen. Darüber hinaus ist es nicht einfach, die Tiefe in reflektierten Szenen zu erkennen, da es sich bei Reflexionen um zweidimensionale Projektionen einer dreidimensionalen Umgebung handelt.

Das Forscherteam überwand diese Hindernisse. Sie beginnen damit, das glänzende Objekt aus verschiedenen Blickwinkeln zu fotografieren und dabei verschiedene Reflexionen einzufangen. Orca (Objects Like Radiance-Field Cameras) ist ein Akronym für ihren dreistufigen Prozess.

Orca kann Multi-View-Reflexionen aufzeichnen, indem es das Objekt aus verschiedenen Winkeln abbildet. Diese werden dann verwendet, um die Tiefe zwischen dem hellen Objekt und anderen Objekten in der Szene sowie die Form des hellen Objekts selbst abzuschätzen. Weitere Informationen über die Stärke und Richtung der Lichtstrahlen, die von jedem Punkt im Bild ausgehen und dort auftreffen, werden vom 5D-Strahlungsfeldmodell von ORCa erfasst. Dank der Daten in diesem 5D-Strahlungsfeld kann Orca genauere Tiefenschätzungen vornehmen. Da die Szene als 5D-Strahlungsfeld und nicht als 2D-Bild gerendert wird, kann der Benutzer Details erkennen, die durch Winkel oder andere Hindernisse verdeckt würden. Die Forscher erklären, dass der Benutzer, sobald ORCa das 5D-Strahlungsfeld erfasst hat, eine virtuelle Kamera an einer beliebigen Stelle im Bereich platzieren und das synthetische Bild erstellen kann, das die Kamera erzeugen wird. Der Benutzer kann auch das Aussehen eines Gegenstands ändern, beispielsweise von Keramik zu Metall, oder virtuelle Objekte in die Szene integrieren.

Durch die Erweiterung der Definition des Strahlungsfeldes über das traditionelle Strahlungsfeld der Sichtlinie hinaus können Forscher neue Möglichkeiten für die Untersuchung der Umgebung und der darin befindlichen Objekte eröffnen. Durch die Verwendung projizierter virtueller Breiten und Tiefen kann die Arbeit Möglichkeiten der Einfügung virtueller Objekte und der 3D-Wahrnehmung eröffnen, beispielsweise die Extrapolation von Informationen von außerhalb des Sichtfelds der Kamera.

scannen Sie die Papier Und Projektseite. Vergessen Sie nicht, mitzumachen 22k+ML Sub RedditUnd Discord-KanalUnd Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder wir etwas verpasst haben, schreiben Sie uns gerne eine E-Mail an [email protected]

🚀 Schauen Sie sich 100 AI Tools im AI Tools Club an