Mehransichtliche Evidenzakkumulation zur sichtbasierten Objektsegmentierung in Punktwolken

Die Objekterkennung und -segmentierung in dreidimensionalen Punktwolken ist aufgrund der unstrukturierten, ungeordneten und ungleichmäßigen Natur der Daten besonders anspruchsvoll. Diese Arbeit verfolgt einen bildbasierten Ansatz, der das komplexe 3D-Problem in handhabbare 2D-Teilaufgaben überführt, indem die Punktwolke als Vielzahl systematisch erzeugter Ansichten dargestellt wird, die das gesamte Volumen abdecken. Mehrere überlappende Ansichten desselben Bereichs liefern unabhängige Hinweise, die gewichtet und zusammengeführt eine robustere Klassifikation jedes einzelnen Punktes ermöglichen.

Der Ansatz wurde als Pipeline mit fünf Schritten umgesetzt: (i) Rasterisierung – die Punktwolke wird mithilfe von Verfahren der Computergrafik aus unterschiedlichen Blickwinkeln und in verschiedenen Modalitäten (z. B. Tiefen- oder Intensitätsbilder) dargestellt. (ii) Objekterkennung – ein speziell trainiertes 2D-Modell identifiziert Objekte in diesen Ansichten. (iii) Objektsegmentierung – ein Segmentierungsmodell erzeugt pixelgenaue Masken. (iv) Rückprojektion – die Masken werden mithilfe der Projektionsmatrizen wieder in die 3D-Domäne überführt. (v) Evidenzakkumulation – die Hinweise der verschiedenen Ansichten werden kombiniert, um eine finale Klassifikation der Punktwolke zu erzeugen. Die Pipeline wurde in drei Anwendungsfällen getestet: der Fahrzeugerkennung zur Untersuchung des Wissenstransfers vortrainierter Modelle, der Erkennung von Fenstern und Glasflächen als industriell relevantes Beispiel sowie der Analyse temporaler Artefakte zur Bewertung multimodaler Kombinationen.

Die Ergebnisse zeigen, dass der bildbasierte Ansatz den Einsatz vortrainierter 2D-Modelle für Erkennung und Segmentierung ermöglicht und den Aufwand für Annotation und Training deutlich reduziert. Ein erfolgreicher Wissenstransfer auf die neu generierten Modalitäten konnte nachgewiesen werden, und die Kombination von Intensitäts- und Tiefeninformationen in 2.5D-Bildern führt zu zuverlässigeren und vollständigeren Erkennungen. Insgesamt erweist sich die Multi-View-Evidenzakkumulation als robuste, flexible und zugängliche Methode zur Objekterkennung und -segmentierung in Punktwolken, wobei die Vollständigkeit der Segmentierungen, insbesondere im Rückprojektionsschritt, noch Verbesserungspotenzial aufweist.