Andreas Großmann, Steffen Scheller, Alexander Reiterer, Dominik Störk

• Als Grundlage des Forschungsprojektes FE 02.0378/2014/CGB „Analyse von Straßenbestandsobjekten aus Laserpunktwolken durch Mustererkennung/Objekterkennung einschließlich der Georeferenzierung“ wurden Messdaten der Mobile Mapping Fahrzeuge IRIS5 und IRIS12 der Firma LEHMANN+PARTNER GmbH (LP) eingesetzt. Die georeferenzierten Punktwolken entstanden mit Hilfe eines an den Fahrzeugen montierten CPS Laserscanners vom Projektpartner, dem Fraunhofer Institut für Physikalische Messtechnik, IPM, Freiburg. Die Aufgabe des Forschungsprojektes bestand in der Erforschung von Methoden und Algorithmen zur automatisierten Mustererkennung von speziellen Objekten in dreidimensionalen Punktwolken. Die ausschließliche Analyse bzw. Extraktion von Objekten auf Grundlage der reinen Punktwolke erwies sich am Anfang des Projektes als nicht zielführend. Größter limitierender Faktor war die mit der Entfernung zunehmende Dichteverringerung in den Daten der Punktwolken. Dies führte zum Teil zu unterrepräsentativen Abbildungen von kleinen oder schmalen Objekten. Um dieses Defizit auszugleichen, wurden die georeferenzierten Bilddaten der Mobile Mapping Fahrzeuge als Analysehilfe verwendet. Die Bilddaten weisen ein vielfach höheres Auslösungsvermögen im Vergleich zur Punkwolke auf. Zur Analyse der Daten kamen verschieden Neuronale Netze zum Einsatz, die zunächst die Bildinformationen analysierten. Nach der Trainingsphase des Neuronalen Netzes wurden Objekte einer messtechnischen Aufnahme (Scene) detektiert. Durch die georeferenzierten Bilddaten konnten alle automatisch gefundenen Objektinformationen in die Punktwolke übertragen werden. Hierbei wurde eine weitaus größere Diversität der Extraktionsergebnisse als mit der Analyse der reinen Punktwolke erzielt. Die finale Lösung der automatischen Extraktion bestand in der Projektion der einzelnen Objekte vom Neuronalen Netz in die Punktwolke. Dadurch, dass jedes Objekt mehrfach in jeder Bildszene erfasst wurde, besitzt jeder Laserscanner Punkt mehrere automatisch generierte Objektlable. Mit Hilfe von Clusteranalysen und Mehrheitsentscheidungen konnte die Ausgangspunktwolke in einzelne Objekte vollautomatisch zerlegt werden. Für die Verwendung in einem GIS oder für die OKSTRA konforme Speicherung mussten die Daten weiter aufbereitet werden. Hierzu wurden die einzelnen Objektklassen einer Repräsentationsklasse zugeordnet, sodass eine eindeutige Darstellung in einem GIS erfolgen konnte. Zur Kontrolle und Validierung der Extraktionsergebnisse wurde eine unbekannte Teststecke (Rundkurs bei Köln-Rösrath) aufgenommen. Die Digitalisierung jedes Referenzobjektes erfolgte manuell. Der Vergleich der Objekte erfolgte aufgrund Lage, Ausprägung und Objekttyp. Hierbei stellte es sich heraus, dass insgesamt 66% der Objekte komplett oder teilweise extrahiert werden konnten. Nur 4% der automatisch detektierten Flächenobjekte konnte im Referenzdatensatz nicht gefunden werden. Bestes Extraktionsergebnis lieferte der Objekttyp „Markierungslinien“ mit 90% Übereinstimmung mit dem Referenzdatensatz auf dem Testabschnitt der BAB. Zuordnungsdefizite kamen hauptsächlich aus den Label-Zuordnungsfehlern, die sich zum Teil aus der Abbildungsgeometrie schmaler und kleiner Objekte in der Punktwolke ergaben. An dieser Stelle besteht noch erhebliches Potential zur Verbesserung der Extraktionsergebnisse, welche im Rahmen dieser Forschungsarbeit nicht weiter optimiert werden konnte. Das Forschungsvorhaben zeigte, dass aus einer Punktwolke unter Zuhilfenahme von georeferenzierten Bildern der gleichen Szene vollautomatisch Objekte zu extrahieren sind. Im Ergebnis liegen georeferenzierte Objekte, die in einem Geoinformationssystem abgebildet werden können, vor.
• As a basis of the research project FE 02.0378 / 2014 / CGB "Analysis of Road Stock Objects from Laser Point Clouds by Pattern Recognition / Object Recognition including Georeferencing" measurement data with the Mobile Mapping Vehicle IRIS5 and IRIS12 of the company LEHMANN + PARTNER GmbH (LP) were collected. The geo-referenced point clouds were created with a CPS laser scanner from the project partner, Fraunhofer Institute for Physical Measurement, IPM, Freiburg. The task of the research project was the investigation of methods and algorithms for automated pattern recognition of special objects in three-dimensional point clouds. The initial analysis or extraction of objects based on the pure point cloud proved to be ineffective at the beginning of the project. The biggest limiting factor was the increasing density reduction with the distance in the data of the point cloud. This partly led to under representative images of small or narrow objects. To compensate for this deficit, the georeferenced image data of the mobile mapping vehicles were additional used to support the analysis. The image data have a much higher resolution compared to the point cloud. To analyze the data, various neural networks were used, which first analyzed the image information. After the training phase of the neural network objects of a picture-based recording (scene) were detected. Due to the georeferenced image data, all automatically founded object information could be transferred into the point cloud. Here, a much greater diversity of the extraction results than with the analysis of the pure point cloud could be achieved. The final solution of the automatic extraction was the projection of the individual objects from the neural network into the point cloud. Due to the fact that each object has been recorded several times in each image scene, each laser scanner point now has several automatically generated object labels. With the help of cluster analyzes and majority decisions, the starting point cloud could be decomposed into individual objects fully automatically. For use in a GIS or for OKSTRA compliant storage, the data had to be further processed. For this purpose, the individual object classes were assigned to a representation class, so that a clear representation could take place in a GIS. For the control and validation of the extraction results, data at an unknown test section were collected (test circuit close to Cologne-Rösrath). The digitization of each reference object was done manually. The objects were compared on the basis of location, characteristics and object type. It turned out that a total of 66% of the objects could be extracted completely or partially. Only 4% of the automatically detected area objects could not be found in the reference data set. The best extraction result was provided by the object type road marking with 90% agreement with the reference data set on the motorway. The final mapping deficits mainly come from label mappings errors, from the measured scene into the point cloud. The reason for that, are the geometrical density deficit inside the point cloud, so that narrow and small objects get a position error from the projection. At this point, there is still considerable potential for improving the extraction results, which could not be further optimized in the context of this research work. The research project showed that objects can be extracted fully automatically from a point cloud with the aid of georeferenced images of the same scene. As a result, georeferenced objects that can be mapped in a geoinformation system are available.