Bounded-error visual-LiDAR odometry on mobile robots under consideration of spatiotemporal uncertainties

Abstract

With the advent of autonomous driving, the localization of mobile robots, especially without GNSS information, is becoming increasingly important. It must be ensured that the localization works robustly and timely warnings are provided if the pose estimates are too uncertain to assure a safe operation of the system. To meet these requirements, autonomous systems require reliable and trustworthy information about their environment. To improve the reliability and the integrity of information, and to be robust with respect to sensor failures, information from multiple sensors should be fused. However, this requires inter-sensor properties (e.g. the transformation between sensor coordinate systems) to be known. Naturally, neither the actual sensor measurements nor the inter-sensor properties can be determined without errors, and thus must be modeled accordingly during sensor fusion.

To localize autonomous vehicles without GNSS information in 3D, this work introduces a dead reckoning approach relying on information from a camera, a laser scanner and an IMU. First, novel error models for the individual sensors are introduced. Here, the errors are assumed to be unknown but bounded, which requires bounds (i.e. intervals) that are not exceeded by the actual sensor errors to be known. However, no further assumptions are required. In particular, the error distribution within the bounds does not need to be known, which is a frequently overlooked assumption of established approaches. Furthermore, interval-based error models are compatible with unknown systematic errors and can be used to guarantee results. Second, to determine the inter-sensor properties and the corresponding uncertainties, this thesis presents new approaches for the spatiotemporal calibration between camera, laser scanner and IMU that employ the proposed error models. Third, an innovative method that considers both sensor and inter-sensor errors for guaranteed sensor fusion is proposed. The fused information is subsequently used to perform interval-based dead reckoning of a mobile robot.

To evaluate the developed methods, both simulated and real data are analyzed. It becomes evident that all proposed approaches are guaranteed to enclose the true solution if the sensor error bounds are correct. Moreover, although interval-based approaches consider the "worst case", i.e. the maximum sensor errors, the results are reasonably accurate. In particular, it can be determined in which instances a state-of-the-art method computes a result that deviates significantly from the actual solution.

Mit dem Aufkommen des autonomen Fahrens wird die Lokalisierung mobiler Roboter, insbesondere auch ohne GNSS-Informationen, immer wichtiger. Dabei muss sichergestellt werden, dass die Lokalisierung robust funktioniert und rechtzeitig Warnungen ausgegeben werden, falls die Posenschätzung zu unsicher wird, um einen sicheren Betrieb des Systems zu gewährleisten. Zur Erfüllung dieser Anforderungen benötigen die autonomen Systeme zuverlässige und vertrauenswürdige Informationen über ihre Umgebung. Um die Zuverlässigkeit und Integrität dieser Informationen zu verbessern und robust gegenüber Sensorausfällen zu sein, sollten Informationen von mehreren Sensoren fusioniert werden. Dies erfordert jedoch, dass bestimmte Eigenschaften zwischen den Sensoren (z.B. die Transformation zwischen den Sensorkoordinatensystemen) bekannt sind. Allerdings sind weder die tatsächlichen Sensormessungen fehlerfrei, noch können diese Eigenschaften zwischen den Sensoren fehlerfrei bestimmt werden. Daher müssen diese Fehlerquellen während der Sensorfusion entsprechend modelliert werden.

Um autonome Fahrzeuge ohne GNSS-Informationen in 3D zu lokalisieren, wird in dieser Arbeit ein Dead-Reckoning-Ansatz vorgestellt, der Informationen von einer Kamera, einem Laserscanner und einer IMU fusioniert. Dafür werden zunächst neue Sensorfehlermodelle für jeden einzelnen Sensor aufgestellt. Hierbei werden die Sensorfehler als unbekannt, aber begrenzt angenommen. Dies erfordert, dass Grenzen (d.h. Intervalle), die von den tatsächlichen Fehlern nicht überschritten werden, bekannt sind. Weitere Annahmen sind nicht erforderlich. Insbesondere muss die Fehlerverteilung innerhalb der Intervalle nicht bekannt sein, was eine häufig nicht beachtete Annahme etablierter Ansätze ist. Außerdem sind Fehlermodelle, die auf der Intervallarithmetik beruhen, mit unbekannten systematischen Fehlern vereinbar und eignen sich, um Ergebnisse garantieren zu können. Des Weiteren werden in dieser Arbeit neuartige Ansätze für die raum-zeitliche Kalibrierung zwischen Kamera, Laserscanner und IMU vorgestellt, die die eingeführten Fehlermodelle verwenden, um nicht nur die Kalibrierparameter, sondern auch die zugehörigen Unsicherheiten zu bestimmen. Zuletzt wird ein neues Verfahren zur garantierten Informationsfusion aller Sensoren entwickelt. Hierbei werden sowohl die Fehler der einzelnen Sensoren als auch die Ungenauigkeiten der Kalibrierung zwischen den Sensoren berücksichtigt. Anschließend werden die fusionierten Informationen genutzt, um einen mobilen Roboter inkrementell in einem lokalen Koordinatensystem zu lokalisieren.

Bei der Evaluation stellt sich unter Nutzung sowohl simulierter als auch realer Daten heraus, dass alle vorgestellten Verfahren korrekte Ergebnisse garantieren, solange die angenommenen Fehlergrenzen zutreffend sind. Obwohl die intervallbasierten Ansätze den "worst case", also die maximalen Sensorfehler, berücksichtigen, sind die Ergebnisse hinreichend genau. Insbesondere können Situationen, in denen stochastische Verfahren Ergebnisse berechnen, die erheblich von der tatsächlichen Lösung abweichen, identifiziert werden.