Integration von RGB- und Wärmebildkameras für eine fortschrittliche Wahrnehmung eines landwirtschaftlichen Roboters

In den vergangenen sechs Jahrzehnten haben bedeutende Fortschritte im Bereich Computer Vision, einem zentralen Teilgebiet der Künstlichen Intelligenz (KI), Bereiche wie Robotik und Umweltüberwachung grundlegend verändert. Ursprünglich inspiriert durch neurophysiologische Entdeckungen aus dem Jahr 1959, ermöglicht Computer Vision Maschinen heute, Informationen aus digitalen Bildern und Videos zu interpretieren und zu extrahieren.

In der Robotik unterstützt sie die autonome Navigation, Objekterkennung und intelligente Interaktion mit der Umgebung. In der Umweltüberwachung trägt sie mithilfe von UAVs und autonomen Agrarrobotern (AMRs) zu ökologischen Untersuchungen und zur Klimaforschung bei. Für eine genaue Analyse und das Training von Computer-Vision-Systemen sind jedoch umfassende und vielfältige Datensätze unerlässlich. Diese Arbeit untersucht die Synergien zwischen Computer Vision, Robotik und Umweltüberwachung und nutzt die Integration visueller Wahrnehmungstechnologien in Robotersysteme, um Herausforderungen zu bewältigen und Innovationen in diesen miteinander verbundenen Bereichen voranzutreiben.

Der Hauptfokus dieser Forschungsarbeit liegt auf der Entwicklung eines Dual-Kamera-Systems, das aus einer Intel RealSense RGBD-Kamera und einer Optris Xi 400-Wärmebildkamera besteht und zur Erkennung des Crop Water Stress Index (CWSI) bei Salatpflanzen dient. Das Dual-Kamera-System kombiniert die Farbbildgebung der Intel RealSense-Kamera mit der Wärmebildgebung der Optris Xi 400 und stellt damit ein wertvolles Instrument zur Analyse der Pflanzengesundheit und des Wasserstressniveaus dar. Die RGBD-Kamera erfasst hochauflösende Farbbilder und ermöglicht dadurch die Analyse der Pflanzenmorphologie und -struktur. Die Wärmebildkamera erkennt Temperaturunterschiede auf der Pflanzenoberfläche, die auf das Ausmaß des Wasserstresses hinweisen.

Durch die Kombination dieser beiden Datenströme kann das System den CWSI bestimmen, einen wichtigen Parameter zur Beurteilung des Wasserstatus von Pflanzen. Die Entwicklung des Systems umfasste mehrere Schritte. Zunächst wurden die Kameras kalibriert und synchronisiert, um eine präzise Datenfusion sicherzustellen. YOLOv8, ein fortschrittlicher Bildverarbeitungsalgorithmus, wurde eingesetzt, um die RGBD- und Thermaldaten zusammenzuführen und dadurch gestresste Bereiche an den Pflanzen präzise zu identifizieren. Das System wurde unter verschiedenen Umweltbedingungen getestet und validiert, um seine Robustheit und Genauigkeit sicherzustellen. Feldversuche zeigten die Wirksamkeit des Systems bei der Echtzeiterkennung von Wasserstress.

Dieses Dual-Kamera-System bietet darüber hinaus Anwendungsmöglichkeiten in der Präzisionslandwirtschaft und Umweltüberwachung und stellt ein vielseitiges Werkzeug für eine nachhaltige Landwirtschaft dar. Zukünftige Arbeiten werden sich mit Herausforderungen wie den Anforderungen an Datensätze und der Verbesserung der Leistungsfähigkeit unter extremen Bedingungen befassen, um die Fähigkeiten des Systems weiter zu optimieren.

Projektdatum:

• 2023-2024

Link:

• https://webthesis.biblio.polito.it/31892/