Agricultural crop mapping from multi-scale remote sensing data - Concepts and applications in heterogeneous Middle Asian agricultural landscapes

• Main Author: Löw, Fabian
• Format: Doctoral Thesis
• Language: English
• Published: 2013
• Subjects: Fernerkundung; Zentralasien; Agrarlandschaft; Landnutzung; ddc:526
• Online Access: https://opus.bibliothek.uni-wuerzburg.de/frontdoor/index/index/docId/10209; http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-102093; https://nbn-resolving.org/urn:nbn:de:bvb:20-opus-102093; https://opus.bibliothek.uni-wuerzburg.de/files/10209/Dissertation_Loew.pdf

Agriculture is mankind’s primary source of food production and plays the key role for cereal supply to humanity. One of the future challenges will be to feed a constantly growing population, which is expected to reach more than nine billion by 2050. The potential to expand cropland is limited, and enhancing agricultural production efficiency is one important means to meet the future food demand. Hence, there is an increasing demand for dependable, accurate and comprehensive agricultural intelligence on crop production. The value of satellite earth observation (EO) data for agricultural monitoring is well recognized. One fundamental requirement for agricultural monitoring is routinely updated information on crop acreage and the spatial distribution of crops. With the technical advancement of satellite sensor systems, imagery with higher temporal and finer spatial resolution became available. The classification of such multi-temporal data sets is an effective and accurate means to produce crop maps, but methods must be developed that can handle such large and complex data sets. Furthermore, to properly use satellite EO for agricultural production monitoring a high temporal revisit frequency over vast geographic areas is often necessary. However, this often limits the spatial resolution that can be used. The challenge of discriminating pixels that correspond to a particular crop type, a prerequisite for crop specific agricultural monitoring, remains daunting when the signal encoded in pixels stems from several land uses (mixed pixels), e.g. over heterogeneous landscapes where individual fields are often smaller than individual pixels. The main purposes of the presented study were (i) to assess the influence of input dimensionality and feature selection on classification accuracy and uncertainty in object-based crop classification, (ii) to evaluate if combining classifier algorithms can improve the quality of crop maps (e.g. classification accuracy), (iii) to assess the spatial resolution requirements for crop identification via image classification. Reporting on the map quality is traditionally done with measures that stem from the confusion matrix based on the hard classification result. Yet, these measures do not consider the spatial variation of errors in maps. Measures of classification uncertainty can be used for this purpose, but they have attained only little attention in remote sensing studies. Classifier algorithms like the support vector machine (SVM) can estimate class memberships (the so called soft output) for each classified pixel or object. Based on these estimations, measures of classification uncertainty can be calculated, but it has not been analysed in detail, yet, if these are reliable in predicting the spatial distribution of errors in maps. In this study, SVM was applied for the classification of agricultural crops in irrigated landscapes in Middle Asia at the object-level. Five different categories of features were calculated from RapidEye time series data as classification input. The reliability of classification uncertainty measures like entropy, derived from the soft output of SVM, with regard to predicting the spatial distribution of error was evaluated. Further, the impact of the type and dimensionality of the input data on classification uncertainty was analysed. The results revealed that SMVs applied to the five feature categories separately performed different in classifying different types of crops. Incorporating all five categories of features by concatenating them into one stacked vector did not lead to an increase in accuracy, and partly reduced the model performance most obviously because of the Hughes phenomena. Yet, applying the random forest (RF) algorithm to select a subset of features led to an increase of classification accuracy of the SVM. The feature group with red edge-based indices was the most important for general crop classification, and the red edge NDVI had an outstanding importance for classifying crops. Two measures of uncertainty were calculated based on the soft output from SVM: maximum a-posteriori probability and alpha quadratic entropy. Irrespective of the measure used, the results indicate a decline in classification uncertainty when a dimensionality reduction was performed. The two uncertainty measures were found to be reliable indicators to predict errors in maps. Correctly classified test cases were associated with low uncertainty, whilst incorrectly test cases tended to be associated with higher uncertainty. The issue of combining the results of different classifier algorithms in order to increase classification accuracy was addressed. First, the SVM was compared with two other non-parametric classifier algorithms: multilayer perceptron neural network (MLP) and RF. Despite their comparatively high classification performance, each of the tested classifier algorithms tended to make errors in different parts of the input space, e.g. performed different in classifying crops. Hence, a combination of the complementary outputs was envisaged. To this end, a classifier combination scheme was proposed, which is based on existing algebraic operators. It combines the outputs of different classifier algorithms at the per-case (e.g. pixel or object) basis. The per-case class membership estimations of each classifier algorithm were compared, and the reliability of each classifier algorithm with respect to classifying a specific crop class was assessed based on the confusion matrix. In doing so, less reliable classifier algorithms were excluded at the per-class basis before the final combination. Emphasis was put on evaluating the selected classification algorithms under limiting conditions by applying them to small input datasets and to reduced training sample sets, respectively. Further, the applicability to datasets from another year was demonstrated to assess temporal transferability. Although the single classifier algorithms performed well in all test sites, the classifier combination scheme provided consistently higher classification accuracies over all test sites and in different years, respectively. This makes this approach distinct from the single classifier algorithms, which performed different and showed a higher variability in class-wise accuracies. Further, the proposed classifier combination scheme performed better when using small training set sizes or when applied to small input datasets, respectively. A framework was proposed to quantitatively define pixel size requirements for crop identification via image classification. That framework is based on simulating how agricultural landscapes, and more specifically the fields covered by one crop of interest, are seen by instruments with increasingly coarser resolving power. The concept of crop specific pixel purity, defined as the degree of homogeneity of the signal encoded in a pixel with respect to the target crop type, is used to analyse how mixed the pixels can be (as they become coarser) without undermining their capacity to describe the desired surface properties (e.g. to distinguish crop classes via supervised or unsupervised image classification). This tool can be modulated using different parameterizations to explore trade-offs between pixel size and pixel purity when addressing the question of crop identification. Inputs to the experiments were eight multi-temporal images from the RapidEye sensor. Simulated pixel sizes ranged from 13 m to 747.5 m, in increments of 6.5 m. Constraining parameters for crop identification were defined by setting thresholds for classification accuracy and uncertainty. Results over irrigated agricultural landscapes in Middle Asia demonstrate that the task of finding the optimum pixel size did not have a “one-size-fits-all” solution. The resulting values for pixel size and purity that were suitable for crop identification proved to be specific to a given landscape, and for each crop they differed across different landscapes. Over the same time series, different crops were not identifiable simultaneously in the season and these requirements further changed over the years, reflecting the different agro-ecological conditions the investigated crops were growing in. Results further indicate that map quality (e.g. classification accuracy) was not homogeneously distributed in a landscape, but that it depended on the spatial structures and the pixel size, respectively. The proposed framework is generic and can be applied to any agricultural landscape, thereby potentially serving to guide recommendations for designing dedicated EO missions that can satisfy the requirements in terms of pixel size to identify and discriminate crop types. Regarding the operationalization of EO-based techniques for agricultural monitoring and its application to a broader range of agricultural landscapes, it can be noted that, despite the high performance of existing methods (e.g. classifier algorithms), transferability and stability of such methods remain one important research issue. This means that methods developed and tested in one place might not necessarily be portable to another place or over several years, respectively. Specifically in Middle Asia, which was selected as study region in this thesis, classifier combination makes sense due to its easy implementation and because it enhanced classification accuracy for classes with insufficient training samples. This observation makes it interesting for operational contexts and when field reference data availability is limited. Similar to the transferability of methods, the application of only one certain kind of EO data (e.g. with one specific pixel size) over different landscapes needs to be revisited and the synergistic use of multi-scale data, e.g. combining remote sensing imagery of both fine and coarse spatial resolution, should be fostered. The necessity to predict and control the effects of spatial and temporal scale on crop classification is recognized here as a major goal to achieve in EO-based agricultural monitoring. === Landwirtschaftlicher Ackerbau spielt heute eine Schlüsselrolle bei der Nahrungsmittelversorgung der Menschheit. Eine der zukünftigen Herausforderungen wird die Ernährung der stetig wachsenden Erdbevölkerung sein, welche bis zum Jahr 2050 auf neun Milliarden Menschen anwachsen wird. Das Potential zur Ausdehnung von Ackerland ist jedoch begrenzt, so dass die Steigerung der landwirtschaftlichen Produktionseffizienz ein wichtiges Mittel ist, um den künftigen Nahrungsmittelbedarf zu decken. Daher gibt es einen zunehmenden Bedarf an belastbaren, genauen und umfassenden Informationen über die Agrarproduktion. Der Nutzen der Satellitenbild-Fernerkundung ist in diesem Kontext mittlerweile anerkannt. Eine wichtige Voraussetzung für das Agrarmonitoring sind aktuelle Informationen über die Fläche sowie die räumliche Verteilung von Anbaukulturen. Durch die technologische Entwicklung steht heute eine Vielfalt an Satellitenbildsystemen mit immer höherer räumlicher und zeitlicher Auflösung zur Verfügung. Die Klassifikation solcher hochaufgelösten, multi-temporalen Datensätze stellt eine bewährte Methode dar, um Karten der agrarischen Landnutzung zu erstellen und die benötigten Informationen zu erhalten. Jedoch müssen die dabei verwendeten Methoden auf die sehr komplexen Eingangsdaten anwendbar sein. Zudem benötigt man zur Modellierung der Agrarproduktion oft eine hohe Aufnahmefrequenz bei gleichzeitig großer räumlicher Abdeckung. Diese Voraussetzungen schränken jedoch aus technischen Gründen oftmals die zur Verfügung stehenden Pixelgrößen ein, da Sensoren, welche diese Voraussetzungen erfüllen, in der Regel eine gröbere räumliche Auflösung haben. Die Unterscheidung von Pixeln unterschiedlicher Landnutzung als eine Voraussetzung für feldfrucht-spezifisches Agrarmonitoring kann dann erschwert sein, wenn Satellitenbilder über heterogenen Landschaften aufgezeichnet werden. In solchen Fällen kann das im Pixel kodierte Signal von mehreren Nutzungstypen stammen (Mischpixel), was zur Zunahme von Klassifikationsfehlern führen kann. Hauptgegenstände dieser Studie sind: (i) die Untersuchung des Einflusses der Größe sowie der Art der Eingangsdaten auf die Klassifikationsgenauigkeit und die Klassifikationsunsicherheit in der objekt-basierten Landnutzungsklassifikation; (ii) die Kombination von Klassifikationsalgorithmen zur Steigerung der Klassifikationsgenauigkeit; (iii) die Untersuchung des Einflusses der Pixelgröße auf die agrarische Landnutzungsklassifikation. Die Genauigkeit einer Klassifikation wird im Allgemeinen mit Hilfe von Gütemaßen ermittelt, welche auf der Konfusionsmatrix basieren. Jedoch berücksichtigen diese Maße nicht die räumliche Variabilität von Klassifikationsfehlern in einer Karte. Maße der Klassifikationsunsicherheit können für diesen Zweck verwendet werden, allerdings ist deren Anwendung in der Fernerkundung bislang nur selten untersucht worden. Klassifikationsalgorithmen wie das Stützvektorverfahren können für jedes Pixel oder Objekt klassenweise Abschätzungen der Klassenzugehörigkeit berechnen, aus welchen dann Maße der Klassifikationsunsicherheit (z.B. Entropie) berechnet werden können. Jedoch wurde noch nicht hinreichend untersucht, ob die damit gewonnenen Informationen zur Abschätzung der räumlichen Verteilung von Klassifikationsfehlern in Karten zuverlässig sind. In dieser Studie wurde das Stützvektorverfahren verwendet, um die agrarische Landnutzung in bewässerten Agrarlandschaften Zentralasiens zu klassifizieren. Fünf Kategorien von Eingangsdaten wurden aus Aufnahmen des RapidEye Systems berechnet und als Grundlage für die agrarische Landnutzungsklassifikation verwendet. Es wurde untersucht, ob Maße der Klassifikationsunsicherheit, welche auf den pixel- bzw. objektweisen Abschätzungen der Klassenzugehörigkeit durch das Stützvektorverfahren basieren, die räumliche Verteilung von Klassifikationsfehlern in Landnutzungskarten zuverlässig schätzen können. Weiterhin wurde der Einfluss sowohl der Art als auch der Größe der Eingangsdaten auf die Klassifikationsunsicherheit untersucht. Die Ergebnisse der Untersuchung weisen darauf hin, dass sich sowohl die getrennte als auch die kombinierte Verwendung der fünf Eingangsdatenkategorien unterschiedlich zur Klassifikation verschiedener Landnutzungsklassen eignen. Die kombinierte Verwendung aller fünf Kategorien führte zum Teil zu einer Reduktion der Klassifikationsgenauigkeit, was wahrscheinlich auf das Hughes-Phänomen zurückzuführen ist. Durch die Verwendung des „Random Forest“ Verfahrens zur Selektion geeigneter Eingangsdaten konnte die Klassifikationsgenauigkeit des Stützvektorverfahrens gesteigert werden. Eingangsdaten basierend auf dem sogenannten „Red Edge“ Kanal des RapidEye Systems waren zur Klassifikation von Feldfrüchten am wichtigsten, insbesondere der „Red Edge NDVI“. Zwei Maße der Klassifikationsunsicherheit wurden berechnet: die maximale a-posteriori Klassifikationswahrscheinlichkeit und die Alpha-Quadrat Entropie. Die Ergebnisse weisen darauf hin, dass diese beiden Maße verlässliche Prädiktoren für die räumliche Verteilung von Klassifikationsfehlern sind. Korrekt klassifizierte Testfelder waren durch geringe Klassifikationsunsicherheit und inkorrekt klassifizierte Testfelder in der Regel durch hohe Klassifikationsunsicherheit charakterisiert. Es wurde untersucht, ob die Kombination mehrerer Klassifikationsalgorithmen zu einer Steigerung der Klassifikationsgenauigkeit führt. Zunächst wurde das Stützvektorverfahren mit anderen nicht-parametrischen Verfahren (neuronalen Netzwerken und Random Forest) verglichen. Obwohl die getesteten Klassifikationsalgorithmen gute Gesamt-Klassifikationsgenauigkeiten erzielten, bestanden große Unterschiede in den klassenweisen Genauigkeiten. Daher wurde ein Verfahren entwickelt, um die teilweise komplementären Ergebnisse unterschiedlicher Klassifikationsalgorithmen zu kombinieren. Dieses Verfahren basiert auf der Erweiterung algebraischer Kombinationsoperatoren und kombiniert die Ergebnisse verschiedener Klassifikationsalgorithmen basierend auf den pixel- bzw. objektweisen Abschätzungen der Klassenzugehörigkeit. Zudem wurde jeder Klassifikationsalgorithmus klassenweise bewertet, basierend auf Maßen der Konfusionsmatrix. So konnten Klassifikationsalgorithmen für diejenigen Klassen von der Kombination ausgeschlossen werden, für deren klassenweisen Genauigkeiten bestimmte Kriterien nicht erfüllt wurden. Das vorgestellte Verfahren wurde mit den Ergebnissen der einzelnen Klassifikationsalgorithmen verglichen. Zudem wurde auf räumliche und zeitliche Übertragbarkeit hin getestet und der Einfluss der Auswahl von Trainingsdaten wurde untersucht. Obwohl die einzelnen Klassifikationsalgorithmen genaue Ergebnisse erzielten, konnte das vorgestellte Kombinationsverfahren in allen Gebieten und über mehrere Jahre bessere Ergebnisse mit geringerer Variabilität erzielen. Zudem konnte das Verfahren auch dann genauere Ergebnisse liefern, wenn nur wenige Trainingsdaten oder Eingangsdaten zur Verfügung standen. In dieser Studie wurde eine Methodik entwickelt, um quantitativ die maximal tolerierbaren Pixelgrößen für die agrarische Landnutzungsklassifikation zu bestimmen. Diese Methodik kann verwendet werden, um den kombinierten Effekt von Pixelgröße und Pixelreinheit im Kontext der Feldfruchtidentifikation mittels überwachter Klassifikation zu untersuchen. Die feldfruchtspezifische Pixelreinheit (definiert als der Grad der Homogenität des in Pixeln kodierten Signals) wurde verwendet um zu untersuchen, wie inhomogen die in gröberen Bildpixeln gespeicherte Information sein darf, um unterschiedliche Anbaukulturen mittels überwachter und unüberwachter Klassifikation unterscheiden zu können. Als Eingangsdaten für die Untersuchung wurden Bilder des RapidEye Systems verwendet. Es wurden Bildgrößen zwischen 13 m und 747.5 m in Schritten von 6.5 m simuliert. Als limitierende Faktoren für die Klassifikation wurden unterschiedliche Schwellenwerte für Maße der Klassifikationsgenauigkeit und Klassifikationsunsicherheit berücksichtigt. Die Ergebnisse zeigen, dass die Werte für tolerierbare Pixelgrößen und Pixelreinheiten sowohl landschafts- als auch feldfruchtspezifisch waren. Zudem konnten Feldfrüchte nicht simultan innerhalb der Wachstumsperiode identifiziert werden und die Voraussetzungen änderten sich in verschiedenen Jahren, was wahrscheinlich auf die unterschiedlichen agro-ökologischen Bedingungen in den untersuchten Landschaften zurückgeführt werden kann. Die Ergebnisse zeigen, dass Klassifikationsgüte in Karten räumlich ungleich verteilt war und von den räumlichen Strukturen bzw. von der Wahl der räumlichen Auflösung abhing. Die vorgestellte Methodik kann auch in anderen Agrarlandschaften getestet werden. Des Weiteren kann die Eignung bestehender bzw. die Entwicklung künftiger Satellitenbildmissionen unterstützt werden. In Hinblick auf die Nutzung von Satellitenbild-Fernerkundung für Agrarmonitoring und deren Anwendung in einer Vielfalt von Agrarlandschaften kann festgestellt werden, dass die räumliche Übertragbarkeit von Methoden und die Stabilität der Ergebnisse (z.B. gleichbleibend hohe Klassifikationsgenauigkeiten) weiterhin einen wichtigen Forschungsgegenstand darstellen. So konnte in dieser Studie gezeigt werden, dass herkömmliche Methoden zur Landnutzungsklassifikation bzw. Aussagen zu optimalen Pixelgrößen nicht in allen Fällen auf andere Regionen oder über mehrere Jahre übertragbar sind. In Zentralasien, welches die Fokusregion dieser Studie ist, zeigte sich, dass die Kombination verschiedener Klassifikationsalgorithmen sinnvoll ist, da die Klassifikationsgenauigkeit bei Klassen mit nur einer geringen Anzahl von Trainingsgebieten gesteigert werden konnte. Dies macht die Anwendung dieses Verfahrens im operationellen Kontext interessant. Die Eignung eines einzigen Satellitenbildsystems (mit einer bestimmten Pixelgröße) für die agrarische Landnutzungsklassifikation in mehreren Agrarlandschaften muss in Frage gestellt werden und die synergistische Nutzung von Daten unterschiedlicher räumlicher Auflösung sollte vorangetrieben werden. Dabei ist die Untersuchung des kombinierten Einflusses der räumlichen und zeitlichen Auflösung auf die agrarische Landnutzungsklassifikation von großer Bedeutung für das erdbeobachtungsgestützte Agrarmonitoring.