Der Hersteller des Stenon-Spatens ist mit dem Test nicht einverstanden.
Lesezeit: 4 Minuten
Im Folgenden nimmt der Hersteller des FarmLabs, Stenon, Stellung zu den Testergebnissen.
Die Stenon GmbH ist seit Ende Februar 2021 mit Herrn Prof. Olfs in Kontakt und im transparenten Austausch. Nachdem Stenon ein Exemplar des Messgeräts FarmLab bereitgestellt hatte, erfolgte ein Training vor Ort durch Stenon für Prof. Olfs selbst und einige Studenten der Hochschule Osnabrück. In dem durchgeführten Training hat Stenon die Bedeutung eines wissenschaftlich korrekten Messaufbaus hervorgehoben, um die Labormethode und die Stenon-Methode vergleichen zu können. Weiterhin hat Stenon am 30.3.2021 Prof. Olfs das Messprotokoll für einen methodologisch korrekten Vergleich per E-Mail zugesandt.
Abweichungen vom Protokoll
In dem Versuch von Prof. Olfs auf den 71 Standorten entsprach der Messaufbau jedoch nicht dem besprochenen Messprotokoll. Die Abwandlung von Prof. Olfs wurde durchgeführt, ohne wissenschaftlich zu überprüfen, ob mit dieser Veränderung eine Vergleichbarkeit zwischen beiden Methoden (Labor und Stenon) überhaupt noch gegeben ist. Prof. Olfs hat die Stenon GmbH über seine Ergebnisse informiert. Stenon hat daraufhin in einer wissenschaftlichen Arbeit die Ergebnisse untersucht und nachgewiesen, dass die ungeprüfte Abwandlung von Prof. Olfs keine korrekte Vergleichbarkeit erlaubt. Dieser wissenschaftliche Bericht und der von der Stenon GmbH auf dem VDLUFA-Jahreskongress gehaltene Vortrag „Sachgerechte Validierung des Stenon FarmLab Sensorsystems unter Berücksichtigung von Messvolumen und Bodenheterogenität“ sind unter https://blog.stenon.io/ einsehbar.
Zusammengefasst wurden durch Prof. Olfs drei ungeprüfte Änderungen durchgeführt, die eine Vergleichbarkeit zwischen den Methoden des Labors und von Stenon stark negativ beeinflussen:
Die Reduzierung auf neun Stenon-Einstiche pro Standort, wohingegen im Messprotokoll 30 Stenon-Einstiche zum Methodenvergleich definiert sind. Die Messvolumina beider Methoden sind sehr unterschiedlich. Gleichzeitig weisen landwirtschaftliche Böden eine hohe Mikroheterogenität auf. Daher muss ein Angleich der Einstichanzahl erfolgen, um eine Vergleichbarkeit beider Methoden zu gewährleisten. Andernfalls ist ein Vergleich beider Methoden an einem Mischmaterial wie Boden nicht möglich.8
Durch Mischung der Proben vor Verteilung an die Labore durch Prof. Olfs entfällt die Variation durch die kleinräumige Bodenvariabilität in den Laborwerten. Die Messung mit dem FarmLab erfolgte dagegen in anderem Bodenmaterial, welches zudem nicht gesiebt und homogenisiert wurde. Daher darf die von Prof. Olfs beobachtete Streuung zwischen den Labordaten nicht als Bewertungsmaßstab für die Streuung zwischen den Labordaten und den FarmLab-Daten herangezogen werden. Prof. Olfs vergleicht den rein analytischen Fehler mit einem Prozess, in dem verschiedenste Fehlerquellen dominieren, insbesondere die Bodenheterogenität.9
Laut Messprotokoll sollen mindestens drei unterschiedliche und unabhängige Labore als Referenz genutzt werden. Es wurden jedoch nur zwei Labore beauftragt. Zum einen handelt es sich dabei um das interne Labor der Hochschule Osnabrück (Prof. Olfs) und zum anderen um das Unternehmen Agrolab GmbH. Die Kosten für die Agrolab-Proben wurden von dem Geschäftsführer der Agrolab Group, Dr. Torsten Zurmühl, ganzheitlich übernommen. Prof. Olfs als VDLUFA-Vorsitzender und Herr Dr. Zurmühl als Agrolab-Geschäftsführer repräsentieren hierbei die beiden größten deutschen Wettbewerber der Stenon GmbH.10
Unterschiedliche Ergebnisse
Die Konsequenzen durch die ungeprüfte Veränderung des Messprotokolls durch Prof. Olfs sind in der Übersicht 3 berechnet. Für Magnesium z.B. zeigen die Ergebnisse von Prof. Olfs einen R² von 0,02 und somit keine Korrelation. Jedoch bei einem mit korrektem Messaufbau durchgeführten Versuch wird eine gute Korrelation mit R² = 0,69 erreicht.
Prof. Olfs selbst thematisiert in seinem Artikel die hier unter Punkt 1 aufgeführte Problematik und bezeichnet sie als bedeutende Fehlerursache. Auf die falsche Versuchsdurchführung hat die Stenon GmbH Prof. Olfs mehrfach hingewiesen. Trotzdem wurden diese Ergebnisse auf der VDLUFA-Tagung 2021 und nun auch hier in der top agrar veröffentlicht. Die Stenon GmbH distanziert sich von der angewendeten Prüfmethodik von Prof. Olfs und akzeptiert die Ergebnisse nicht.
Die gesamte Stellungnahme inklusive weiterer Abbildungen und Ergebnisse finden Sie online unter www.topagrar.com/stenon2021
Hinweis:
Bitte aktivieren Sie Javascipt in Ihrem Browser, um diese Seite optimal nutzen zu können
Zum Lesen dieses Artikels benötigen Sie ein top agrar Abonnement
Im Folgenden nimmt der Hersteller des FarmLabs, Stenon, Stellung zu den Testergebnissen.
Die Stenon GmbH ist seit Ende Februar 2021 mit Herrn Prof. Olfs in Kontakt und im transparenten Austausch. Nachdem Stenon ein Exemplar des Messgeräts FarmLab bereitgestellt hatte, erfolgte ein Training vor Ort durch Stenon für Prof. Olfs selbst und einige Studenten der Hochschule Osnabrück. In dem durchgeführten Training hat Stenon die Bedeutung eines wissenschaftlich korrekten Messaufbaus hervorgehoben, um die Labormethode und die Stenon-Methode vergleichen zu können. Weiterhin hat Stenon am 30.3.2021 Prof. Olfs das Messprotokoll für einen methodologisch korrekten Vergleich per E-Mail zugesandt.
Abweichungen vom Protokoll
In dem Versuch von Prof. Olfs auf den 71 Standorten entsprach der Messaufbau jedoch nicht dem besprochenen Messprotokoll. Die Abwandlung von Prof. Olfs wurde durchgeführt, ohne wissenschaftlich zu überprüfen, ob mit dieser Veränderung eine Vergleichbarkeit zwischen beiden Methoden (Labor und Stenon) überhaupt noch gegeben ist. Prof. Olfs hat die Stenon GmbH über seine Ergebnisse informiert. Stenon hat daraufhin in einer wissenschaftlichen Arbeit die Ergebnisse untersucht und nachgewiesen, dass die ungeprüfte Abwandlung von Prof. Olfs keine korrekte Vergleichbarkeit erlaubt. Dieser wissenschaftliche Bericht und der von der Stenon GmbH auf dem VDLUFA-Jahreskongress gehaltene Vortrag „Sachgerechte Validierung des Stenon FarmLab Sensorsystems unter Berücksichtigung von Messvolumen und Bodenheterogenität“ sind unter https://blog.stenon.io/ einsehbar.
Zusammengefasst wurden durch Prof. Olfs drei ungeprüfte Änderungen durchgeführt, die eine Vergleichbarkeit zwischen den Methoden des Labors und von Stenon stark negativ beeinflussen:
Die Reduzierung auf neun Stenon-Einstiche pro Standort, wohingegen im Messprotokoll 30 Stenon-Einstiche zum Methodenvergleich definiert sind. Die Messvolumina beider Methoden sind sehr unterschiedlich. Gleichzeitig weisen landwirtschaftliche Böden eine hohe Mikroheterogenität auf. Daher muss ein Angleich der Einstichanzahl erfolgen, um eine Vergleichbarkeit beider Methoden zu gewährleisten. Andernfalls ist ein Vergleich beider Methoden an einem Mischmaterial wie Boden nicht möglich.8
Durch Mischung der Proben vor Verteilung an die Labore durch Prof. Olfs entfällt die Variation durch die kleinräumige Bodenvariabilität in den Laborwerten. Die Messung mit dem FarmLab erfolgte dagegen in anderem Bodenmaterial, welches zudem nicht gesiebt und homogenisiert wurde. Daher darf die von Prof. Olfs beobachtete Streuung zwischen den Labordaten nicht als Bewertungsmaßstab für die Streuung zwischen den Labordaten und den FarmLab-Daten herangezogen werden. Prof. Olfs vergleicht den rein analytischen Fehler mit einem Prozess, in dem verschiedenste Fehlerquellen dominieren, insbesondere die Bodenheterogenität.9
Laut Messprotokoll sollen mindestens drei unterschiedliche und unabhängige Labore als Referenz genutzt werden. Es wurden jedoch nur zwei Labore beauftragt. Zum einen handelt es sich dabei um das interne Labor der Hochschule Osnabrück (Prof. Olfs) und zum anderen um das Unternehmen Agrolab GmbH. Die Kosten für die Agrolab-Proben wurden von dem Geschäftsführer der Agrolab Group, Dr. Torsten Zurmühl, ganzheitlich übernommen. Prof. Olfs als VDLUFA-Vorsitzender und Herr Dr. Zurmühl als Agrolab-Geschäftsführer repräsentieren hierbei die beiden größten deutschen Wettbewerber der Stenon GmbH.10
Unterschiedliche Ergebnisse
Die Konsequenzen durch die ungeprüfte Veränderung des Messprotokolls durch Prof. Olfs sind in der Übersicht 3 berechnet. Für Magnesium z.B. zeigen die Ergebnisse von Prof. Olfs einen R² von 0,02 und somit keine Korrelation. Jedoch bei einem mit korrektem Messaufbau durchgeführten Versuch wird eine gute Korrelation mit R² = 0,69 erreicht.
Prof. Olfs selbst thematisiert in seinem Artikel die hier unter Punkt 1 aufgeführte Problematik und bezeichnet sie als bedeutende Fehlerursache. Auf die falsche Versuchsdurchführung hat die Stenon GmbH Prof. Olfs mehrfach hingewiesen. Trotzdem wurden diese Ergebnisse auf der VDLUFA-Tagung 2021 und nun auch hier in der top agrar veröffentlicht. Die Stenon GmbH distanziert sich von der angewendeten Prüfmethodik von Prof. Olfs und akzeptiert die Ergebnisse nicht.
Die gesamte Stellungnahme inklusive weiterer Abbildungen und Ergebnisse finden Sie online unter www.topagrar.com/stenon2021
