In der top agrar-Ausgabe 12/2021 haben wir auf Seite 61 die Testergebnisse von Prof. Dr. Hans-Werner Olfs von der Hochschule Osnabrück wiedergegeben. Hiermit ist die Stenon GmbH nicht einverstanden und gibt folgende Stellungnahme ab:
Die Stenon GmbH ist seit Ende Februar 2021 mit Prof. Olfs in Kontakt und im transparenten Austausch. Nachdem die Stenon GmbH ein Exemplar des Messgeräts FarmLab bereitgestellt hatte, erfolgte ein Training vor Ort durch Stenon für Prof. Olfs selbst und verschiedenen Studenten der Hochschule Osnabrück. In dem durchgeführten Training hat Stenon die Bedeutung eines wissenschaftlich korrekten Messaufbaus hervorgehoben, um die beiden Messverfahren, also die Labormethode und die Stenon-Methode, vergleichen zu können. Weiterhin hat Stenon am 30.03.2021 Prof. Olfs das Messprotokoll für ein methodologisch korrekten Vergleich nochmals per E-Mail zugeschickt.
In dem Versuch von Prof. Olfs auf den 71 Standorten entsprach der Messaufbau jedoch nicht dem besprochenen Messprotokoll. Die Abwandlung von Prof. Olfs wurde durchgeführt, ohne wissenschaftlich zu überprüfen, ob mit dieser Veränderung eine Vergleichbarkeit zwischen beiden Methoden (Labor und Stenon) überhaupt noch gegeben ist. Prof. Olfs hat die Stenon GmbH über seine Ergebnisse informiert. Stenon hat daraufhin in einer wissenschaftlichen Arbeit die Ergebnisse untersucht und nachgewiesen, dass die ungeprüfte Abwandlung von Prof. Olfs keine korrekte Vergleichbarkeit erlaubt. Dieser wissenschaftliche Bericht und der von der Stenon GmbH auf dem VDLUFA-Jahreskongress gehaltene Vortrag „Sachgerechte Validierung des Stenon FarmLab Sensorsystems unter Berücksichtigung von Messvolumen und Bodenheterogenität“ sind unter https://blog.stenon.io/ einsehbar.
Zusammengefasst wurden durch Herrn Olfs drei ungeprüfte Änderungen durchgeführt, die eine Vergleichbarkeit zwischen den Methoden des Labors und von Stenon stark negativ beeinflussen:
1.) Die Reduzierung auf 9 Stenon-Einstiche pro Standort, wohingegen im Messprotokoll 30 Stenon-Einstiche zum Methodenvergleich definiert sind. Die Messvolumina beider Methoden sind sehr unterschiedlich. Gleichzeitig weisen landwirtschaftlich Böden eine hohe Mikroheterogenität auf. Daher muss ein Angleich der Einstichanzahl erfolgen, um eine Vergleichbarkeit beider Methoden zu gewährleisten (siehe nachfolgende Abbildung). Anderenfalls ist ein Vergleich beider Methoden an einem Mischmaterial wie Boden nicht möglich.
2.) Durch Mischung der Proben vor Verteilung an die Labore durch Prof. Olfs entfällt die Variation durch die kleinräumige Bodenvariabilität in den Laborwerten. Die Messung mit dem FarmLab
erfolgte dagegen in anderem Bodenmaterial, welches zudem nicht gesiebt und homogenisiert wurde. Daher darf die von Prof. Olfs beobachtete Streuung zwischen den Labordaten nicht als Bewertungsmaßstab für die Streuung zwischen den Labordaten und den FarmLab-Daten herangezogen werden. Prof. Olfs vergleicht daher den rein analytischen Fehler mit einem Prozess in den verschiedensten Fehlerquellen, insbesondere die Bodenheterogenität, dominieren (siehe nachfolgende Abbildung).
3.) Laut Messprotokoll sollen mindestens 3 unterschiedliche und unabhängige Labore als Referenz genutzt werden. Es wurden jedoch nur 2 Labore beauftragt. Zum einen handelt es sich dabei um das interne Labor der Hochschule Osnabrück (Prof. Olfs) und zum anderen um das Unternehmen Agrolab GmbH. Die Kosten für die Agrolab-Proben wurden von dem Geschäftsführer der Agrolab Group, Dr. Torsten Zurmühl, ganzheitlich übernommen. Prof. Olfs als VDLUFA-Vorsitzender und Herr Dr. Zurmühl als Agrolab-Geschäftsführer repräsentieren hierbei die beiden größten deutschen Wettbewerber der Stenon GmbH.
Die Konsequenzen durch die ungeprüfte Veränderung des Messprotokolls durch Prof. Olfs sind in der folgenden Abbildung berechnet. Zum Beispiel für den Parameter Magnesium zeigen die Ergebnisse von Prof. Olfs einen R² von 0.02, also liegt bei dem Versuch von Prof. Olfs keine Korrelation vor. Jedoch bei einem korrektem Messaufbau durchgeführten Versuch wird eine gute Korrelation mit R² = 0.69 erreicht.
Prof. Olfs selbst thematisiert in seinem top agrar-Artikel auf die hier unter Punkt 1.) aufgeführte Problematik und bezeichnet sie als bedeutende Fehlerursache. Auf die falsche Versuchsdurchführung hat die Stenon GmbH Prof. Olfs mehrfach hingewiesen. Trotzdem wurden diese Ergebnisse auf der VDLUFA-Tagung 2021 und auch nun hier in der top agrar veröffentlicht. Die Stenon GmbH distanziert sich von der angewendeten Prüfmethodik von Herrn Olfs und akzeptiert die Ergebnisse nicht.
