Systém strojového vidění schopný lokalizovat a identifikovat květy jabloňového králíka ve shlucích květů na stromech v sadech byl navržen výzkumníky z Penn State – kritický raný krok ve vývoji robotického opylovacího systému – v první studii svého druhu. .
Jabloňové květy rostou ve skupinách po čtyřech až šesti květech připojených k větvím a středový květ je známý jako královský květ. Tato květina se otevírá jako první v hroznu a obvykle vyrůstá největší plod. Podle výzkumníka Longa Hea, odborného asistenta pro zemědělství biologické inženýrství.
Opylování hmyzem se tradičně spoléhalo na produktivitu jablek. Důkazy však naznačují, že opylovací služby, jak od domestikovaných včel, tak od divokých opylovačů, neodpovídají rostoucím požadavkům, poznamenal. Kvůli porucha kolapsu kolonií, včely na celém světě umírají alarmujícím tempem. V důsledku toho producenti potřebují alternativní metody opylení.
Tato studie je nejnovější, kterou provedla jeho výzkumná skupina na College of Agricultural Sciences, která se věnuje vývoji robotických systémů pro provádění náročných zemědělských úkolů, jako je sběr hub, prořezávání jabloní a prořezávání zelených plodů. Primárním cílem tohoto projektu, vysvětlil, bylo vyvinout systém vidění založený na hlubokém učení, který by dokázal přesně identifikovat a lokalizovat královské květiny v korunách stromů.
"Myslíme si, že tento výsledek poskytne základní informace pro robotický systém opylování, který by vedl k účinnému a reprodukovatelnému opylení jablek, aby se maximalizoval výnos vysoce kvalitních plodů," řekl. "V Pensylvánii se stále můžeme spolehnout na včely při opylování jablečných plodin, ale v jiných oblastech, kde je úhyn včel vážnější, mohou pěstitelé tuto technologii potřebovat dříve než později."
Xinyang Mu, doktorand na katedře zemědělského biologického inženýrství, stál v čele královského studia květin. Mu použil Mask R-CNN – populární počítačový program pro hluboké učení, který provádí segmentaci na úrovni pixelů k detekci objektů, které jsou částečně zakryty jinými objekty – k identifikaci a lokalizaci královských květin v systému strojového vidění.
Aby vytvořil model detekce založený na Mask R-CNN, pořídil stovky fotografií klastru jabloňových květů. Poté vyvinul algoritmus segmentace královského květu, aby identifikoval a lokalizoval královské květy z této nezpracované datové sady obrázků květů jabloní. Výzkum byl proveden v Penn State's Fruit Research and Extension Center, Biglerville.
Gala a Honeycrisp jablko odrůdy byly vybrány pro testy. Testovací stromy byly vysazeny v roce 2014 s roztečí stromů asi 5 stop (Gala) a 6 1/2 stopy (Honeycrisp). Tyto stromy byly vycvičeny ve vysoké vřetenové baldachýnové architektuře s průměrnou výškou asi 13 stop. Systém pořizování snímků s kamerou byl namontován na užitkovém vozidle manévrovaném mezi řadami stromů.
Trénink systému strojového vidění pro lokalizaci královských květů byl náročný, zdůraznil Mu, protože mají stejnou velikost, barvu a tvar jako boční květy ve shlucích a královské květy jsou obvykle zakryty okolními květy kvůli jejich centrální poloze.
Aby byly splněny požadavky na přenos učení pro modelový trénink masky R-CNN, byly surové obrázky označeny ve dvou předem definovaných třídách: jednotlivé květiny a okludované květiny. Pro zvýšení přesnosti byla trénovací datová sada čtyřnásobně rozšířena pomocí přístupů augmentace dat, vysvětlil Mu.
"Abychom odlišili královské květiny od postranních květin, byla zaměřena nebo lokalizována nejcentrálnější květina v každém květinovém shluku," řekl. „Vision systém automaticky lokalizoval shluky květin samostatně na základě dvourozměrného mapování hustoty květin. V rámci každého detekovaného shluku květin byla jako cílová královská květina určena květina – nebo maska – v nejvíce vycentrované poloze.
Ve zjištěních nedávno zveřejněných v Chytrá zemědělská technologie, výzkumníci oznámili vysokou úroveň přesnosti detekce královského květu vyplývající z Muova algoritmu. Ve srovnání s měřeními prováděnými ručně výzkumníky identifikujícími královské květiny očima – nazývanými měřeními pozemní pravdy – se přesnost detekce královského květu strojovým viděním pohybovala od 98.7 % do 65.6 %.