Utilising affordable smartphones and open-source time-lapse photography for pollinator image collection and annotation

Photography set-up in the field and resulting image

By Stefan et al.

Pollinators, such as bees (Hymenoptera) and flies (Diptera), are essential for helping plants reproduce, including many crops we rely on for food. Understanding which insects visit which flowers is crucial to tracking how environmental changes affect these interactions. Traditional monitoring methods, such as catching insects and identifying them in a lab, are costly, time-consuming, and require killing the insects. Our study explores a non-destructive solution using affordable smartphones and time-lapse photography.

We mounted smartphones above flowers to capture time-lapse photos of visiting insects and tested whether the images provided enough detail for experts to identify the insects accurately. About 90% of all Hymenoptera instances (bees and ants) were identified to the family level, nearly 85% of pollinating families to genus, and only around 25% to species. Smaller insects, such as flies, were harder to identify due to the lack of fine details in their tiny features, like wing veins. For flies, only 26% were identified to genus and just 15% to species.

Because the insects were not physically captured for verification, the identification process involved some degree of subjectivity. Future research should focus on creating identification keys based on features visible in images. When fine identification isn’t possible, grouping insects into broader categories based on visible traits could make analysis more practical. These groupings will also aid in developing realistic artificial intelligence (AI) classes for automated insect classification.

Despite these challenges, our study highlights the potential of affordable smartphones as scalable tools for pollinator monitoring at broader taxonomic levels. Building on the annotated dataset we collected, our next goal is to develop artificial intelligence tools that can localise and identify insects in images more efficiently, advancing pollination ecology research and supporting conservation efforts.

Read the scientific publication in JPE

German version:

Bestäuber, wie etwa Bienen (Hymenoptera) und Fliegen (Diptera), sind unerlässlich für die Fortpflanzung von Pflanzen, einschließlich vieler Nutzpflanzen, die für unsere Ernährung wichtig sind. Dabei ist es entscheidend zu verstehen, welche Insekten welche Blüten besuchen, um nachvollziehen zu können, wie Umweltveränderungen diese Interaktionen beeinflussen. Traditionelle Beobachtungsmethoden, wie das Fangen und Identifizieren von Insekten im Labor, sind jedoch kostenintensiv, zeitaufwendig und erfordern das Töten der Insekten. Unsere Studie untersucht eine nicht-destruktive Alternative mittels erschwinglicher Smartphones und Zeitrafferfotografie.

Wir montierten Smartphones über Blumen, um Zeitrafferfotos von besuchenden Insekten aufzunehmen, und testeten, ob die Bilder ausreichend Details liefern, damit Experten die Insekten präzise identifizieren können. Etwa 90 % aller Hymenoptera-Exemplare (Bienen und Ameisen) konnten bis zur Familienebene identifiziert werden, fast 85 % der bestäubenden Familien bis zur Gattung und nur etwa 25 % bis zur Art. Kleinere Insekten, z.B. Fliegen, waren aufgrund fehlender feiner Details, etwa in den Flügeladern, schwieriger zu bestimmen. Bei Fliegen konnten nur 26 % bis zur Gattung und lediglich 15 % bis zur Art identifiziert werden.

Da die Insekten für eine Verifizierung nicht gefangen wurden, war die Identifizierung zum Teil subjektiv. Künftige Forschung sollte Bestimmungsschlüssel entwickeln, die auf in Bildern sichtbaren Merkmalen basieren. Die Gruppierung von Insekten in gröbere Kategorien anhand sichtbarer Merkmale könnte die Analyse erleichtern, sollte eine genaue Identifikation nicht möglich sein. Mithilfe solcher Gruppierungen könnten dazu beitragen, für künstliche Intelligenz (KI) realistische Klassen zur automatisierten Insektenklassifikation zu entwickeln.

Trotz dieser Herausforderungen zeigt unsere Studie, dass erschwingliche Smartphones durchaus zum Bestäubermonitoring auf höherer taxonomischer Ebene dienen können. Unser nächstes Ziel ist es, mit dem von uns gesammelten annotierten Datensatz eine künstliche Intelligenz zu entwickeln, die Insekten in Bildern effizient lokalisieren und identifizieren kann. Damit möchten wir die Forschung in der Bestäubungsökologie vorantreiben und Naturschutzmaßnahmen unterstützen.