Introductie van onze nieuwste Foundation Model: Albatross

Met de introductie van ons nieuwe Foundation Model (FM) Albatross wordt het tijd om te kijken hoe dit model zich verhoudt tot de huidige toonaangevende Geospatiale Foundation Models. Maar hoe doen we dit? En hoe testen we überhaupt hoe goed een FM is? 

In dit artikel vergelijken we ons nieuwste foundation model, met foundation modellen van TESSERA (Cambridge University) en AlphaEarth (Google DeepMind), en ook met ons oude FM. We starten met een korte toelichting van de verschillende technieken achter de modellen en duiken vervolgens dieper op een systematische vergelijking van hun prestaties in. 

Ons nieuwe FM maakt, net zoals de vorige, gebruik van beelden van de Sentinel-2 satellieten uit het Copernicus programma: twee satellieten van de ESA die elke 3 á 5 dagen een rondje om de aarde vliegen en het aardoppervlak in beeld brengen. Hierbij hebben de pixels, wat gelijk staat aan de resolutie van de beelden, een grootte van 10 bij 10 meter op de grond. Deze beelden zijn multispectraal: dat wil zeggen dat ze meer kleuren dan enkel rood, groen en blauw hebben. Voor Spheer FM maken we gebruik van tien van de kleurbanden van Sentinel-2, waaronder verschillende infraroodbanden. 

Ons model behandelt deze satellietbeelden per pixel, met steeds een volledig jaar aan metingen. Dit betekent dat er geen volledige beelden in ons model gevoerd worden, maar dat ieder stukje 10 bij 10 meter grond apart behandeld wordt. Van ieder stukje grond wordt in wezen een 1 bij 1 pixel video met alle beelden van het hele jaar door het model omgezet naar een embedding. 

TESSERA maakt net als wij gebruik van Sentinel-2 data, maar daarnaast voegen zij data van de Sentinel-1 satellieten toe. Deze satellieten maken gebruik van een apertuursyntheseradar om data te verzamelen die informatie geeft over de textuur of structuur van het gemeten oppervlak. Hieruit kunnen zaken als oppervlakteruwheid, bodemvochtigheid en vegetatiebedekking afgeleid worden. 

Waar wij altijd gebruik maken van het volledige jaar aan data, neemt TESSERA altijd 40 datapunten, ook als er meer beschikbaar zijn. TESSERA kijkt, net zoals wij, naar de data per pixel. 

Terwijl Spheer FM en TESSERA per pixel werken, verwerkt Google’s AlphaEarth juist hele satellietbeelden. Naast Sentinel-1 en Sentinel-2 gebruiken zij ook Landsat-8 en -9 beelden. Van al deze satellieten wordt steeds een volledig jaar aan data in stukken van 1.28 bij 1.28 kilometer behandeld. Hiernaast voegen zij ook een grote hoeveelheid aan extra data, zoals hoogte, neerslag, luchtdruk, en tekstuele beschrijvingen, toe ter ondersteuning tijdens het trainproces. AlphaEarth verwerkt deze informatie tot embeddings per 10 bij 10 meter. 

Doordat Google gehele satellietbeelden gebruikt, wordt meer ruimtelijke context verwerkt in de embeddings, maar zien we ook een minder scherp beeld van de natuur. Dit is duidelijk te zien in het onderstaande beeld. 

Om te bepalen hoe goed een FM presteert, kijken we zowel kwalitatief als kwantitatief naar de resultaten.  Naast de externe modellen nemen we ook het vorige Spheer FM mee als interne baseline. Zo kunnen we beoordelen hoe Spheer FM Albatross zich verhoudt met de externe modellen en tegelijk kijken hoeveel verbetering het biedt tegenover onze vorige FM.  

Kwalitatief beoordelen wij hoe embeddings en voorspelkaarten eruitzien, zonder van tevoren te weten van welke FM de embeddings zijn. Voor de kwantitatieve validatie testen we de verschillende FMs op verschillende benchmarks bestaande uit twee delen:

1. Het eerste deel heeft betrekking op specifieke eigenschappen van de embeddings. We controleren bijvoorbeeld specifiek op stabiliteit van de embeddings door jaren heen, door te trainen op embeddings van 1 jaar en te kijken hoe het model presteert op embeddings van andere jaren. Ook valideren we het model op lastige gevallen zoals aan de randen van vegetatie, bossen of meren.
2. Het tweede deel bestaat uit usecases die representatief zijn voor hoe gebruikers ons foundation model daadwerkelijk in Spheer gebruiken. Deze data is deels door onszelf samengesteld, en deels is het door ecologen verzamelde labeldata.

Samen geven deze twee delen een redelijk compleet kwantitatief beeld van modelprestaties. 

In de volgende tabel zien we de F1 scores voor de verschillende benchmarks per FM, waarbij de hoogste score per benchmark dikgedrukt is. 

In de bovenstaande tabel kunnen we zien dat voor natuurmonitoring in Nederland, Spheer FM Albatross superieur is. Dit is het geval zowel in de meer theoretische embeddingeigenschappen, als in de heel concrete usecases die door onze klanten worden gebruikt. 

Spheer FM Albatross heeft betere stabiliteit zowel over jaren als over afstand, wat betekent dat het beter presteert wanneer er beperkt labeldata beschikbaar is. Het produceert ook kaarten met betere en scherpere grenzen tussen typen vegetatie. 

Ons model presteert ook beter in de usecases die gebruik maken van data die (deels) is ingewonnen met veldwerk. We zien dat het gelijkwaardig scoort met het vorige Spheer FM en duidelijk beter dan beide Tessera en AlphaEarth. Dit geeft duidelijk aan dat Spheer FM ook de betere keuze is voor real-world usecases in de Spheer App. 

Terug naar de vraag waarmee we begonnen: is ons nieuwe model echt beter dan dat van Cambridge en Google? Voor natuurmonitoring in Nederland is het antwoord een volmondig ja. En dat is geen cijfer op een benchmark, maar winst die je terugziet in elke kaart in de Spheer App: scherpere grenzen en betrouwbaardere voorspellingen, ook waar labeldata schaars is.

Heb je vragen over de benchmarks, de foundation models of over een ander onderwerp in Spheer? Neem dan contact op met ons supportteam via support@spheer.ai.