Geospatial foundation models (GFM's) worden steeds groter. Meer sensoren, meer modaliteiten, meer parameters. De aanname lijkt voor de hand te liggen: als een model foundational wil zijn, moet het zoveel mogelijk over de aarde weten.
Bij Spheer kiezen we een andere aanpak.
Spheer FM is bewust beperkt. Het richt zich op natuur en biodiversiteit, is getraind voor Europa, en is ontworpen rond het temporele gedrag van het aardoppervlak. Het geeft wat universaliteit op om representaties te leren die nuttiger zijn voor de ecologische systemen waar wij ons om bekommeren.
Dat roept een bredere vraag op: kan een foundation model waardevoller worden door minder universeel te zijn? (spoiler: ja)
Foundationeel betekent niet algemeen
De impliciete belofte van steeds grotere GFM's is dat algemeenheid wint. Maar een foundation model hoeft niet generiek te zijn. Het kan foundationeel zijn binnen een domein: één keer voorgetraind op grote hoeveelheden ongelabelde data, en vervolgens hergebruikt zonder finetuning voor veel downstream-taken binnen dat domein.
Algemeenheid heeft een prijs. Een generiek GFM moet woestijnen, regenwouden, Europees landbouwland en tropische kustlijnen representeren; stedelijke infrastructuur én natuurlijke ecosystemen; verschillende klimaten, seizoenen, sensoren en opnamecondities. Als je downstream-taak het identificeren van boomsoorten, het classificeren van gewassen of het karakteriseren van habitats is, is het merendeel van die variatie irrelevant — en een model dat gebouwd is om alles overal te representeren, besteedt capaciteit aan verschillen die er voor die taak niet toe doen.
Kleinere, gerichte modellen zijn ook makkelijker te trainen, te draaien en op te itereren: Spheer FM heeft minder dan 1% van het aantal parameters van AlphaEarth. Dat maakt meer uit dan alleen kosten. Als een model goedkoop is om te trainen, kunnen ontwerpkeuzes rechtstreeks aansluiten op de fysieke processen waar het ons om gaat, en kunnen we het ons veroorloven om meerdere gespecialiseerde modellen te bouwen in plaats van één model dat alles moet bedienen.
Een pixel is een signaal, geen onderdeel van een plaatje
Veel GFM's zijn in de kern computer-vision-modellen, en ze erven de aannames van computer vision: beelden worden opgedeeld in patches, nabijgelegen pixels bieden context, ruimtelijke relaties verklaren wat er wordt waargenomen.
Voor veel Earth Observation-problemen is dat zinvol. Voor ecologische vraagstukken is er een andere manier om naar de data te kijken. Een stuk grasland is interessant, niet vanwege hoe de buurpercelen eruitzien, maar vanwege wat er met de reflectie gebeurt gedurende het jaar: vegetatie komt op, groeit, bloeit, wordt gemaaid of geoogst, en verdwijnt weer. Een pixel is een signaal door de tijd heen.
Daarom produceert Spheer FM jaarlijkse embeddings. Een kalenderjaar komt overeen met een volledig groeiseizoen, waarbij de winter natuurlijk op de grens tussen twee jaarlijkse embeddings valt.
En daarom beperken we bewust de ruimtelijke context in plaats van die te maximaliseren. Door de mogelijkheid om te leunen op naburige pixels, perceelvormen of omliggende infrastructuur te beperken, duwen we het model richting het temporele signaal. Het kan de vorm van een perceel niet herkennen. Het kan een naburige weg niet als aanwijzing gebruiken. En het wordt moeilijker voor het model om te onthouden waar bepaalde patronen op het aardoppervlak voorkomen.
Dit is een radicale vereenvoudiging, en dat is precies de bedoeling. De beperking is geen tekortkoming die we met tegenzin accepteren. Het is de inductieve bias die we willen.
Werkt specialisatie ook echt?
We hebben Spheer FM benchmarked tegen andere vooraanstaande GFM's: AlphaEarth van Google en TESSERA van Cambridge, op twee Europese benchmarks, met gebruik van de vooraf berekende embeddings zoals ze zijn, zonder een backbone te hertrainen.
- De eerste is TreeSAT-AI, een Duitse benchmark voor classificatie van boomsoorten.
- De tweede is PASTIS, een Franse benchmark voor gewasclassificatie.
Spheer FM scoort op beide benchmarks het beste, en met een ruime marge op de moeilijkere TreeSAT-niveaus. Het resultaat op gewasclassificatie is bijzonder interessant, omdat dit niet het primaire doel was van het ontwerp van onze pretraining. Het feit dat een simpele KNN zo goed presteert op onze embeddings, suggereert dat de beslissingsgrenzen eenvoudiger zijn en de embedding-ruimte logischer gestructureerd is voor taken binnen het domein.
De conclusie
Spheer FM is niet het model dat je zou kiezen om stedelijke groei in Zuidoost-Azië of geologische kenmerken in de Sahara te analyseren. Dat is ook niet de bedoeling. Maar op de problemen waarvoor het is gebouwd, presteert het beter dan modellen die veel meer van de planeet hebben gezien.
GFM's zouden niet beoordeeld moeten worden op hoe groot ze zijn, of hoeveel van de aarde ze tijdens de training hebben gezien, maar op hoe bruikbaar hun representaties zijn voor de problemen die we daadwerkelijk willen oplossen.
Misschien is het beste foundation model voor een probleem niet het model dat het meeste weet, maar het model dat weet wat ertoe doet.
