Interroger une image satellite en langage naturel : ce qu'apportent les modèles Remote Sensing Foundations de Google
Jusqu'à récemment, retrouver une catégorie d'objets précise dans un fonds d'images satellite (des "bâtiments résidentiels équipés de panneaux solaires", par exemple) supposait soit un modèle de classification entraîné spécifiquement sur cette catégorie, soit un tri manuel fastidieux. Dans le cadre de son programme Google Earth AI, Google a publié une famille de modèles baptisée Remote Sensing Foundations, qui déplace ce type de tâche vers une simple requête en langage naturel. Trois capacités structurent cette annonce, et chacune répond à une limite bien connue des pipelines de télédétection classiques.
Des modèles vision-langage pour interroger l'imagerie par le texte
La première capacité repose sur des modèles vision-langage (VLM), qui apprennent à projeter à la fois l'image satellite et une description textuelle dans un même espace d'embeddings. Cette représentation partagée permet de quantifier la similarité sémantique entre une image et un texte, et donc de poser une question en langage naturel directement sur un fonds d'images : "trouve toutes les routes inondées" après le passage d'une tempête, par exemple, ou "trouve les bâtiments résidentiels avec panneaux solaires".
L'intérêt de cette approche est qu'elle fonctionne en zero-shot : le modèle peut traiter des catégories ou des descriptions qu'il n'a jamais rencontrées explicitement pendant son entraînement, à condition qu'elles soient formulables en texte. On sort ainsi du cadre rigide d'une taxonomie de classes fixée à l'avance, qui obligeait jusque-là à réentraîner ou à ré-annoter dès qu'une nouvelle catégorie d'intérêt apparaissait.
La détection d'objets en vocabulaire ouvert
La deuxième capacité, la détection d'objets en vocabulaire ouvert ("open-vocabulary object detection"), pousse la même logique un cran plus loin : au lieu de se contenter d'une similarité globale image-texte, le modèle localise précisément, sous forme de boîtes englobantes, des catégories d'objets qu'il n'a pas vues pendant l'entraînement. Cette architecture permet de répondre à des requêtes détaillées sur de l'imagerie satellite ou aérienne sans disposer au préalable d'un jeu d'entraînement annoté pour chaque type d'objet recherché.
Des backbones de vision adaptables
La troisième brique consiste en des backbones de vision pré-entraînés, conçus pour être ré-ajustés ("fine-tunés") sur des tâches spécifiques en aval. Contrairement aux deux premières capacités, pensées pour un usage direct en langage naturel, cette brique s'adresse davantage aux équipes qui construisent leurs propres modèles de classification ou de segmentation : elle offre un point de départ pré-entraîné sur un large corpus d'imagerie, à affiner ensuite sur un jeu de données plus restreint et spécifique à un territoire ou une problématique.
Des résultats mesurés sur benchmarks publics
Ces trois modèles ont été entraînés sur un large corpus d'images aériennes et satellite à haute résolution, associées à des descriptions textuelles et, pour la détection, à des annotations de boîtes englobantes. Sur plusieurs benchmarks publics d'observation de la Terre, Google rapporte une amélioration moyenne de plus de 16% sur les tâches de recherche d'image par texte, et un doublement de la précision de référence pour la détection d'objets nouveaux en zero-shot.
Ce que ça change pour un praticien en télédétection
Cette publication s'inscrit dans la même tendance que les foundation models géospatiaux déjà couverts dans GeoActualités (Prithvi-EO-2.0, Clay, AlphaEarth Foundations) : remplacer une partie du travail d'annotation manuelle par un modèle pré-entraîné à grande échelle. La nouveauté ici est l'interface : au lieu de raisonner en classes prédéfinies et en polygones d'entraînement, on formule une intention en langage naturel, et c'est le modèle qui se charge de la traduire en requête sur l'espace latent de l'image.
Pour un usage en gestion des ressources naturelles ou en suivi environnemental, l'intérêt pratique tient moins à la performance brute qu'à la vitesse d'itération qu'elle permet : explorer une hypothèse sur un fonds d'images ("y a-t-il des signes de stress hydrique sur telle parcelle ?") sans avoir à construire au préalable un jeu d'entraînement dédié. Cela ne dispense pas d'une validation terrain rigoureuse avant toute décision opérationnelle, mais ça change radicalement le coût d'exploration d'une première piste. C'est un axe que l'académie suivra de près pour le module GeoAI, à mesure que ces modèles deviennent accessibles en dehors des seules équipes de recherche de Google.