L'IA physique a également besoin d'une touche humaine
L'intelligence artificielle ne se limite plus aux écrans, aux logiciels et aux processus numériques. Elle s'étend de plus en plus au monde physique.
Les robots, les véhicules autonomes, les drones, les usines intelligentes, les systèmes d'inspection industrielle et les agents d'IA incarnés sont conçus non seulement pour analyser des informations, mais aussi pour percevoir leur environnement, prendre des décisions et agir dans des situations réelles.
Cette transition est souvent qualifiée d'« IA physique ».
NVIDIA définit l'IA physique comme une intelligence artificielle qui permet à des systèmes autonomes, tels que les robots et les véhicules autonomes, de « percevoir, comprendre, raisonner et effectuer des actions complexes dans le monde physique ». Google DeepMind s'engage dans une voie similaire avec ses modèles Gemini Robotics, qui allient compréhension multimodale, raisonnement spatial et actions physiques.
Cela marque une évolution importante dans le domaine de l'IA.
Avec l'IA générative, un modèle peut produire une réponse erronée, ce qui peut se limiter à un texte ou à une recommandation inexacte. Avec l'IA physique, une perception ou une décision erronée peut conduire un robot à saisir le mauvais objet, un système autonome à mal interpréter un obstacle ou un système industriel à ne pas détecter une anomalie.
Lorsque l'IA passe de la prédiction à l'action, la qualité des données, le contexte et la validation dans le monde réel revêtent une importance encore plus cruciale.
Et c'est précisément là que le concept « Human-in-the-Loop » prend toute son importance.
Les systèmes d'IA physique doivent comprendre bien plus que de simples images isolées ou des données d'entrée prédéfinies.
Ils doivent être capables d'analyser des environnements dynamiques impliquant :
Un robot d'entrepôt, par exemple, doit distinguer les objets, comprendre où ils se trouvent, évaluer comment il peut les manipuler et s'adapter si une personne pénètre soudainement dans son espace de travail.
Un drone d'inspection autonome doit détecter les anomalies tout en étant capable de déterminer si un élément visuel correspond à un véritable défaut, à un reflet, à une salissure ou simplement à une variation d'éclairage.
Un agent robotique intervenant dans une usine peut être amené à suivre une séquence d'instructions tout en vérifiant en permanence que ses actions ont produit le résultat escompté.
C'est pourquoi la nouvelle génération de modèles robotiques associe de plus en plus la vision, le langage et l'action.
Gemini Robotics, une filiale de Google DeepMind, a par exemple présenté des modèles « Vision-Langage-Action » conçus pour traduire des informations visuelles et des instructions en actions physiques, tandis que ses modèles de raisonnement incarné se concentrent sur la compréhension spatiale et la planification des tâches.
Mais ces systèmes dépendent toujours d'une ressource fondamentale :
des données de haute qualité reflétant la complexité du monde réel.
L'entraînement des systèmes d'IA destinés au monde physique diffère fondamentalement de celui des modèles basés sur du texte ou des images statiques.
La vie réelle est compliquée.
Les objets peuvent être partiellement masqués. Les caméras peuvent se déplacer. Les capteurs peuvent tomber en panne. L'éclairage change constamment. Les comportements humains sont imprévisibles. Des événements rares peuvent revêtir une importance capitale, même s'ils ne représentent qu'une infime fraction des données disponibles.
Cela pose plusieurs défis.
Tout d'abord, les ensembles de données doivent refléter une diversité bien plus grande que celle des ensembles de données traditionnels utilisés en vision par ordinateur.
D'autre part, les ensembles de données doivent de plus en plus souvent être multimodaux, combinant des vidéos, des images, des fichiers audio, des données de capteurs, des instructions en langage naturel et, parfois, des actions ou des trajectoires de robots.
Troisièmement, l'évaluation ne peut plus se limiter à vérifier si un modèle identifie correctement un objet.
La question qui se pose de plus en plus est la suivante :
L'IA a-t-elle bien compris la situation et a-t-elle pris les mesures qui s'imposaient ?
Cela nécessite un jugement humain.
L'expertise humaine peut intervenir à toutes les étapes du cycle de vie de l'IA physique, depuis la création initiale des ensembles de données jusqu'à l'évaluation en conditions réelles.
Chez isahit, nous identifions plusieurs domaines clés dans lesquels l'approche « Human-in-the-Loop » peut apporter un soutien aux équipes spécialisées dans l'IA physique.
Computer vision reste un élément fondamental de nombreux systèmes d'IA physique.
Les annotateurs humains peuvent créer des données d'entraînement structurées grâce à :
Dans le domaine de la robotique et des systèmes autonomes, le défi va souvent au-delà de la simple identification d'objets individuels.
Les données peuvent également devoir rendre compte des relations entre les objets, des mouvements au fil du temps, des interactions avec les humains et des changements dans l'environnement.
Les modèles d'IA physique combinent de plus en plus différents types d'informations.
Un robot peut traiter simultanément des images, des vidéos, des commandes vocales, des instructions textuelles, des données de télémétrie ou les données fournies par des capteurs.
Des évaluateurs humains peuvent vérifier si ces différents signaux restent cohérents.
Par exemple :
L'image correspond-elle à l'instruction ?
Le robot a-t-il correctement interprété la demande de l'opérateur ?
L'action prévue est-elle plausible compte tenu de l'environnement physique ?
Ce type d'analyse s'avère particulièrement utile pour les systèmes « vision-langage-action » et les systèmes d'IA incarnée.
Les tests de performance sont utiles, mais de nombreux systèmes d'IA physique doivent, en fin de compte, fonctionner dans des environnements très spécifiques.
Les tests doivent donc refléter des scénarios d'exploitation réels.
Une équipe de robotique pourrait se pencher sur des questions telles que :
Des évaluateurs humains peuvent examiner ces scénarios et déterminer si l'interprétation et les actions de l'IA restent appropriées.
À mesure que les systèmes robotiques acquièrent davantage d'autonomie, leur évaluation s'apparente de plus en plus aux processus de type « Human-in-the-Loop » déjà utilisés pour les modèles de langage à grande échelle (LLM) et les agents d'IA.
Au lieu de se contenter de noter une réponse générée, les humains peuvent évaluer des enchaînements d'actions.
Ils peuvent évaluer :
Cela ouvre la voie à des formes de rétroaction humaine pour les agents incarnés, où cette rétroaction peut contribuer à améliorer les politiques, les systèmes de planification et les modèles de sélection d'actions.
L'un des principaux défis de l'IA physique consiste tout simplement à obtenir les données adéquates.
Les ensembles de données publics correspondent rarement exactement aux environnements dans lesquels un système d'IA industriel doit fonctionner.
Dans de nombreux cas, les entreprises ont donc besoin de jeux de données personnalisés.
Chez isahit, cela peut notamment consister à organiser la création d'ensembles de données dédiés, sous forme d'images ou de vidéos, selon des scénarios prédéfinis.
Par exemple, il peut être demandé aux contributeurs d'enregistrer des scènes spécifiques impliquant :
Ces ensembles de données peuvent ensuite être annotés et vérifiés avant d'être utilisés à des fins d'apprentissage ou d'évaluation.
L'objectif n'est pas simplement de produire davantage de données.
Il s'agit de générer les données adéquates pour obtenir le comportement souhaité.
La simulation et les données synthétiques occupent désormais une place centrale dans l'IA physique.
La plateforme Cosmos de NVIDIA, par exemple, est conçue pour générer de grands volumes de données synthétiques photoréalistes et respectant les lois de la physique, destinées aux robots et aux véhicules autonomes. Ses modèles de base « World Foundation » permettent de générer ou de prédire des scénarios du monde physique et aident les développeurs à soumettre leurs systèmes à des conditions qu’il serait coûteux, dangereux ou extrêmement rare de reproduire dans le monde réel.
Les données synthétiques sont particulièrement utiles pour générer des cas de longue traîne et des cas marginaux.
On peut citer, par exemple, des conditions météorologiques inhabituelles, des obstacles inhabituels, des positions inattendues d'objets ou des situations dangereuses.
Mais les données synthétiques ne suppriment pas la nécessité d'une validation humaine.
Au contraire, cela soulève de nouvelles questions :
La scène générée reste-t-elle plausible d'un point de vue physique ?
Cela reflète-t-il fidèlement le scénario envisagé ?
Les annotations sont-elles cohérentes ?
La distribution synthétique reflète-t-elle l'environnement réel ?
Les cas limites importants sont-ils réellement pris en compte ?
Cela laisse entrevoir une approche hybride :
une simulation pour l'augmentez, des données réelles pour l'ancrage dans la réalité, et une vérification humaine pour garantir la qualité et la pertinence.
Les systèmes d'IA physiques fonctionnent souvent très bien dans des conditions normales d'exploitation.
Le véritable défi réside dans ce qui se passe en dehors de ces conditions.
Un faible pourcentage de situations peut représenter une part importante du risque opérationnel.
Ces cas particuliers peuvent notamment inclure :
Les humains peuvent contribuer à identifier, classer et hiérarchiser ces situations.
Une fois identifiés, ils peuvent constituer des éléments précieux pour un cycle d'amélioration continue :
déployer → observer → identifier les défaillances → collecter des exemples → analyser → réentraîner → réévaluer.
Dans ce modèle, l'intervention humaine (Human-in-the-Loop) ne consiste pas en une activité ponctuelle d'étiquetage.
Elle s'intègre au cycle de vie opérationnel de l'IA physique.
Dans les processus d'annotation traditionnels, le contrôle qualité était souvent considéré comme la dernière étape avant la livraison d'un ensemble de données.
En ce qui concerne l'IA physique, le contrôle qualité doit aller bien au-delà.
Cela peut inclure :
de la qualité des ensembles de données: les annotations sont-elles précises et cohérentes ?
Couverture des scénarios
Les situations importantes sont-elles suffisamment prises en compte ?
Comportement du modèle
Le système interprète-t-il correctement l'environnement ?
Qualité de l'action
L'action sélectionnée est-elle pertinente ?
de sécurité Cette action pourrait-elle entraîner un risque inutile ?
Robustesse en conditions réelles
Les performances restent-elles acceptables lorsque les conditions changent ?
Cela confère à l'intervention humaine un rôle bien plus large que dans le cadre de l'étiquetage traditionnel des données.
L'expertise humaine s'intègre à l'infrastructure d'évaluation qui entoure le système d'IA.
Un workflow d'IA physique abouti pourrait à terme se présenter comme suit :
1. Collecte des données
Des images, des vidéos, des fichiers audio, des données de capteurs ou des scénarios spécifiques issus du monde réel sont collectés.
2. Annotation et vérification humaine
Les objets, événements, actions et informations contextuelles pertinents sont structurés.
3. Formation et simulation
Les modèles apprennent à partir d'environnements réels et synthétiques.
4. Évaluation basée sur des scénarios
Des comportements spécifiques et des cas limites sont testés.
5. Évaluation par des personnes
Les évaluateurs examinent les décisions, les orientations et les mesures prises.
6. Déploiement
Le système fonctionne dans son environnement cible.
7. Collecte des échecs et des cas limites
Les situations difficiles sont détectées et réintégrées dans l'ensemble de données.
8. Amélioration continue
De nouveaux cycles de formation, d'évaluation et de contrôle qualité sont lancés.
Le retour d'information humain fait donc office de pont entre la représentation du monde par le modèle et le monde lui-même.
Chez isahit, notre expertise en matière de « Human-in-the-Loop » peut prendre en charge plusieurs étapes de ce flux de travail :
Notre approche allie technologie, gestion de projet et une communauté internationale qualifiée afin de créer ou d'évaluer des ensembles de données adaptés à des cas d'utilisation spécifiques de l'IA.
Cela revêt une importance particulière à l'heure où l'IA physique s'étend à des secteurs tels que la robotique, l'industrie manufacturière, la mobilité, la défense, la logistique, les villes intelligentes, l'inspection industrielle et les systèmes autonomes.
L'intelligence artificielle est de plus en plus capable de voir, de raisonner et d'agir.
Les modèles mondiaux permettent de simuler des environnements.
Les modèles « vision-langage-action » permettent de traduire des instructions en mouvements.
Les robots peuvent apprendre des comportements de plus en plus complexes à partir de démonstrations et de retours d'information.
Mais les environnements réels restent incroyablement variés et imprévisibles.
Les êtres humains apportent toujours quelque chose de particulièrement précieux à ce processus :
contexte.
Nous savons reconnaître quand une situation sort de l'ordinaire.
Nous sommes capables de reconnaître quand une action techniquement valable est inappropriée d'un point de vue pratique.
Nous sommes capables d'interpréter l'ambiguïté.
Et nous pouvons déterminer si un système d'IA se comporte de manière utile, fiable et sûre.
L'avenir de l'IA physique passera sans aucun doute par des modèles plus puissants, des simulations plus riches et des systèmes de plus en plus autonomes.
Mais pour parvenir à une IA fiable dans le monde réel, il faudra également disposer de meilleures données, de meilleures méthodes d'évaluation et de meilleures boucles de rétroaction.
En d'autres termes :
L'IA physique nécessite l'intervention humaine (« Human-in-the-Loop »).
Et quand l'IA a besoin d'une touche humaine, nous sommes là.
Pour les lecteurs souhaitant approfondir leurs connaissances sur l'IA physique et l'intelligence incarnée :
IA physique · IA incarnée · Robotique · Modèles « vision-langage-action » · Computer Vision · « Human-in-the-Loop » · Annotation de données · Création de jeux de données · Données synthétiques · Modèles du monde · Évaluation de l'IA · IA agentique · Qualité des données · IA responsable
augmentez vos projets d'annotation numérique avec notre équipe hautement qualifiée force de travail. Accédez à notre service à la demande force de travail pour obtenir la meilleure qualité pour votre jeu de données annotation.
Nous disposons d'une large gamme de solutions et d'outils qui vous aideront à former vos algorithmes. Cliquez ci-dessous pour en savoir plus !