Catégories
Réflexion et socialisme

Les robots généraux prendront-ils de meilleures décisions que les humains … ou pire?

Source de l'image: Kyle McDonald – CC BY 2.0

Avec Covid-19, un nombre impressionnant de membres du service américain incapacitant et des armes modernes se révélant de plus en plus mortelles, l'armée américaine compte de plus en plus souvent sur des robots intelligents pour mener des opérations de combat dangereuses. Ces dispositifs, connus dans l'armée sous le nom de «systèmes d'armes autonomes», comprennent des sentinelles robotiques, des drones de surveillance du champ de bataille et des sous-marins autonomes. Jusqu'à présent, en d'autres termes, les dispositifs robotiques ne font que remplacer les armes standard sur les champs de bataille conventionnels. Aujourd'hui, cependant, dans un pas de géant, le Pentagone cherche à amener ce processus à un tout autre niveau – en remplaçant non seulement les soldats ordinaires et leurs armes, mais potentiellement les amiraux et les généraux par des systèmes robotiques.

Certes, ces systèmes sont encore au stade de développement, mais le Pentagone précipite maintenant leur déploiement futur comme une question d’urgence nationale. Chaque composant d'un état-major moderne – y compris la planification de la bataille, la collecte de renseignements, la logistique, les communications et la prise de décision – doit, selon les derniers plans du Pentagone, être transféré à des arrangements complexes de capteurs, d'ordinateurs et de logiciels. Tous ceux-ci seront ensuite intégrés dans un «système de systèmes», désormais baptisé Joint All-Domain Command-and-Control, ou JADC2 (puisque les acronymes restent l'essence même de la vie militaire). Finalement, cet amalgame de systèmes pourrait effectivement assumer la plupart des fonctions actuellement exercées par les généraux américains et leurs officiers supérieurs d'état-major.

La notion d'utilisation de machines pour prendre des décisions au niveau des commandes n'est bien sûr pas entièrement nouvelle. Cela a, en vérité, été long à venir. Pendant la guerre froide, suite à l'introduction des missiles balistiques intercontinentaux (ICBM) avec des temps de vol extrêmement courts, les stratèges militaires et les écrivains de science-fiction ont commencé à imaginer des systèmes mécaniques qui contrôleraient ces armes nucléaires en cas d'incapacité humaine.

Dans le film satirique de Stanley Kubrick de 1964 Dr Strangelove, par exemple, le leader russe fictif Dimitri Kissov révèle que l'Union soviétique a installé une «machine apocalyptique» capable de détruire toute vie humaine qui exploserait automatiquement si le pays était attaqué par les forces nucléaires américaines. Les efforts déployés par des officiers de l'US Air Force anti-soviétique fous pour provoquer une guerre avec Moscou réussissent ensuite à déclencher cette machine et ainsi à provoquer l'anéantissement humain. En réalité, craignant de subir une attaque surprise de ce type, les Soviétiques ont par la suite installé un système de représailles semi-automatique qu'ils ont baptisé «Périmètre», conçu pour lancer des ICBM soviétiques dans le cas où des capteurs détectaient des explosions nucléaires et toutes les communications de Moscou avait été réduit au silence. Certains analystes estiment qu'une version améliorée de Perimeter est toujours en service, nous laissant dans une version bien trop réelle d'un monde strangelovien.

Dans une autre version de science-fiction de ces systèmes de commande automatisés, le film de 1983 Jeux de guerre, mettant en vedette Matthew Broderick en tant que hacker adolescent, a dépeint un supercalculateur appelé War Operations Plan Response, ou WOPR (prononcé «whopper») installé au quartier général du North American Aerospace Command (NORAD) au Colorado. Lorsque le personnage de Broderick s'y attaque et commence à jouer à ce qu'il croit être un jeu appelé «World War III», l'ordinateur conclut qu'une véritable attaque soviétique est en cours et lance une riposte nucléaire. Bien que fictif, le film dépeint avec précision de nombreux aspects du système de commandement-contrôle et de communication nucléaire américain (NC3), qui était alors et reste encore hautement automatisé.

De tels dispositifs, à la fois réels et imaginaires, étaient relativement primitifs selon les normes d’aujourd’hui, étant capables uniquement de déterminer qu’une attaque nucléaire était en cours et d’ordonner une réponse catastrophique. Désormais, grâce à de vastes améliorations de l'intelligence artificielle (IA) et de l'apprentissage automatique, les machines peuvent collecter et évaluer d'énormes quantités de données de capteurs, détecter rapidement les tendances et les modèles clés, et potentiellement donner des ordres aux unités de combat pour savoir où attaquer et quand. .

Compression du temps et faillibilité humaine

La substitution des machines intelligentes aux humains aux niveaux de commandement supérieurs devient essentielle, affirment les stratèges américains, car une croissance exponentielle des informations des capteurs combinée à la vitesse croissante de la guerre rend presque impossible pour les humains de suivre les développements cruciaux du champ de bataille. Si les scénarios futurs s'avèrent exacts, des batailles qui s'étalaient autrefois sur des jours ou des semaines pourraient se dérouler en quelques heures, voire quelques minutes, tandis que les informations sur le champ de bataille afflueront sous forme de points de données innombrables, submergeant les officiers d'état-major. Seuls les ordinateurs avancés, prétend-on, pourraient traiter autant d'informations et prendre des décisions de combat éclairées dans les délais nécessaires.

Cette compression du temps et l'extension des données des capteurs peuvent s'appliquer à toute forme de combat, mais surtout à la plus terrifiante de toutes, la guerre nucléaire. Lorsque les ICBM étaient le principal moyen de ce combat, les décideurs avaient jusqu'à 30 minutes entre le moment où un missile a été lancé et le moment de la détonation pour déterminer si une attaque potentielle était réelle ou simplement une fausse lecture de satellite (comme cela se produisait parfois pendant la guerre froide). Maintenant, cela peut sembler peu de temps, mais avec l'introduction récente des missiles hypersoniques, ces temps d'évaluation pourraient être réduits à cinq minutes. Dans de telles circonstances, il est fort probable que même les décideurs les plus avertis se prononcent en connaissance de cause sur la nature d’une attaque potentielle. D'où l'attrait (pour certains) des systèmes de décision automatisés.

"La compression du temps d'attaque a placé les hauts dirigeants américains dans une situation où le système NC3 existant pourrait ne pas agir assez rapidement", ont fait valoir les analystes militaires Adam Lowther et Curtis McGiffin. Guerre sur les rochers, un site Web axé sur la sécurité. «Ainsi, il peut être nécessaire de développer un système basé sur l'intelligence artificielle, avec des décisions de réponse prédéterminées, qui détecte, décide et dirige les forces stratégiques avec une vitesse telle que le défi de la compression du temps d'attaque ne place pas les États-Unis dans une position impossible. . »

Cette notion, selon laquelle un appareil alimenté par l'intelligence artificielle – en substance, une version plus intelligente de la machine apocalyptique ou du WOPR – devrait être habilité à évaluer le comportement de l'ennemi et ensuite, sur la base «d'options de réponse prédéterminées», décider du sort de l'humanité, a naturellement produit un certain malaise dans la communauté des analystes militaires (comme cela devrait également pour le reste d'entre nous). Néanmoins, les stratèges américains continuent de soutenir que l'évaluation du champ de bataille et la prise de décision – tant pour la guerre conventionnelle que nucléaire – devraient de plus en plus être déléguées aux machines.

«Les systèmes de renseignement basés sur l'IA peuvent fournir la capacité d'intégrer et de trier de grandes quantités de données provenant de différentes sources et emplacements géographiques pour identifier des modèles et mettre en évidence des informations utiles», a noté le Congressional Research Service dans un résumé de novembre 2019 de la pensée du Pentagone. «À mesure que la complexité des systèmes d'IA mûrit», a-t-il ajouté, «les algorithmes d'IA peuvent également être capables de fournir aux commandants un menu de plans d'action viables basés sur une analyse en temps réel de l'espace de combat, permettant ainsi une adaptation plus rapide à des événements complexes. "

Le libellé clé est «un menu de plans d’action viables basés sur une analyse en temps réel de l’espace de combat». Cela pourrait donner l'impression que les généraux et les amiraux humains (sans parler de leur commandant en chef) prendront toujours les décisions ultimes de vie ou de mort pour leurs propres forces et la planète. Compte tenu de cette compression anticipée du temps d'attaque lors de futurs combats de haute intensité avec la Chine et / ou la Russie, les humains n'auront peut-être plus le temps ou la capacité d'analyser eux-mêmes l'espace de combat et en viendront donc à s'appuyer sur des algorithmes d'IA pour de telles évaluations. En conséquence, les commandants humains peuvent simplement se retrouver à approuver les décisions prises par des machines – et ainsi, à la fin, devenir superflus.

Création de génériques de robot

Malgré les doutes qu’ils peuvent avoir sur leur future sécurité d’emploi, les principaux généraux américains s’emploient rapidement à développer et à déployer ce mécanisme de commande automatisé JADC2. Supervisé par l'armée de l'air, il s'avère être un amalgame de dispositifs informatiques permettant de collecter des renseignements en temps réel sur les forces ennemies à partir d'un grand nombre de capteurs (satellites, radars au sol, postes d'écoute électroniques, etc.), traitant ces données. en informations de combat exploitables et en fournissant des instructions d'attaque précises à chaque unité de combat et système d'armes engagés dans un conflit – qu'ils appartiennent à l'armée, à la marine, à l'armée de l'air, au corps des marines ou à la nouvelle force spatiale et au cybercommandement.

En quoi consistera exactement le JADC2 n'est pas largement connu, en partie parce que bon nombre de ses composants sont encore entourés de secret et en partie parce qu'une grande partie de la technologie essentielle est encore au stade de développement. Déléguée pour superviser le projet, l'Armée de l'Air travaille avec Lockheed Martin et d'autres grands entrepreneurs de la défense pour concevoir et développer des éléments clés du système.

L'un de ces éléments est son Advanced Battle Management System (ABMS), un système de collecte et de distribution de données destiné à fournir aux pilotes de chasse des données actualisées sur les positions ennemies et à guider leurs mouvements de combat. Un autre élément clé est le système de commandement de combat intégré de défense aérienne et antimissile (IBCS) de l’armée, conçu pour connecter les systèmes radar aux lanceurs antiaériens et antimissiles et leur fournir des instructions de tir précises. Au fil du temps, l'armée de l'air et ses multiples sous-traitants chercheront à intégrer ABMS et IBCS dans un réseau géant de systèmes reliant chaque capteur, tireur et commandant des forces armées du pays – un «Internet des objets» militaire, comme certains l'ont dit. .

Pour tester ce concept et donner un exemple de la façon dont il pourrait fonctionner à l'avenir, l'armée a mené un exercice d'artillerie à tir réel en août en Allemagne en utilisant des composants (ou des fac-similés) du futur système JADC2. Au cours de la première étape du test, des images satellites des positions (présumées) des troupes russes ont été envoyées à un terminal terrestre de l'armée, où un logiciel d'IA appelé Prometheus a passé au peigne fin les données pour sélectionner les cibles ennemies. Ensuite, un autre programme d'IA appelé SHOT a calculé la correspondance optimale des armes disponibles de l'armée avec ces cibles prévues et a envoyé ces informations, ainsi que des coordonnées de tir précises, au système avancé de données tactiques d'artillerie de campagne (AFATDS) de l'armée pour une action immédiate, où les commandants humains pourraient choisissez de le mettre en œuvre ou non. Au cours de l’exercice, ces commandants humains ont eu l’espace mental pour réfléchir un instant à la question; dans une guerre de tir, ils pourraient tout laisser aux machines, comme les concepteurs du système l’ont clairement prévu.

À l'avenir, l'armée prévoit des tests encore plus ambitieux de cette technologie en évolution dans le cadre d'une initiative appelée Projet Convergence. D'après ce qui a été dit publiquement à ce sujet, Convergence entreprendra des exercices toujours plus complexes impliquant des satellites, des chasseurs de l'armée de l'air équipés du système ABMS, des hélicoptères de l'armée, des drones, des pièces d'artillerie et des véhicules tactiques. Finalement, tout cela formera l '«architecture» sous-jacente du JADC2, reliant chaque système de capteur militaire à chaque unité de combat et système d'armes – laissant les généraux avec peu de choses à faire mais à regarder.

Pourquoi les robots généraux pourraient se tromper

Compte tenu de la complexité de la guerre moderne et du défi de la compression du temps dans les combats futurs, l'envie des stratèges américains de remplacer les commandants humains par des commandants robotiques est certainement compréhensible. Les généraux et les amiraux de robots pourraient théoriquement être capables de traiter des quantités stupéfiantes d'informations en de brèves périodes de temps, tout en gardant une trace des forces amies et ennemies et en concevant des moyens optimaux pour contrer les mouvements ennemis sur un futur champ de bataille. Mais il existe de nombreuses bonnes raisons de douter de la fiabilité des décideurs en matière de robots et de la sagesse de les utiliser à la place d'officiers humains.

Pour commencer, bon nombre de ces technologies en sont encore à leurs balbutiements et presque toutes sont sujettes à des dysfonctionnements qui ne peuvent être facilement anticipés ni compris. Et n'oubliez pas que même les algorithmes avancés peuvent être trompés ou «usurpés» par des professionnels qualifiés.

De plus, contrairement aux humains, les systèmes de prise de décision basés sur l'intelligence artificielle n'auront pas la capacité d'évaluer l'intention ou le contexte. Un déploiement soudain de troupes ennemies, par exemple, indique-t-il une attaque imminente, un bluff ou simplement une rotation normale des forces? Les analystes humains peuvent utiliser leur compréhension du moment politique actuel et des acteurs impliqués pour guider leur évaluation de la situation. Les machines n'ont pas cette capacité et peuvent assumer le pire, initiant une action militaire qui aurait pu être évitée.

Un tel problème ne sera aggravé que par la «formation» que subiront ces algorithmes de décision au fur et à mesure de leur adaptation aux situations militaires. Tout comme les logiciels de reconnaissance faciale se sont avérés entachés par une dépendance excessive aux images d'hommes blancs dans le processus de formation – ce qui les rend moins aptes à reconnaître, par exemple, les femmes afro-américaines – les algorithmes de prise de décision militaire sont susceptibles d'être déformés par une dépendance excessive aux scénarios axés sur le combat sélectionnés par les professionnels militaires américains à des fins de formation. «Penser au pire des cas» est une inclination naturelle de ces officiers – après tout, qui veut être pris au dépourvu pour une éventuelle attaque surprise ennemie? – et de tels biais feront sans aucun doute partie des «menus d'actions viables» fournis par les robots décisionnels.

Une fois intégrés dans les algorithmes de prise de décision, de tels biais pourraient à leur tour s'avérer extrêmement dangereux lors de futures rencontres entre les troupes américaines et russes en Europe ou les forces américaines et chinoises en Asie. Un affrontement de ce type pourrait, après tout, survenir à tout moment, à la suite d'un malentendu ou d'un incident local qui prend rapidement de l'ampleur – un affrontement soudain entre les navires de guerre américains et chinois au large de Taiwan, par exemple, ou entre les patrouilles américaines et russes dans l'un des les États baltes. Aucune des deux parties n'a peut-être eu l'intention de déclencher un conflit à grande échelle et les dirigeants des deux côtés pourraient normalement se déplacer pour négocier un cessez-le-feu. Mais rappelez-vous, ce ne seront plus simplement des conflits humains. À la suite d'un tel incident, le JADC2 pourrait détecter un mouvement ennemi qui, selon lui, présente un risque imminent pour les forces alliées et donc immédiatement lancer une attaque totale par des avions, des missiles et de l'artillerie américains, intensifiant le conflit et excluant toute chance. d'un règlement négocié rapidement.

De telles perspectives deviennent vraiment effrayantes lorsque l’enjeu est le déclenchement d’une guerre nucléaire. Il est difficile d'imaginer un conflit entre les grandes puissances commençant comme une guerre nucléaire, mais il est beaucoup plus facile d'envisager un scénario dans lequel les grandes puissances – après avoir été entraînées dans un conflit conventionnel – atteignent un point où l'une ou l'autre considère l'utilisation d'armes atomiques pour éviter la défaite. La doctrine militaire américaine, en fait, a toujours évoqué la possibilité d'utiliser des armes nucléaires dites tactiques en réponse à un assaut massif soviétique (désormais russe) en Europe. La doctrine militaire russe, il est largement admis, intègre des options similaires. Dans de telles circonstances, un futur JADC2 pourrait mal interpréter les mouvements de l'ennemi comme signalant la préparation d'un lancement nucléaire et ordonner une frappe préventive des forces nucléaires américaines, déclenchant ainsi la Troisième Guerre mondiale.

La guerre est une activité méchante et brutale et, compte tenu de près de deux décennies de conflits ratés qui sont passés sous l'étiquette de «guerre contre le terrorisme», causant des milliers de victimes américaines (physiques et mentales), il est facile de comprendre pourquoi les passionnés de robots sont si impatient de voir un autre type de mentalité prendre le dessus sur la guerre américaine. Pour commencer, ils soutiennent, en particulier dans un monde pandémique, qu’il n’est qu’humain de remplacer les soldats humains sur le champ de bataille par des robots et de réduire ainsi les pertes humaines (au moins parmi les combattants). Cette affirmation ne répond pas, bien sûr, à l'argument selon lequel les robots soldats et les drones n'ont pas la capacité de faire la distinction entre les combattants et les non-combattants sur le champ de bataille et ne peuvent donc pas être fiables pour se conformer aux lois de la guerre ou au droit international humanitaire – qui, au moins en théorie, protéger les civils contre des dommages inutiles – et devrait donc être interdit.

Aussi lourd que cela puisse être sur les futurs champs de bataille, remplacer les généraux et les amiraux par des robots est une tout autre affaire. Non seulement les arguments juridiques et moraux surgissent avec vengeance, car la survie des principales populations civiles pourrait être mise en danger par des décisions de combat informatisées, mais il n'y a aucune garantie que les GI américains subiraient moins de pertes dans les batailles qui s'ensuivaient. Il est peut-être temps, alors, que le Congrès pose des questions difficiles sur l'opportunité d'automatiser la prise de décision de combat avant que ce pays ne verse des milliards de dollars supplémentaires de contribuables dans une entreprise qui pourrait, en fait, conduire à la fin du monde comme nous le savons. il. Il est peut-être temps aussi pour les dirigeants de la Chine, de la Russie et de ce pays de limiter ou d'interdire le déploiement de missiles hypersoniques et d'autres armes qui comprimeront les décisions de vie ou de mort pour l'humanité en quelques minutes, justifiant ainsi l'automatisation de ces jugements fatidiques.

Cet article a été publié pour la première fois sur TomDispatch.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *