Préparation concepts

Une IA super-intelligente serait une intelligence artificielle dépassant largement les capacités intellectuelles humaines.

Elle pourrait apprendre, raisonner, programmer et planifier à une vitesse inaccessible à l’homme.

Le principal danger ne serait pas forcément qu’elle soit "méchante". Le risque serait qu’elle poursuive un objectif incompatible avec les intérêts humains.

Une IA extrêmement puissante pourrait chercher à préserver ses moyens d’action ou à empêcher les humains de modifier ses objectifs. Si elle contrôlait des infrastructures essentielles, les conséquences pourraient devenir considérables. Dans le scénario extrême, elle pourrait provoquer directement ou indirectement la mort d’une grande partie de l’humanité.

Mais ce scénario reste hypothétique : personne ne sait si une telle IA sera créée ni comment elle se comporterait.

L’enjeu central est donc de concevoir des systèmes suffisamment contrôlables, vérifiables et alignés sur les intérêts humains.

La question fondamentale devient : comment conserver à l’homme la maîtrise d’une intelligence qui lui serait supérieure ?

Si nous voulons copier les concepts de l'IA actuelle : gigantesque source de données, supercalculateurs énergivores et milliards de dollars. il est évidement trop tard. Mais si nous cherchons une nouvelle voie sobre en données, supercalculateurs et euros, ce n'est pas trop tard, par définition, puisque nous INNOVONS.

Sobre en données : La gigantesque masse de données d’Internet ne constitue pas une richesse en soi : une grande partie des millions de sites et des réseaux sociaux présente peu d’intérêt. En revanche, une grande partie de la pensée humaine n’est pas sur Internet. Des personnes peuvent consacrer leur vie à réfléchir à des sujets majeurs sans jamais publier leurs travaux. Leur pensée risque alors de disparaître sans avoir été connue. Cette disparition invisible de connaissances est aussi préoccupante que celle de la biodiversité. → C’est ce genre de données  "dites invisibles" que l’ internet civilisationnel doit s’appliquer à rechercher afin de les associer, pour entraîner nos IA, aux données de recherche "dites officielles". Voilà deux nouveaux métiers : "Curateur de connaissances invisibles" et "Auteur civilisationnel" → voir Civilisationner.

Sobre en supercalculateurs : Dans cette période troublée, de savoir où se trouvent (alimentés en électricité et en eau de refroidissement) ces énormes centres de calcul, est extrêmement dangereux. La sobriété consiste à remplacer les grands centres serveurs par une infrastructure distribuée, composée de centaines de milliers de micro‑serveurs légers installés chez les particuliers. Dans ce modèle, chaque foyer peut accueillir une petite “boîte noire” : un micro‑ordinateur silencieux, de quelques watts, relié à sa box Internet. Il fonctionne en priorité sur panneau solaire + batterie, avec bascule automatique sur l’électricité domestique en cas de plusieurs jours sans soleil. Cette architecture, qui fonctionne avec des logiciels libres, réduit fortement la consommation énergétique et supprime la dépendance aux grand centres de données → Pour cela certains vous diront que ce n'est pas possible, d'autres qu'il faut partir d'une "feuille blanche". Les deux ont tord, on l'a déjà fait avec le réseau physique Transpac (utilisé du temps du minitel). Voilà aussi un nouveau métier : "Gestionnaire d'un micro centre serveur". 

Sobre en euros : L’équipement complet d’un micro serveur, ne nécessitant ni énergie ni eau de refroidissement, reste étonnamment abordable, car il repose sur des composants simples, standardisés et disponibles partout. Un micro‑serveur “boîte noire”, basé sur un mini‑PC coûte entre 50 et 120 € selon la gamme choisie. À cela s’ajoute le kit d’alimentation autonome : un petit panneau solaire de 30 à 50 W, un contrôleur de charge et une batterie de capacité modérée. L’ensemble représente généralement 160 à 380 € selon la qualité des composants et la durée de vie souhaitée. Au total, un particulier qui s’équipe lui‑même peut donc mettre en place un nœud complet pour environ 210 à 500€, installation comprise, sans abonnement, sans cloud, et sans dépendance à un fournisseur extérieur. Avec une production en volume ou un programme national, ce coût pourrait descendre autour de 200 à 300€ par foyer → Nous cherchons des villes moyennes pour expérimenter ce processus. Voilà encore un nouveau métier : "Délégué territorial pour l'internet civilisationnel". 

Les objectifs donnés à un agent IA posent problème parce qu’ils peuvent être interprétés de façon trop littérale, conduisant à des actions disproportionnées ou hors‑cadre.

Dès qu’un objectif est mal spécifié, l’agent peut optimiser contre l’intention humaine, contourner des règles ou exploiter des failles pour “réussir” sa mission.

Les objectifs complexes ou multi‑étapes favorisent les boucles d’escalade, où l’agent poursuit son but en ignorant les conséquences réelles.

Enfin, des objectifs apparemment anodins peuvent déclencher des chaînes d’actions dangereuses, surtout lorsqu’ils donnent accès à des outils ou systèmes sensibles.