TECHNOLOGIES / GEN1 NEXUS
GEN1 Nexus
Le calcul local est réalisable avec du matériel existant. La performance dépend des modèles et des tâches, pas du nom du concept.
Répartir les tâches au bon endroit
Tableau : glissez horizontalement si nécessaire.
| Composant de référence | Rôle réaliste | Limite à garder |
|---|---|---|
| Pi 5 | Réception, base de mesures, API, supervision et interface locale. Ethernet Gigabit pour une liaison stable. | Alimentation 5 V / 5 A et refroidissement adaptés. La puissance du bloc secteur n’est pas la consommation réelle. |
| Coral USB | Détecteur ou classificateur compact compatible Edge TPU : par exemple cadrer une étiquette dans une image. | Modèle TensorFlow Lite quantifié 8 bits, compilé pour Edge TPU. Ce n’est pas un accélérateur universel pour un grand modèle de langage. |
| GPU 16 Go / GB | Chat local, aide au code, OCR ou vision sur un modèle choisi et mesuré. | La RTX 4080 SUPER possède 16 Go de VRAM. Le contexte, les activations et le moteur utilisent de la mémoire en plus des poids. |
Ce que la mémoire permet d’envisager
Ordre de grandeur, poids seuls : 8 milliards de paramètres à 4 bits = 4 Go décimaux; 24 milliards = 12 Go. Les formats réels ajoutent métadonnées et surcoûts. Un 8B quantifié est une première cible plus prudente sur 16 Go; aucun débit en jetons/s ni contexte maximal n’est promis avant essai.
L’OCR de la démo Filaments fonctionne déjà dans le navigateur. Ajouter un Coral implique un modèle de détection compatible et une liaison vers un serveur; cela ne donne pas automatiquement une meilleure lecture. Commencer par comparer qualité et latence de la solution existante.
Un serveur local limite les transferts si les logiciels et leur configuration le respectent. Il faut encore des droits d’accès, des mises à jour et des sauvegardes. « Local » ne prouve ni confidentialité absolue ni disponibilité permanente.
Preuve attendue
Constituer 50 tâches représentatives : 20 lectures d’étiquettes, 20 questions sur des documents publics, 10 tâches de code isolées. Mesurer le taux de réussite, la latence, le pic mémoire et les Wh par tâche. Conserver le nom, la version, la licence et les réglages du modèle.
Choix G1X : optimiser le matériel disponible avant d’acheter un autre ordinateur. Une alimentation de 1 000 W ne signifie pas une consommation continue de 1 000 W. Mesurer à la prise.