Quatre figures à manipuler pour voir ce qui fait tourner un datacenter d'IA : le bâtiment entier et ses flux, des serveurs de 10 kW, une boucle d'eau qui emporte 120 kW par rack, et une chaîne électrique qui ne laisse jamais le rack sans courant.
Je bosse presque exclusivement sur macOS depuis plus de dix ans. Depuis une semaine, j’utilise Omarchy pour développer des applications sur ma tour PC. J’ai aussi profité des derniers jours pour l’installer et le tester sur un Mac mini Intel de 2018 avec puce T2.
Serveur Linux sur un Mac mini T2, accès privé, Discord, veille IA/dev et métadonnées Gmail en lecture seule : ce que j’ai construit, ce qui a cassé et ce qui reste à valider.
Passer d’une start-up qui bricolait son infrastructure avec des GPU en mode homelab à une organisation plus industrielle demande du temps. Les échanges avec le B2B ont sans doute contribué à cette progression. Quoi qu’il en soit, si le rythme des modèles s’accélère, l’UE
Sujets repérés · Modèles & recherche · Infra & self-host
Qwen-Image-2.1-Turbo sur notre Spark (GB10), en INT8 dans ComfyUI : 8 pas au lieu de 40 à 50, et une image 2048×1152 passe de 108s à 21s. En 1024 px : 7,6s. Retouche : 14s. Le RGBA fonctionne aussi : détourage net, 74 173 pixels transparents (vs 76 157), et 4,1s au lieu de 12,3s https://t.co/8EFL918Z4q
On bosse sur le portage XPU et le support de la carte Arc Pro B70 sur #TensorFold version Zig, avec pas mal d'optimisations disponibles sur la table, notamment au niveau XMX et OpenCL. Objectif : 2400 tok/s en prefill et 100+ en decode @ashxhart @fragtalife @IntelFrance #LocalAI https://t.co/YyUxI7fBhR
Sujets repérés · Modèles & recherche · Infra & self-host
On porte TensorFold (moteur d’inférence en Zig) sur l’Intel Arc Pro B70. Premier chantier : le GEMM int4 du Qwen 27B, écrit avec nGEN, le générateur d’assembleur de oneDNN. 🧵 https://t.co/0u0TJO17kQ
Sujets repérés · Modèles & recherche · Infra & self-host
TensorFold sur Intel Arc Pro B70 : un moteur Zig natif (Level Zero, sans PyTorch) qui fait tourner Qwen3.8-27B en 4 bits à 2 300 tok/s en préremplissage (activations int8, perplexité +0,1 %) et jusqu'à 137 tok/s en décodage avec DFlash2 en arbre, réponses identiques au décodage https://t.co/gkqFtvlFOP
Sujets repérés · Modèles & recherche · Infra & self-host
C'est un sacré jalon ce soir. J'ai proposé à @ashxhart un backend Intel Arc Pro B70 (Xe2) natif pour TensorFold Zig v1.0.9 : Qwen3.8-27B directement sur Level Zero, sans PyTorch ni SYCL. Sur une seule B70 : 166 tok/s en décodage (vLLM-XPU : 79), ~2 000 tok/s en prefill et