Aller au contenu
LE LAB X

Ressources

Tous les sujets

Infra & self-host

Machines locales, déploiements, données et stacks que l’on garde sous contrôle.

3 articles6 signaux

Articles

Signaux

DumbleD@dumblebackdoor

DumbleD

@dumblebackdoor

Publication avec citation · Infra & self-host

Passer d’une start-up qui bricolait son infrastructure avec des GPU en mode homelab à une organisation plus industrielle demande du temps. Les échanges avec le B2B ont sans doute contribué à cette progression. Quoi qu’il en soit, si le rythme des modèles s’accélère, l’UE

  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Modèles & recherche · Infra & self-host

Qwen-Image-2.1-Turbo sur notre Spark (GB10), en INT8 dans ComfyUI : 8 pas au lieu de 40 à 50, et une image 2048×1152 passe de 108s à 21s. En 1024 px : 7,6s. Retouche : 14s. Le RGBA fonctionne aussi : détourage net, 74 173 pixels transparents (vs 76 157), et 4,1s au lieu de 12,3s https://t.co/8EFL918Z4q

  • Modèles & recherche
  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Infra & self-host

On bosse sur le portage XPU et le support de la carte Arc Pro B70 sur #TensorFold version Zig, avec pas mal d'optimisations disponibles sur la table, notamment au niveau XMX et OpenCL. Objectif : 2400 tok/s en prefill et 100+ en decode @ashxhart @fragtalife @IntelFrance #LocalAI https://t.co/YyUxI7fBhR

  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Modèles & recherche · Infra & self-host

On porte TensorFold (moteur d’inférence en Zig) sur l’Intel Arc Pro B70. Premier chantier : le GEMM int4 du Qwen 27B, écrit avec nGEN, le générateur d’assembleur de oneDNN. 🧵 https://t.co/0u0TJO17kQ

  • Modèles & recherche
  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Modèles & recherche · Infra & self-host

TensorFold sur Intel Arc Pro B70 : un moteur Zig natif (Level Zero, sans PyTorch) qui fait tourner Qwen3.8-27B en 4 bits à 2 300 tok/s en préremplissage (activations int8, perplexité +0,1 %) et jusqu'à 137 tok/s en décodage avec DFlash2 en arbre, réponses identiques au décodage https://t.co/gkqFtvlFOP

  • Modèles & recherche
  • Infra & self-host
DumbleD

@dumblebackdoor

Sujets repérés · Modèles & recherche · Infra & self-host

C'est un sacré jalon ce soir. J'ai proposé à @ashxhart un backend Intel Arc Pro B70 (Xe2) natif pour TensorFold Zig v1.0.9 : Qwen3.8-27B directement sur Level Zero, sans PyTorch ni SYCL. Sur une seule B70 : 166 tok/s en décodage (vLLM-XPU : 79), ~2 000 tok/s en prefill et

  • Modèles & recherche
  • Infra & self-host