Loading
Projet 03 · Un carnet de terrain en dix parties
Un véritable encodeur BERT s'exécute dans votre navigateur, et son attention devient un diagramme interrogeable. Découvrez le tokenizer, la passe avant, la crise de mesure et le résultat négatif, dans l'ordre où ils sont devenus compréhensibles.
Neuf entrées du vocabulaire ne survivaient pas à la frappe. Le bug est resté invisible des semaines : la sortie semblait parfaitement raisonnable.
Trois matrices, un produit scalaire, un softmax. La ligne somme toujours à 1 — une contrainte que le modèle doit satisfaire, pas un résultat qu'il rapporte.
Choisir la tête la plus confiante sélectionnait une tête positionnelle à chaque fois. Elle rapportait « it → was, 0,962 » — la réponse qu'elle donne pour chaque mot de chaque phrase.
L'int8 naïf plafonnait la parité d'attention à 2,97e-2 — trente fois pire que la barre. Où dépenser la précision : voilà toute l'ingénierie.
La table d'embeddings pèse 31 254 528 octets. Une phrase de douze mots en utilise environ 20 Ko. HTTP Range fait que c'est la seule partie qui circule.
En médiane, 24 % de chaque ligne affichée avait déjà été supprimée avant que vous ne la voyiez. Au pire, 95 %. L'arithmétique était juste depuis le début.
Chaque ligne de rollout se situe entre 0,935 et 0,971 d'entropie normalisée. C'est une distribution uniforme déguisée en classement, et c'était la vue par défaut.
J'ai écrit le code et les tests à partir de la même idée fausse, et ils s'accordaient parfaitement. Tout était vert.
Il divise le problème par deux sans le dissoudre. [CLS] porte 0,63× la norme de valeur d'un token de contenu — pas le quasi-zéro annoncé. Quatre couches ne font pas douze.
Changez l'unique adjectif qui décide du référent de « it ». La réponse d'un lecteur s'inverse. Aucune des seize têtes ne change de gagnant.
Des milliers de particules. Des règles simples. Un comportement complexe semblable à la vie émerge spontanément.
Construit avec TypeScript et WebGPU — aucune structure n'est programmée, l'émergence se produit naturellement à partir d'une simple matrice d'attraction
