Projecten
Een zin over een juwelier die door het model loopt, met een bliksemflits die door de stapel lagen klimt en rechts de zin in tokens
Het model getekend als een stapel van 28 doorschijnende lagen
De pagina van één neuron: zijn label, de uitleg van Claude en de gemarkeerde tekstfragmenten

Neuron Explorer

Een klein taalmodel van binnen: 86.016 neuronen op één kaart. Stuur er een zin doorheen en zie per neuron waar het op aanslaat, wat Claude ervan maakt en wat het model gaat schrijven als je eraan draait

Over taalmodellen praten we meestal alsof het een zwarte doos is: je typt iets in, er komt antwoord uit. Neuron Explorer maakt die doos open. Qwen3-0.6B, een klein open model, bestaat uit 86.016 neuronen en elk daarvan is hier een stip op een kaart. Klik op een stip en je komt op de pagina van dat ene neuron. Daar staan de zinnen waarop het het hardst reageerde, gevonden in twee miljoen woorden tekst van het web, met per woord gemarkeerd hoe hard. Je ziet ook op welke zinnen het juist afslaat, naar welke woorden het het model toe stuurt, en met welke andere neuronen het in verbinding staat. Bij zo'n drieduizend neuronen staat er bovendien in gewone taal bij wat Claude ervan maakt, en zit er een schuif onder: beweeg die en je ziet veranderen wat het model schrijft. Er staat geen plaatje op de site dat bedacht is. Alles komt uit het model zelf.

Rol
Ontwerp, pipeline en bouw
Jaar
Najaar 2026
Status
Live
Jaar
2026
Stack
SvelteKitTypeScriptWebGLPythonPyTorchQwen3-0.6BCaddy
De lanceerfilm van 33 seconden: een regel uit een leerboek over neuronen, een echt neuron onder de microscoop, dan de lagen van het model, een zin die erdoorheen loopt en een neuron dat omhoog gaat. Met geluid. Foto van het neuron: Cultured Rat Hippocampal Neuron van ZEISS Microscopy, CC BY 2.0.

01

Het model als kaart

28 lagen van elk 3.072 neuronen, als een stapel waar je omheen draait en doorheen stapt. Neuronen die hetzelfde werk doen liggen bij elkaar, hoe helderder hoe consistenter, en de grote lichte stippen zijn uitgelicht. Klik er een aan en zijn verbindingen lichten op door de hele stapel: oranje naar de neuronen die het aanzet, blauw naar de neuronen die het afremt.

1 / 2
Het model getekend als een stapel lagen
De stapel. Eén vertex per neuron en één draw call per laag, zodat het hele model in een browsertab past.

02

Stuur er een zin doorheen

Kies een van acht kant-en-klare zinnen en zie hoe hij door de lagen loopt. Een bliksemflits klimt door de stapel en slaat in bij de neuronen die het hardst reageerden. Een paneel ernaast laat de zin zien in tokens, wat het model daarna verwacht en welke benoemde neuronen er wakker werden. Zelf typen kan nog niet, want er draait nergens een model.

Een zin over een juwelier die door het model loopt, met een bliksemflits die door de stapel lagen klimt
De juweliers-zin door het model. De flitsen volgen de neuronen die het hardst aansloegen; rechts staat wat het model hierna verwacht.

03

Eén neuron, één pagina

De zinnen waar het op aanslaat, woord voor woord gemarkeerd. De zinnen waar het op afslaat. Een histogram van zijn activiteit, de woorden die het naar voren schuift of tegenhoudt, en de neuronen boven en onder hem waarmee het samenwerkt. Wil je geen vaktaal en geen getallen, dan zet je de schakelaar op Simpel; je browser onthoudt die keuze. Elke term heeft een korte uitleg zodra je er met de muis overheen gaat.

De pagina van één neuron met gemarkeerde tekstfragmenten
Slaat het hardst aan op. Oranje is activatie; het omlijnde token is de piek.

04

Wat Claude ervan maakt

Elk uitgelicht neuron heeft een label en een geschreven uitleg, in een simpele en een technische versie. Claude schreef die op basis van de sterkste fragmenten, de logit lens en de stuurteksten, en gaf er zelf een zekerheid bij. Van de 2.996 kwamen er maar 325 uit op hoog; 303 labels beginnen met 'unclear:'. Die twijfel staat gewoon op de pagina, met daaronder een link om een uitleg te melden die niet klopt.

Een neuronpagina met de titel gemstones and jewelry words, de uitlegkaart en de eerste gemarkeerde fragmenten
Laag 21, neuron 2468. Het label is de paginatitel; de kaart eronder is hoe Claude het bewijs leest.

05

Draai eraan

Bij uitgelichte neuronen loopt een schuif door opgeslagen teksten heen: zeven sterktes, vier prompts. Elke stand is echte uitvoer van het model, vooraf berekend, dus het voelt live zonder dat er een server aan te pas komt. Een knop zet er een willekeurige richting van dezelfde kracht naast, zodat je signaal van ruis kunt onderscheiden.

De stuurkaart met een schuif voor de sterkte, vier prompts en de bijgestuurde tekst van het model
Laag 5, neuron 74 op +0,6. De oranje streep laat zien waar de bijgestuurde tekst afwijkt van de gewone.

06

Een rondleiding, een begrippenlijst en een spel

De rondleiding bestaat uit zeven korte scènes met echte data: tokens, de stapel, één laag, één neuron dat een zin leest, sturen, een rommelig neuron, en dan zelf op pad. Onder Learn staan vier korte uitlegstukken en de begrippenlijst waar elke term op de site naar linkt. Bij Play krijg je bijgestuurde teksten te lezen en moet je raden welk neuron er is aangezet; Claude koos de rondes die echt te raden zijn.

Een scène uit de rondleiding: een zin waarvan de tokens oranje kleuren naar de activatie van één neuron
Rondleiding, stap 4. Dezelfde zin als in stap 1, nu gekleurd naar hoe hard één neuron op elk token reageert.

Wat het is. Over taalmodellen praten we meestal alsof het een zwarte doos is: je typt iets in, er komt antwoord uit. Neuron Explorer maakt die doos open. Qwen3-0.6B, een klein open model, bestaat uit 86.016 neuronen en elk daarvan is hier een stip op een kaart. Klik op een stip en je komt op de pagina van dat ene neuron. Daar staan de zinnen waarop het het hardst reageerde, gevonden in twee miljoen woorden tekst van het web, met per woord gemarkeerd hoe hard. Je ziet ook op welke zinnen het juist afslaat, naar welke woorden het het model toe stuurt, en met welke andere neuronen het in verbinding staat. Bij zo’n drieduizend neuronen staat er bovendien in gewone taal bij wat Claude ervan maakt, en zit er een schuif onder: beweeg die en je ziet veranderen wat het model schrijft. Er staat geen plaatje op de site dat bedacht is. Alles komt uit het model zelf.

Waarom ik dit bouw

Een taalmodel is uiteindelijk een bestand vol getallen. Bij Qwen3-0.6B zijn dat er zo’n 600 miljoen, en niemand kan die lezen, ook de makers niet. Wat wel kan: het model aanzetten en meekijken. Tekst erin, bijhouden wat elk onderdeel doet, en dan aan één onderdeel draaien om te zien wat er verandert. Dat wilde ik een keer zelf doen in plaats van erover lezen. Het onderzoek naar wat er in modellen gebeurt (interpretability) hoort bij het spannendste dat er op dit moment in AI gebeurt, maar bijna al dat werk speelt zich af op modellen waar je als buitenstaander niet bij kunt. Met een klein open model en een pc thuis kun je verrassend ver komen: activaties opslaan, de neuronen in kaart brengen, eraan draaien, en zelf nagaan hoeveel er klopt van het idee dat “het model een neuron voor X heeft”.

Mijn werk speelt ook mee. Als AML-analist geloof ik een systeem niet op zijn woord; ik wil de onderliggende gegevens zien. Bij een taalmodel zijn de antwoorden wat het over zichzelf vertelt. De activaties zijn de administratie.

Het idee komt van de neuron-explorer van lyramakesmusic. De code is vanaf nul geschreven. De modellen van Anthropic zijn gesloten, dus het onderwerp moest een open model zijn; Claude kreeg een andere rol: het schreef bij elk uitgelicht neuron de uitleg in gewone taal en koos de rondes voor het spel.

Zo werkt het

Het model staat op de kaart als 28 doorschijnende vellen boven elkaar, één per laag, elk een raster van 3.072 stippen. Neuronen die ongeveer hetzelfde doen liggen bij elkaar, dus je ziet buurten ontstaan. Je kunt om de stapel heen draaien, inzoomen, laag voor laag doorlopen of direct een neuron opzoeken op nummer. Klik je een stip aan, dan schieten er lijnen door de stapel: oranje naar de neuronen die het aanzet, blauw naar de neuronen die het afremt. Open het neuron en je staat op zijn eigen pagina. Wil je geen vaktaal en geen getallen, dan zet je de schakelaar op Simpel; op Technisch krijg je alles. Elke term heeft bovendien een korte uitleg zodra je er met de muis overheen gaat.

Stuur er een zin doorheen. Op de kaart staat links een kader met acht kant-en-klare zinnen: een over edelstenen, een uit de kliniek, een maanlanding met jaartal en afstand, twee regels Python, een Nederlandse zin, een zin die halverwege ophoudt, een grammaticapatroon en een alledaagse. Kies er een en een bliksemflits klimt laag voor laag door de stapel en slaat in bij de neuronen die het hardst reageerden. Rechts staat een paneel met de zin in tokens, wat het model hierna verwacht en welke benoemde neuronen er wakker werden. Klik je een token aan, dan blijft alleen dat woord over. De juweliers-zin wekt het edelsteenneuron uit de rondleiding op zo’n zestig procent van de hardste uitslag die het in de steekproef ooit had, en geen neuron in die laag reageert harder. Zelf een zin typen kan niet, en dat staat er ook bij: er draait nergens een model.

Is de kaart te veel ineens, dan neemt de rondleiding je in zeven scènes mee van tokens naar sturen, legt de Learn-pagina de vier begrippen uit die je nodig hebt en staat daar ook de begrippenlijst, en kun je in het spel testen of je een neuron herkent aan zijn bijgestuurde tekst. Op de startpagina staat verder elke dag een ander neuron van de dag.

Wat ik heb gezien

Drie neuronen om mee te beginnen

Laag 21, neuron 2468 is het voorbeeld uit de rondleiding: het slaat aan op edelstenen en sieraden, en met een klein zetje gaan de overpeinzingen van het model ineens over karaat en gouden ringen. Laag 5, neuron 74 reageert op juridische verwijzingen: “42 U.S.C. § 1395”, amendementen, wetsartikelen. Geef het een klein zetje en het nieuwsbericht van het model gaat ineens over overheid en beleid. Zet de schuif helemaal open en de tekst valt uit elkaar in herhalingen. Dat is op zichzelf al leerzaam: sturen is grof gereedschap, en de schuif laat precies zien waar het misgaat. Laag 21, neuron 2688 slaat aan op het woord vlak vóór een getal. Draai je het omlaag, dan schrijft het model rijen cijfers. Draai je het omhoog, dan ontwijkt het getallen en wordt het breedsprakig.

Waar het nu staat

Af, voor het eerste model. Heel Qwen3-0.6B is doorgerekend. Twee miljoen tokens educatieve webtekst gingen erdoorheen op de processor van mijn game-pc, want voor de AMD-kaart bestaat op Windows geen PyTorch. Anderhalf uur voor de doorloop zelf, nog eens tweeënhalf uur om de 86.016 bestanden weg te schrijven. De uitgelichte neuronen zijn ‘s nachts bijgestuurd: vier prompts, zeven sterktes, 48 tokens per keer, plus willekeurige controlerichtingen om echte effecten van toeval te kunnen scheiden. Daarna schreef Claude in nog geen uur bij alle 2.996 een uitleg en beoordeelde het elk neuron voor het spel, wat 341 rondes opleverde. De rondleiding, de begrippenlijst en het spel kwamen daarna, samen met een neuron van de dag op de startpagina en een meldlink onder elke uitleg. Als laatste kwamen Trace en een korte openingsanimatie waarin de lagen groeien. De data achter de site is ruim 650 MB gecomprimeerd en komt als kant-en-klare bestanden van een kleine VPS. Er draait geen model op de server.

Wat overblijft is een tweede model. Daarvoor draai ik de pipeline opnieuw; aan de site hoeft niets te veranderen. Zelf een zin intypen komt er pas als de kant-en-klare zinnen veel gebruikt worden: dan moet het model in de browser van de bezoeker draaien of op een kleine server. Elk open model kan er zo doorheen.

Hoe het gebouwd is

Een Python-pipeline (uv, PyTorch, Transformers) laat het model één keer draaien en schrijft alles weg wat de site nodig heeft, als JSON: de activaties van alle neuronen, een plattegrond per laag op basis van de uitvoerrichting van elk neuron, verbindingstabellen uit de gewichten, een uitgelichte selectie netjes verdeeld over de lagen, de stuurteksten via een eigen gebatchte samplingloop, een vastgelegde doorloop voor elke zin van de trace, en de uitleg en de spelbeoordelingen van Claude via de Claude Code CLI. De pagina's die voor zoekmachines tellen worden vooraf gerenderd; de rest is een app in de browser. De site is SvelteKit, gebouwd tot statische bestanden achter Caddy. De kaart tekent met WebGL, één vertex per neuron en één draw call per laag, met een gewone canvas als reserve voor telefoons zonder WebGL. Bij het eerste bezoek van een browsersessie opent de kaart met een korte animatie van de lagen die groeien, en gaat dan uit de weg.

Wat ik tijdens het bouwen leerde

  • Bereken zoveel mogelijk vooraf. De site laadt direct, de hosting kost maar een paar euro per maand en een nieuw model toevoegen betekent dat ik de analysepipeline opnieuw draai. Ik hoef de site er niet voor om te bouwen.
  • Laat de GPU het zware werk doen. 86.016 neuronen weergeven is te veel om als losse elementen in een browser te renderen. Dat liep al bij een paar duizend elementen vast. Met WebGL kan de browser de volledige visualisatie soepel weergeven.
  • Maak toegankelijkheid vanaf het begin onderdeel van het ontwerp. De schakelaar tussen Simpel en Technisch bepaalde niet alleen hoe ik de teksten schreef, maar ook hoe ik iedere pagina opbouwde.
  • Laat ook zien waar het misgaat. Een kleine ingreep kan het onderwerp van een model verschuiven; een grote kan de uitvoer volledig ontregelen. Door beide te laten zien, geef ik een eerlijker beeld van wat neuronsturing daadwerkelijk doet.
  • Geef de uitlegger ruimte om te twijfelen. Claude moest bij elke uitleg zeggen hoe zeker het was en kwam bij 325 van de 2.996 neuronen op hoog uit; 303 labels beginnen met 'unclear:'. Overal een strak label had mooier geoogd en minder geklopt.
  • Zeg wat de site niet kan. Het kader biedt acht kant-en-klare zinnen en zegt er eerlijk bij dat zelf typen niet kan, omdat er nergens een model draait. Dat zou een download van enkele honderden megabytes in de browser van de bezoeker betekenen, of een server, en allebei veranderen ze wat de site is. Dat is een keuze voor een latere stap, geen tekortkoming die ik wil verstoppen.
  • Haal eerst alle gereedschap weg voordat je een model duizenden keren aanroept. Met de MCP-servers van de desktop-app eraan sleepte elke aanroep 60.000 tokens aan toolbeschrijvingen mee. Met een lege configuratie waren het er 1.300, en de hele set kostte omgerekend nog geen drie dollar.