Deel D · Capstone
Capstone
Ontwerp en bouw een extensie-set voor een echte casus
Leerdoelen
Na de capstone kun je:
- voor een team met echte eisen een extensie-set ontwerpen waarin elk onderdeel een aanleiding heeft, en die keuzes verdedigen;
- die set bouwen en verspreiden als plugin, met guardrails die je los hebt getest;
- aantonen dat het werkt en wat het kost: een eval-suite met baseline, en een meting van context en kosten.
Voorkennis-check
Twee vragen die het hele leerpad raken. Fout? C6 Het geheel is het beste startpunt.
Waar zitten we?
De capstone raakt alle lagen: je kiest een model en schat kosten (1–2), je ontwerpt wat er in de loop gebeurt (3), je bouwt de harness-uitbreiding (4), en je regelt verspreiding, beleid en meting voor een team (5).
De opdracht in drie lagen
Kern de opdracht en de oplevering
Kies een casus uit oefenrepo/capstone/casussen.md (platformteam, data-engineering of docs-team), of neem je eigen team. Werk in vijf fasen:
- Analyseren: zet de eisen op een rij en haal ze door de beslisboom hieronder. Let op eisen die twee mechanismen nodig hebben.
- Ontwerpen: vul
ontwerp-sjabloon.mdin: per eis het mechanisme, de plek, en hoe je het verifieert; de verpakking; de verdediging in lagen; context en kosten; evals; twee afwegingen. - Bouwen: een plugin in een team-marketplace (C5), plus wat in de repo zelf of in managed settings hoort.
- Verifiëren: test elke guardrail los (C2), draai een eval-suite met baseline (D3), meet de vaste context met
/contexten een sessie met/usage(B4, D5). - Toelichten: presenteer in tien minuten aan een collega: wat, waarom, en wat je bewust níét hebt gedaan.
Gebruik de beslisboom uit C6 per eis:
Oplevering: ontwerp.md, een werkende plugin in een marketplace (repo of map), een eval-suite met minstens drie cases, losse tests van je hooks, en een korte meting van context en kosten.
Verdieping beoordelingscriteria
Gebruik deze rubric om je eigen werk te beoordelen, of laat een collega het doen. "Goed" is het doel; "uitstekend" laat zien dat je de afwegingen doorziet.
| Criterium | Onvoldoende | Goed | Uitstekend |
|---|---|---|---|
| Mechanismekeuze (C1–C6) | "altijd"-eisen als instructie; skills voor alles | elke eis in een passend mechanisme; altijd/nooit afgedwongen | combinaties waar nodig (MCP + skill, skill + hook) en bewust weggelaten onderdelen |
| Context (B4, C1) | alles in CLAUDE.md; geen idee wat er per sessie laadt | CLAUDE.md kort; rules met paths; skills op aanvraag; gemeten met /context | vaste context per sessie gekwantificeerd en verantwoord |
| Verpakking (C5) | losse bestanden om te kopiëren | plugin met namespace en versie in een marketplace | scheiding plugin / repo / managed settings duidelijk beargumenteerd |
| Verdediging (C2, D4) | vertrouwt op prompts en goed gedrag | deny-regels, hooks en sandbox voor de nooit-eisen; hooks los getest | lagen per risico, inclusief wat buiten de machine moet; fail-closed waar nodig |
| Verificatie (D2, D3) | "het werkte toen ik het probeerde" | eval-suite met baseline; checks die Claude zelf draait | cases uit echte fouten; uitkomst- en procesgraders; transcripts gelezen |
| Kosten (D1, D5) | geen idee | schatting per developer per dag; modelkeuze per rol | gemeten; grootste post benoemd en verlaagd zonder kwaliteitsverlies (met eval als bewijs) |
| Toelichting | opsomming van bestanden | per keuze een waarom | twee afwegingen in ADR-stijl, met alternatieven en gevolgen |
Onder de motorkap checklist per fase
Analyseren
- Per eis: is het "altijd/nooit" (afdwingen) of "oordeel" (model laten beslissen)?
- Welke eisen gaan over een extern systeem (MCP), over isolatie (subagent), over verspreiding (plugin)?
Ontwerpen
- Wat laadt in elke sessie, wat bij een bestandsmatch, wat op aanvraag?
- Welke skills hebben bijeffecten (
disable-model-invocation: true)? - Welke MCP-tools krijgen een allow-regel, welke nooit?
- Wat moet in managed settings, en wat mag het team zelf?
Bouwen
claude plugin validateop plugin en marketplace.${CLAUDE_PLUGIN_ROOT}voor paden; state in${CLAUDE_PLUGIN_DATA}.- Geen CLAUDE.md in de plugin-root; geen dubbele hooks met settings.
Verifiëren
- Elke hook los getest met
echo '…' | script; echo $?, ook het faalpad (onFailure). - Eval-suite: per case één resultaatgrader en één procesgrader; een case die test dat een skill niet triggert.
/contextbij sessiestart;/usagena een representatieve taak.
Uitgewerkt voorbeeld: casus A, de eerste vijf eisen
ontwerp.md (fragment)
| # | Eis | Soort | Mechanisme | Waar | Verificatie |
|---|-----------------------------|----------|-------------------------------------|-----------------------------------|-------------------------------------|
| 1 | nooit push naar main | nooit | hook + branch protection | plugin hooks/ + git-server | hook los getest; push-poging in run |
| 2 | formatteren na edit | altijd | PostToolUse-hook | plugin hooks/ | eval: file_exists + regex op output |
| 3 | API-conventies in src/api/ | oordeel | rule met paths | API-repo .claude/rules/api.md | InstructionsLoaded-log; review-eval |
| 4 | release in 9 stappen | oordeel | skill, disable-model-invocation | plugin skills/release/ | eval: tool_order (tests vóór build) |
| 5 | Sentry bij debuggen | extern | MCP (HTTP) + skill sentry-triage | plugin .mcp.json + skills/ | /mcp; eval met mock-server |
- Twee lagen voor één nooit-eis: de hook geeft de agent direct feedback, branch protection houdt ook mensen en andere tools tegen (D4).
- Niet in de plugin: de conventies gelden alleen voor de API-repo. Een rule in die repo, niet in een plugin die alle vier de repo's krijgen.
- Bijeffecten: een release start alleen een mens. De volgorde ("tests vóór build") is te meten met een
tool_order-grader. - Verbinding plus kennis: de MCP-server levert de handen, de skill hoe het team errors triageert (C6). In evals vervang je de echte Sentry door een mock-MCP-server.
De capstone
Starter: oefenrepo/capstone/ (casussen en ontwerpsjabloon). Bouwstenen uit eerdere oefenrepo's mag je hergebruiken: de no-push-main-hook (C2/D4), de review-plugin met evals (C5/D3), de test-runner-agent (C4).
Opdracht
- Kies een casus. Kopieer
ontwerp-sjabloon.mdnaarontwerp.mden vul sectie 1 in met de beslisboom. - Vul de rest van het ontwerp in. Laat het lezen door een collega, of door Claude in een verse sessie: "review dit ontwerp tegen de eisen in casussen.md; noem alleen gaten die een eis niet afdekken".
- Bouw de plugin en de marketplace.
claude plugin validate. - Test de hooks los. Schrijf minstens drie eval-cases (waarvan één die controleert dat een skill niet triggert) en draai
claude plugin eval. - Meet:
/contextbij start van een sessie met de plugin, en/usagena een representatieve taak. - Beoordeel jezelf met de rubric en schrijf twee afwegingen op.
Verwacht resultaat
Een ontwerp waarin elke eis terugkomt, met een mechanisme dat bij het soort eis past. Een plugin die valideert, guardrails die aantoonbaar blokkeren, en een eval-suite met positieve Δ waar de plugin iets toevoegt. Een meting die laat zien wat de setup per sessie kost aan vaste context.
Bij casus A zijn de lastige punten: eis 6 (subagent of niet? sinds 1M-vensters vooral om de ruis, niet om het venster), eis 8 (budget: modelkeuze per rol, /clear in de werkwijze) en eis 9 (deny-regels én sandbox denyRead, plus geen echte secrets lokaal).
Als je vastloopt, kijk naar …
- Twijfel over een mechanisme: C6, "Twijfel je tussen twee antwoorden?".
- Plugin laadt niet goed: C5, de valkuilen bij omzetten.
- Evals geven ruis: D3, stabiele graders en
--judge-model. - Te veel context: B4 en C1; meet eerst, verplaats dan.