Deel D · Capstone

Capstone

Ontwerp en bouw een extensie-set voor een echte casus

Zone: machine Zone: organisatie ± 1–2 dagdelen

Leerdoelen

Na de capstone kun je:

  • voor een team met echte eisen een extensie-set ontwerpen waarin elk onderdeel een aanleiding heeft, en die keuzes verdedigen;
  • die set bouwen en verspreiden als plugin, met guardrails die je los hebt getest;
  • aantonen dat het werkt en wat het kost: een eval-suite met baseline, en een meting van context en kosten.

Voorkennis-check

Twee vragen die het hele leerpad raken. Fout? C6 Het geheel is het beste startpunt.

Waar zitten we?

De capstone raakt alle lagen: je kiest een model en schat kosten (1–2), je ontwerpt wat er in de loop gebeurt (3), je bouwt de harness-uitbreiding (4), en je regelt verspreiding, beleid en meting voor een team (5).

De opdracht in drie lagen

Kern de opdracht en de oplevering

Kies een casus uit oefenrepo/capstone/casussen.md (platformteam, data-engineering of docs-team), of neem je eigen team. Werk in vijf fasen:

  1. Analyseren: zet de eisen op een rij en haal ze door de beslisboom hieronder. Let op eisen die twee mechanismen nodig hebben.
  2. Ontwerpen: vul ontwerp-sjabloon.md in: per eis het mechanisme, de plek, en hoe je het verifieert; de verpakking; de verdediging in lagen; context en kosten; evals; twee afwegingen.
  3. Bouwen: een plugin in een team-marketplace (C5), plus wat in de repo zelf of in managed settings hoort.
  4. Verifiëren: test elke guardrail los (C2), draai een eval-suite met baseline (D3), meet de vaste context met /context en een sessie met /usage (B4, D5).
  5. Toelichten: presenteer in tien minuten aan een collega: wat, waarom, en wat je bewust níét hebt gedaan.

Gebruik de beslisboom uit C6 per eis:

Oplevering: ontwerp.md, een werkende plugin in een marketplace (repo of map), een eval-suite met minstens drie cases, losse tests van je hooks, en een korte meting van context en kosten.

Verdieping beoordelingscriteria

Gebruik deze rubric om je eigen werk te beoordelen, of laat een collega het doen. "Goed" is het doel; "uitstekend" laat zien dat je de afwegingen doorziet.

Rubric capstone
CriteriumOnvoldoendeGoedUitstekend
Mechanismekeuze (C1–C6)"altijd"-eisen als instructie; skills voor alleselke eis in een passend mechanisme; altijd/nooit afgedwongencombinaties waar nodig (MCP + skill, skill + hook) en bewust weggelaten onderdelen
Context (B4, C1)alles in CLAUDE.md; geen idee wat er per sessie laadtCLAUDE.md kort; rules met paths; skills op aanvraag; gemeten met /contextvaste context per sessie gekwantificeerd en verantwoord
Verpakking (C5)losse bestanden om te kopiërenplugin met namespace en versie in een marketplacescheiding plugin / repo / managed settings duidelijk beargumenteerd
Verdediging (C2, D4)vertrouwt op prompts en goed gedragdeny-regels, hooks en sandbox voor de nooit-eisen; hooks los getestlagen per risico, inclusief wat buiten de machine moet; fail-closed waar nodig
Verificatie (D2, D3)"het werkte toen ik het probeerde"eval-suite met baseline; checks die Claude zelf draaitcases uit echte fouten; uitkomst- en procesgraders; transcripts gelezen
Kosten (D1, D5)geen ideeschatting per developer per dag; modelkeuze per rolgemeten; grootste post benoemd en verlaagd zonder kwaliteitsverlies (met eval als bewijs)
Toelichtingopsomming van bestandenper keuze een waaromtwee afwegingen in ADR-stijl, met alternatieven en gevolgen
Onder de motorkap checklist per fase

Analyseren

  • Per eis: is het "altijd/nooit" (afdwingen) of "oordeel" (model laten beslissen)?
  • Welke eisen gaan over een extern systeem (MCP), over isolatie (subagent), over verspreiding (plugin)?

Ontwerpen

  • Wat laadt in elke sessie, wat bij een bestandsmatch, wat op aanvraag?
  • Welke skills hebben bijeffecten (disable-model-invocation: true)?
  • Welke MCP-tools krijgen een allow-regel, welke nooit?
  • Wat moet in managed settings, en wat mag het team zelf?

Bouwen

  • claude plugin validate op plugin en marketplace.
  • ${CLAUDE_PLUGIN_ROOT} voor paden; state in ${CLAUDE_PLUGIN_DATA}.
  • Geen CLAUDE.md in de plugin-root; geen dubbele hooks met settings.

Verifiëren

  • Elke hook los getest met echo '…' | script; echo $?, ook het faalpad (onFailure).
  • Eval-suite: per case één resultaatgrader en één procesgrader; een case die test dat een skill niet triggert.
  • /context bij sessiestart; /usage na een representatieve taak.

Uitgewerkt voorbeeld: casus A, de eerste vijf eisen

ontwerp.md (fragment)

| # | Eis                         | Soort    | Mechanisme                          | Waar                              | Verificatie                         |
|---|-----------------------------|----------|-------------------------------------|-----------------------------------|-------------------------------------|
| 1 | nooit push naar main        | nooit    | hook + branch protection            | plugin hooks/ + git-server        | hook los getest; push-poging in run  |
| 2 | formatteren na edit         | altijd   | PostToolUse-hook                    | plugin hooks/                     | eval: file_exists + regex op output |
| 3 | API-conventies in src/api/  | oordeel  | rule met paths                      | API-repo .claude/rules/api.md     | InstructionsLoaded-log; review-eval |
| 4 | release in 9 stappen        | oordeel  | skill, disable-model-invocation     | plugin skills/release/            | eval: tool_order (tests vóór build) |
| 5 | Sentry bij debuggen         | extern   | MCP (HTTP) + skill sentry-triage    | plugin .mcp.json + skills/        | /mcp; eval met mock-server          |
  1. Twee lagen voor één nooit-eis: de hook geeft de agent direct feedback, branch protection houdt ook mensen en andere tools tegen (D4).
  2. Niet in de plugin: de conventies gelden alleen voor de API-repo. Een rule in die repo, niet in een plugin die alle vier de repo's krijgen.
  3. Bijeffecten: een release start alleen een mens. De volgorde ("tests vóór build") is te meten met een tool_order-grader.
  4. Verbinding plus kennis: de MCP-server levert de handen, de skill hoe het team errors triageert (C6). In evals vervang je de echte Sentry door een mock-MCP-server.
Doe-opdracht

De capstone

Starter: oefenrepo/capstone/ (casussen en ontwerpsjabloon). Bouwstenen uit eerdere oefenrepo's mag je hergebruiken: de no-push-main-hook (C2/D4), de review-plugin met evals (C5/D3), de test-runner-agent (C4).

Opdracht

  1. Kies een casus. Kopieer ontwerp-sjabloon.md naar ontwerp.md en vul sectie 1 in met de beslisboom.
  2. Vul de rest van het ontwerp in. Laat het lezen door een collega, of door Claude in een verse sessie: "review dit ontwerp tegen de eisen in casussen.md; noem alleen gaten die een eis niet afdekken".
  3. Bouw de plugin en de marketplace. claude plugin validate.
  4. Test de hooks los. Schrijf minstens drie eval-cases (waarvan één die controleert dat een skill niet triggert) en draai claude plugin eval.
  5. Meet: /context bij start van een sessie met de plugin, en /usage na een representatieve taak.
  6. Beoordeel jezelf met de rubric en schrijf twee afwegingen op.
Verwacht resultaat

Een ontwerp waarin elke eis terugkomt, met een mechanisme dat bij het soort eis past. Een plugin die valideert, guardrails die aantoonbaar blokkeren, en een eval-suite met positieve Δ waar de plugin iets toevoegt. Een meting die laat zien wat de setup per sessie kost aan vaste context.

Bij casus A zijn de lastige punten: eis 6 (subagent of niet? sinds 1M-vensters vooral om de ruis, niet om het venster), eis 8 (budget: modelkeuze per rol, /clear in de werkwijze) en eis 9 (deny-regels én sandbox denyRead, plus geen echte secrets lokaal).

Als je vastloopt, kijk naar …
  • Twijfel over een mechanisme: C6, "Twijfel je tussen twee antwoorden?".
  • Plugin laadt niet goed: C5, de valkuilen bij omzetten.
  • Evals geven ruis: D3, stabiele graders en --judge-model.
  • Te veel context: B4 en C1; meet eerst, verplaats dan.

Zelftoets