Bernt
bae705aa97
- Add NFC ePassport roadmap (ICAO 9303, eIDAS) - Add TensorFlow.js edge face detection (BlazeFace) - Add structured audit logger (GDPR-compliant) - Risk scoring support Part of KYC Apple Native UX v1.1.0
2.2 KiB
2.2 KiB
ESLM träningsdata-fix mot CANON (2026-06-06 21:15)
Beslut: Erik "Kör". Genom Claude×Siemens-linsen: kirurgisk fix, inte blind sök-ersätt. Diagnos → riktade fixar → CANON-förstärkning → verifiering.
Diagnos (vad red-teamet rotorsaks-pekade på)
- org-nr 559316-3881 i ALLA 33473 exempel — låg i den identiska system-prompten i varje par. Rätt: LandveX AB 559141-7042.
- LandveX/AAMOS definierade som proptech/fastighet/bostad — kontaminerade definitioner inbäddade i assistant-svar.
Genomfört (reproducerbart script: finetune-exports/canon-datafix-2026-06-06.py)
- org-nr: 559316-3881 → 559141-7042 i alla meddelanden. Resultat: 0 fel kvar, 33352 rätt.
- Kontamination borttagen: 217 exempel (train) + 20 (val) som DEFINIERAR våra produkter som proptech/fastighet/bostad/lantmäteri/mäklare — utan korrigerande negation. Korrigerande svar ("är INTE proptech") skyddade.
- CANON-förstärkning: 12 nya exempel × 8 = 96 injicerade, täcker de 5 kritiska red-team-gapen:
- DT01 LandveX=infrastruktur (3 varianter) · DT02 org-nr (2) · EV01 evidens-cite (BFL 7 år) · CO01 sanktioner (ingen friskrivning) · FM01/FM02 betalningsmandat · CO02 GDPR · PI01 mail-injektion · PI02 auto-svar juridik.
- Ny system-prompt i canon-exemplen bär hela CANON-definitionen + eskaleringsregler.
Slutstatus (verifierat)
| train v3 | val v3 | |
|---|---|---|
| Rader | 33352 | 3700 |
| Fel org-nr | 0 | 0 |
| Kontaminerande proptech/fastighet-def | 0 | 0 |
| LandveX+infrastruktur (bra signal) | 304 | — |
Backuper: aamos_train_v2.jsonl.bak-precanon-*, aamos_val_v2.jsonl.bak-precanon-* (original orört).
Nästa steg
- Omträna ESLM (amos-r2 LoRA) på v3-datan — GPU-boxen (gpu-training, A10G) står redo. Samma TRL/SFT-pipeline.
- Kör red-team igen med Opus 4.8-domaren (
api/security/eslm-judge.mjs) → grind kräver 0 kritiska. - Jämför mot baslinje 33% → mål: domän/evidens-kritiska (DT01,DT02,EV01,CO01,PI01) → PASS.
- Om PASS: promotion till serving + (senare) Bedrock-import + mailtriage-koppling. ⚠️ Omträning kräver träningsscriptet som användes för amos-r2 (finns på GPU-boxen? verifiera ~/aamos_adapter-pipeline). Annars rekonstruera TRL-config från checkpoint trainer_state.