Private AI en lokale LLM’s: AI die binnen je muren blijft

Waarom private AI?

• AVG/GDPR: bij on-premise of een Europese hostingpartij blijven prompts en documenten in de EU. Zo vermijd je doorgifte naar derde landen en beperk je het risico op de US CLOUD Act.
• Bedrijfsgeheimen: je data wordt niet gebruikt om modellen van anderen te trainen.
• Voorspelbare kosten: geen prijs per token die meegroeit met gebruik. Een vaste server, vaste kosten.
• Werkt offline: ook in de fabriek, in het voertuig of op locatie zonder internet.

Wat we opzetten

• Open-weight modellen zoals Mistral, Llama en Qwen, gedraaid met vLLM of Ollama op je eigen GPU-server of bij een EU-hostingpartij.
• Een kennisassistent (RAG) over je eigen documenten, met rechten per gebruiker en bronvermelding bij elk antwoord.
• Een hybride opzet als dat beter past: gevoelige data lokaal, generieke taken via een EU-endpoint van een groot model.
• Monitoring, evaluatie-sets en logging, zodat je kunt aantonen wat het systeem doet.

EU AI Act: wat moet je als MKB nu weten?

De AI Act geldt in fases. Verboden toepassingen en de plicht tot AI-geletterdheid voor medewerkers gelden al sinds februari 2025. Regels voor general-purpose AI gelden sinds augustus 2025. Via het Digital Omnibus-pakket stelt de EU de zware verplichtingen voor hoog-risico AI uit, naar verwachting tot december 2027 (losstaande systemen) en augustus 2028 (AI in producten). Transparantieplichten, zoals laten weten dat iemand met AI praat, blijven belangrijk.

Bij elk project leveren we een korte AI Act-classificatie: in welke risicoklasse valt de toepassing, welke plichten horen erbij en hoe het ontwerp daar rekening mee houdt.

Dit is algemene informatie, geen juridisch advies. Wetgeving verandert. We controleren de actuele stand bij de start van elk project.