Local-first AI is een architectuur, geen privacylabel
Wat local-first AI echt vereist voor uitvoering, opslag, modelrouting, synchronisatie, rechten en gebruikerscontrole.
“Draait lokaal” is een aantrekkelijk label voor AI-producten geworden. Soms betekent het dat het model op het toestel van de gebruiker draait. Soms draait alleen een kleine interface lokaal terwijl prompts, bestanden, geheugen en telemetrie nog steeds door een cloudservice gaan.
Local-first vraagt meer dan lokale inferentie. Het is een architectuur waarin het toestel van de gebruiker de primaire thuisbasis van status en capabilities blijft, terwijl externe diensten optionele en expliciete deelnemers zijn.
Vraag waar elke laag leeft
Een ernstige local-firstclaim hoort uit te leggen waar elk onderdeel draait of bewaard wordt:
| Laag | Te stellen vragen |
|---|---|
| Modelinferentie | Welk model draait lokaal en wanneer wordt een extern model gebruikt? |
| Contextassemblage | Waar worden bestanden gelezen, gefilterd en getransformeerd? |
| Geheugen | Waar staan voorkeuren, samenvattingen en historiek? |
| Tooluitvoering | Welke acties gebeuren op het toestel of netwerk? |
| Embeddings en indexen | Kan privébronmateriaal de machine verlaten? |
| Telemetrie | Welke events, inhoud en identificatoren worden verzonden? |
| Synchronisatie | Wat wordt tussen toestellen gekopieerd en hoe is dat versleuteld? |
Als deze antwoorden ontbreken, is “lokaal” vooral branding.
Lokaal en cloud zijn routingkeuzes
Het nuttige ontwerp is geen principiële keuze tussen lokaal en cloud. Verschillende taken hebben verschillende beperkingen.
Een klein lokaal model kan bestanden classificeren, gevoelige velden verwijderen, context selecteren of autocomplete met lage latency leveren. Een groter extern model kan gekozen worden voor moeilijke redenering. Een gereguleerde workflow kan een on-premises model vereisen. Een gebruiker kan voor één project een Europese provider kiezen en voor een ander een offline model.
Het routingbeleid hoort zichtbaar en bestuurbaar te zijn. Voordat een aanvraag het toestel verlaat, moet het systeem weten welke data meegaat, welke provider ze ontvangt en waarom lokale uitvoering niet volstond.
Eén lokale core, meerdere interfaces
Intelligentie afzonderlijk laten draaien in elke editor, desktopapp en mobiele client versnippert geheugen en rechten.
Een sterker patroon is één door de gebruiker beheerde core die context, beleid, geheugen, verbindingen en audithistoriek bezit. Interfaces worden clients van die core. De editor kan open bestanden bijdragen, de desktopworkspace kan documenten beheren en een telefoon kan een actie aanvragen zonder dat elke interface een apart brein wordt.
Deze architectuur creëert moeilijke maar oplosbare problemen: authenticatie tussen interfaces, gelijktijdige statusupdates, veilige externe toegang, versiecompatibiliteit en offline synchronisatie. Ze geeft de gebruiker ook één plaats om het systeem te inspecteren en beheren.
Lokale software heeft nog beveiligingsgrenzen nodig
Uitvoering op het toestel kan zeer gevoelige capabilities bereiken. Bestandstoegang, terminals, browsersessies, credentials en lokale toepassingen mogen nooit één ongedifferentieerd recht worden.
Gebruik beperkte capabilities, isolatie door het besturingssysteem waar mogelijk, kortlevende credentials, expliciete netwerkregels en logs per actie. Een lokale agent hoort te kunnen zeggen welke interface een actie vroeg, welk model ze voorstelde, welke tool ze uitvoerde en wat veranderde.
Privacy zonder aansprakelijkheid is onvolledig.
Het update- en herstelprobleem
Cloudtoepassingen kunnen één server patchen. Local-firstsystemen moeten omgaan met meerdere besturingssystemen, hardwareprofielen, versies en gedeeltelijk offline toestellen.
Dat vereist ondertekende updates, schemamigratie, crashherstel, controles op modelcompatibiliteit en exporteerbare status. Gebruikers hebben een manier nodig om data te back-uppen of verplaatsen zonder eigendom af te staan aan een centraal account.
Local-first is deels een productbelofte en deels operationele discipline.
Onze mening
De toekomst is niet volledig lokaal en niet volledig cloud. Ze bestaat uit door de gebruiker beheerde routing tussen modellen en rekenlocaties.
Het waardevolle platform is de laag die context, rechten, geheugen en historiek coherent houdt terwijl modellen vervangbaar blijven. Gebruikers moeten kunnen kiezen waar intelligentie draait zonder hun workflow rond elke provider opnieuw te bouwen.
Aan die standaard moeten we local-first AI afmeten.