Hoe meet je adoptie van AI op kantoor?
Het aantal gestelde vragen zegt weinig over het succes van AI. Een advocaat met zeshonderd vragen per maand kan nog steeds buiten de processen werken en zijn kennis voor zichzelf houden. Wie adoptie van AI goed wil meten, kijkt naar kwaliteit, kennisdeling en hergebruik, en niet alleen naar volume.
Transcript
De vraag is ook, wat is adoptie en is dat de beste KPI om te meten of dat er succes is? Daarin kan een persoon drie, vier, vijf, zeshonderd vragen in de maand gesteld hebben. Maar de vraag is, heeft hij maximaal succes?
Werkt hij in processen? Deelt hij zijn kennis met het kantoor? Komt hij op de juiste uitkomsten?
Vergaat hij zijn kennis zodat hij het kan hergebruiken? Is dat iets wat je kan meten of inzichtelijker maken voor dat soort kantoren? Ja, dus voor iedereen, maar ook voor de gebruikers zelf...
maakt inzichtelijk hoeveel vragen heb je gesteld. Er zijn echt mooie ideeën om daar je analyses over te kunnen doen. Dus dat je een soort van LLM as a judge weer zou kunnen toepassen...
om eigenlijk te meten van, ja, maar hoe goed gebruik je dat dan? Nou, daarin moeten kantoren een bepaalde toestemming geven... omdat je dan vervolgens weer over die vragen natuurlijk gaat redeneren...
en inzichten maakt. Die kantoren, die zijn er. En dat is een proces dat we nu aan het initiëren zijn.
En dat is wel heel tof, omdat je dan eigenlijk op een andere manier dan aantal vragen gaat kijken naar het gebruik van bijvoorbeeld LegalMind. En dan kan je veel meer stappen gaan nemen. En die inzichten, heel belangrijk.
Daar gaat het bijna overal mis. Naar de partnergroep brengen, strategie opbouwen. Wat gaan we vandaag doen, wat gaan we morgen doen en wat gaan we daarna doen?
Dat gebeurt nog bijna nergens, helaas.
Wat moet je meten in plaats van het aantal vragen?
Succesvol AI-gebruik op een advocaten- of notariskantoor gaat over vier dingen. Werkt de gebruiker binnen vaste processen? Deelt hij kennis met het kantoor? Komt hij op de juiste uitkomsten? En legt hij kennis zo vast dat collega's die kunnen hergebruiken? Legal-Mind zet nu de eerste stappen om met een LLM as a judge te beoordelen hoe goed de vragen en uitkomsten zijn, mits het kantoor daar vooraf toestemming voor geeft.
Waarom is vraagvolume misleidend?
Drie- tot zeshonderd vragen per maand laat zien dat iemand het systeem gebruikt. Of de antwoorden juist zijn en of het kantoor er iets aan heeft, blijkt daar niet uit.
Wat doet een LLM as a judge?
Een tweede taalmodel beoordeelt hoe goed de vragen en uitkomsten zijn. Omdat het model daarvoor de inhoud van de vragen analyseert, moet het kantoor daar expliciet toestemming voor geven.
Waar gaat AI-adoptie meestal mis?
Het probleem zit zelden in het meten zelf. Het gaat mis omdat de inzichten niet bij de partnergroep terechtkomen en er geen strategie volgt voor vandaag, morgen en daarna.
Inzichten naar de partnergroep brengen en een strategie opbouwen. Dat gebeurt nog bijna nergens, helaas.
Veelgestelde vragen
Nee, niet als adoptie alleen het gebruik telt. Een hoog aantal vragen betekent niet dat iemand er het meeste uit haalt. Betere maatstaven zijn of de gebruiker binnen processen werkt, kennis deelt met het kantoor, op juiste uitkomsten uitkomt en zijn kennis vastlegt zodat anderen die kunnen hergebruiken. Volume is hooguit een eerste signaal.
Meer uit de kennisbank.
- Wat zijn de risico's van cloud voor een advocatenkantoor?Een advocatenkantoor loopt in de cloud twee soorten risico: het risico van datatoegang via een Amerikaans moed…
- Waarom maakt nichekennis het verschil bij AI voor juristen?Brede AI-tools zijn gebouwd voor een veel bredere markt dan één rechtsgebied. AI voor juristen werkt het best …
- Wat is het grootste securityrisico op een advocatenkantoor?Het grootste securityrisico op een advocatenkantoor is de gebruiker zelf, niet de techniek. Phishingmails, pub…