Protocol v2.0.0 · 15 uit 2026
Hoe het onderzoek zal worden uitgevoerd
De inschrijving is geopend. Vóór de verzameling bepalen we samen met de bedrijven het aantal deelnemers, de duur en de data-analyse. Het onderzoek heeft nog geen resultaten gepubliceerd.
01Vergelijk vergelijkbare taken
Elke deelnemer produceert twee stukken inhoud uit verschillende opdrachten, maar met een vergelijkbare moeilijkheidsgraad. Bij de ene taak gebruik je AI en bij de andere taak werk je zonder AI. Voordat er wordt begonnen, wordt de bestelling getrokken.
02Noteer de tijd voor elke stap
Productie-, beoordelings- en correctietijd worden afzonderlijk geregistreerd. Geweigerde leveringen komen ook op de rekening terecht, omdat ze de tijd van het team in beslag namen.
03Evalueer de levering
De reviewer controleert of de inhoud klopt, voldoet aan de opdracht, duidelijk is en bronnen aandraagt die controleerbaar zijn. De levering moet aan alle vier de criteria voldoen. De recensent ontvangt het materiaal zonder te weten of er AI is gebruikt.
04Controleer gegevens voor publicatie
We zullen resultaten analyseren, zelfs als AI geen winst oplevert of het werk niet vergroot. Vóór publicatie worden de gegevens beoordeeld en geanonimiseerd. Voor het openbaar maken van de naam van een bedrijf is specifieke toestemming vereist.
Wat gaat er gemeten worden
- Tijd per goedgekeurde levering
- Som van productie-, controle- en correctieminuten, inclusief afgewezen pogingen, gedeeld door het aantal goedgekeurde leveringen. De boekhouding zal afzonderlijk worden gedaan voor AI- en niet-AI-taken. Als er geen leveringen worden goedgekeurd, heeft deze indicator geen waarde.
- Kosten per goedgekeurde levering
- Kosten van gewerkte uren plus uitgaven aan API of tool, gedeeld door het aantal goedkeuringen. De berekening wordt pas gepresenteerd als de benodigde kosten zijn ingevoerd.
- Kwaliteit en mislukkingen
- Aantal goedgekeurde en afgekeurde leveringen. Beoordelingscriteria, beoordelaar, instructies en toegestane hulpmiddelen worden voorafgaand aan de opdracht gedefinieerd.
- Gepaarde vergelijking
- Mediane tijdsvariatie tussen de twee taken van dezelfde persoon, waarbij alleen complete paren worden beschouwd waarbij beide leveringen zijn goedgekeurd. Deze grens kan in het voordeel zijn van degenen die in beide omstandigheden een goed resultaat behaalden. Daarom zal de analyse ook aangeven hoeveel paren zijn weggelaten.
Voorbeeld, privacy en interpretatiegrenzen
Deelname is vrijwillig. De resultaten beschrijven de deelnemende bedrijven en vertegenwoordigen mogelijk niet de markt. Monsteromvang, timing, sluitingsregel en analyse per bedrijf worden voorafgaand aan de verzameling overeengekomen. De steekproefomvang die nodig is om een effect met statistische precisie te detecteren, is nog niet berekend.
De persoon kan van de ene taak naar de andere leren, en de opdrachten kunnen verschillende moeilijkheden hebben. De ordertrekking vermindert een deel van dit probleem, maar elimineert het niet. De tool presenteert beschrijvende samenvattingen. Er worden geen statistische significantie of betrouwbaarheidsintervallen berekend.
In de verzameltool registreert u alleen codes en afmetingen. Klantgegevens, namen en documenten moeten erbuiten blijven. Registratiecontacten worden afzonderlijk opgeslagen. Voor deelname aan het onderzoek en de publicatie van gegevens gelden eigen overeenkomsten.
Rovemark verkoopt AI-tools en voert ook dit onderzoek uit. Deze commerciële link zal in de publicaties worden vermeld. Het protocol wordt op deze website gepubliceerd zonder OSF-registratie, NIST-certificering of peer review. Eventuele wijzigingen in de werkwijze zullen worden geïdentificeerd en gemotiveerd.