Protokoll v2.0.0 · 15 aus 2026
Wie die Studie durchgeführt wird
Die Anmeldung ist geöffnet. Vor der Erhebung legen wir mit den Unternehmen die Teilnehmerzahl, die Dauer und die Datenauswertung fest. Die Studie hat noch keine Ergebnisse veröffentlicht.
01Vergleichen Sie ähnliche Aufgaben
Jeder Teilnehmer erstellt zwei Inhalte aus unterschiedlichen Aufgabenstellungen, die jedoch einen ähnlichen Schwierigkeitsgrad haben. Sie werden bei einer Aufgabe KI verwenden und bei der anderen ohne KI arbeiten. Die Reihenfolge wird vor Beginn ausgelost.
02Notieren Sie die Zeit für jeden Schritt
Produktions-, Prüf- und Korrekturzeit werden gesondert erfasst. Auch abgelehnte Lieferungen gehen in die Abrechnung ein, da sie die Zeit des Teams in Anspruch nehmen.
03Bewerten Sie die Lieferung
Der Gutachter prüft, ob der Inhalt korrekt ist, dem Auftrag entspricht, klar ist und überprüfbare Quellen präsentiert. Die Lieferung muss alle vier Kriterien erfüllen. Der Gutachter erhält das Material, ohne zu wissen, ob KI eingesetzt wurde.
04Überprüfen Sie die Daten zur Veröffentlichung
Wir werden die Ergebnisse auch dann analysieren, wenn die KI keine Gewinne bringt oder die Arbeit nicht erhöht. Vor der Veröffentlichung werden die Daten überprüft und anonymisiert. Für die Offenlegung des Firmennamens ist eine besondere Genehmigung erforderlich.
Was wird gemessen
- Zeit pro genehmigter Lieferung
- Summe der Produktions-, Überprüfungs- und Korrekturprotokolle, einschließlich abgelehnter Versuche, geteilt durch die Anzahl der genehmigten Lieferungen. Die Abrechnung erfolgt getrennt für KI- und Nicht-KI-Aufgaben. Wenn keine Lieferungen genehmigt werden, hat dieser Indikator keinen Wert.
- Kosten pro genehmigter Lieferung
- Kosten der geleisteten Arbeitsstunden plus Ausgaben für API oder Werkzeug, geteilt durch die Anzahl der Freigaben. Die Berechnung erfolgt erst, wenn die notwendigen Kosten erfasst sind.
- Qualität und Fehler
- Anzahl der genehmigten und abgelehnten Lieferungen. Bewertungskriterien, Prüfer, Anweisungen und zulässige Tools werden vor der Auftragsvergabe festgelegt.
- Paarweiser Vergleich
- Mittlere Zeitabweichung zwischen den beiden Aufgaben derselben Person, wobei nur vollständige Paare berücksichtigt werden, bei denen beide Lieferungen genehmigt wurden. Dieser Cut-off könnte denjenigen zugute kommen, die in beiden Bedingungen ein gutes Ergebnis erzielt haben. Daher gibt die Analyse auch Aufschluss darüber, wie viele Paare ausgelassen wurden.
Muster, Privatsphäre und Interpretationsgrenzen
Die Teilnahme ist freiwillig. Die Ergebnisse beschreiben die teilnehmenden Unternehmen und stellen möglicherweise nicht den Markt dar. Probengröße, Zeitpunkt, Abschlussregel und Analyse pro Unternehmen werden vor der Entnahme vereinbart. Die Stichprobengröße, die erforderlich ist, um einen Effekt mit statistischer Präzision zu erkennen, wurde noch nicht berechnet.
Die Person kann von einer Aufgabe zur anderen lernen, und die Aufgaben können unterschiedliche Schwierigkeiten haben. Durch die Auftragsverlosung wird dieses Problem teilweise gemildert, aber nicht beseitigt. Das Tool präsentiert beschreibende Zusammenfassungen. Es werden keine statistische Signifikanz oder Konfidenzintervalle berechnet.
Erfassen Sie im Erfassungstool nur Codes und Messungen. Kundenbriefe, Namen und Dokumente sollten nicht berücksichtigt werden. Registrierungskontakte werden separat gespeichert. Für die Teilnahme an der Untersuchung und Veröffentlichung der Daten gelten eigene Vereinbarungen.
Rovemark verkauft KI-Tools und führt auch diese Forschung durch. Auf diesen kommerziellen Link wird in den Veröffentlichungen hingewiesen. Das Protokoll wird auf dieser Website ohne OSF-Registrierung, NIST-Zertifizierung oder Peer-Review veröffentlicht. Eventuelle Änderungen an der Methode werden identifiziert und begründet.