Protocole v2.0.0 · 15 sortie 2026
Comment se déroulera l’étude
Les inscriptions sont ouvertes. Avant la collecte, nous définirons avec les entreprises le nombre de participants, la durée et l'analyse des données. L'étude n'a pas encore publié de résultats.
01Comparez des tâches similaires
Chaque participant produira deux contenus issus de mémoires différents, mais de difficulté similaire. Vous utiliserez l’IA sur une tâche et travaillerez sans IA sur l’autre. La commande sera tirée au sort avant le départ.
02Enregistrez le temps pour chaque étape
Les temps de production, de révision et de correction seront enregistrés séparément. Les livraisons refusées entrent également dans le compte, car elles consomment du temps à l'équipe.
03Évaluer la livraison
L'examinateur vérifiera si le contenu est correct, répond au brief, est clair et présente des sources pouvant être vérifiées. La livraison doit répondre aux quatre critères. L'examinateur recevra le matériel sans savoir si l'IA a été utilisée.
04Examiner les données pour publication
Nous analyserons les résultats même lorsque l’IA n’apporte pas de gains ou n’augmente pas le travail. Avant la publication, les données seront examinées et anonymisées. La divulgation du nom d'une entreprise nécessite une autorisation spécifique.
Ce qui sera mesuré
- Délai par livraison approuvée
- Somme des minutes de production, de révision et de correction, y compris les tentatives rejetées, divisée par le nombre de livraisons approuvées. La comptabilité sera effectuée séparément pour les tâches IA et non IA. Si aucune livraison n’est approuvée, cet indicateur n’aura aucune valeur.
- Coût par livraison approuvée
- Coût des heures travaillées plus dépenses en API ou en outil, divisé par le nombre d'approbations. Le calcul ne sera présenté que lorsque les coûts nécessaires auront été saisis.
- Qualité et échecs
- Nombre de livraisons approuvées et rejetées. Les critères d'évaluation, l'examinateur, les mémoires et les outils autorisés seront définis avant les missions.
- Comparaison par paires
- Variation de temps médian entre les deux tâches d'une même personne, en ne considérant que les binômes complets avec les deux livraisons approuvées. Ce seuil pourrait favoriser ceux qui ont obtenu un bon résultat dans les deux conditions. Par conséquent, l’analyse indiquera également combien de paires ont été laissées de côté.
Échantillon, confidentialité et limites d’interprétation
La participation est volontaire. Les résultats décriront les entreprises participantes et peuvent ne pas représenter le marché. La taille de l'échantillon, le calendrier, la règle de clôture et l'analyse par entreprise seront convenus avant la collecte. La taille de l’échantillon nécessaire pour détecter un effet avec une précision statistique n’a pas encore été calculée.
La personne peut apprendre d’une tâche à l’autre, et les mémoires peuvent présenter des difficultés différentes. Le tirage au sort réduit en partie ce problème, mais ne l’élimine pas. L'outil présente des résumés descriptifs. Il ne calcule pas la signification statistique ni les intervalles de confiance.
Dans l’outil de collecte, enregistrez uniquement les codes et les mesures. Les briefs, noms et documents des clients doivent rester en dehors de cela. Les contacts d'inscription sont enregistrés séparément. La participation à l'étude et à la publication des données aura ses propres accords.
Rovemark vend des outils d'IA et mène également cette recherche. Ce lien commercial sera renseigné dans les publications. Le protocole est publié sur ce site Web sans enregistrement OSF, certification NIST ou examen par les pairs. Toute modification de la méthode sera identifiée et justifiée.