Prenez les données santé d'un utilisateur d'Apple Watch sur une période puis comparez-les avec celles de la même personne, sur une autre période similaire. Il y a le risque que les deux résultats ne s'accordent pas et compliquent leur analyse.

C'est ce qu'ont constaté des biostatisticiens de Havard alors qu'ils évaluaient la pertinence d'utiliser des appareils grand public dans le cadre de leurs recherches.

Le problème réside dans le fait que ces montres et traqueurs d'activité sont de véritables « boîtes noires » lorsqu'il s'agit de savoir quels algorithmes triturent les données collectées sur l'utilisateur et de quelle manière ces calculs ont peut-être évolué au fil du temps.

Au fil du cycle de vie de ces produits, la partie logicielle est mise à jour, corrigée, amendée, les méthodes de calcul changent ou s'affinent, mais aucune information n'est donnée par les fabricants sur cette tambouille logicielle. Ce que la montre va produire comme chiffres — disponibles ensuite dans l'app Santé par exemple — n'est que le résultat de ces cogitations logicielles. Ce ne sont pas les données brutes obtenues directement par les capteurs.

Pour vérifier s'il était judicieux de se reposer sur ces produits grand public pour leurs études, plutôt que sur des appareils aptes à livrer les informations dans leur forme brute, l'équipe a comparé les valeurs de la variabilité de fréquence cardiaque de l'un des membres du groupe, utilisateur d'une Apple Watch.

Sur des périodes de temps comparables, il s'est avéré que les résultats différaient nettement, comme si les règles de calcul avaient changé au gré de modifications sur les algorithmes d'Apple. Les grandes tendances étaient à peu près respectées mais dans le détail les points de mesures affichaient de réels écarts.

Cette observation n'a pas été menée dans le cadre d'une étude proprement dite mais elle a refroidi les ardeurs de ces chercheurs quant à l'idée d'utiliser ces périphériques fermés.

Car la question se pose de la pertinence d'exploiter des informations sur de grandes périodes de temps — pour analyser une évolution au long cours — si la règle de calcul peut varier à tout moment sans prévenir, et que les données avant traitement restent hors d'atteinte.