Est-ce que les prédictions d’heure d’arrivée donnent vraiment l’heure juste?

In English, please

Quand on tente d’attraper le prochain bus, peu de choses rivalisent en importance avec la précision des minutes restantes avant son arrivée à l’arrêt — et rien n’est plus frustrant qu’une prédiction décalée.

Avoir à attendre dix interminables minutes après avoir couru pour un bus qui devait passer « dans deux minutes »? Ou pire encore, se retrouver seul·e au monde, désemparé·e, parce que les prédictions étaient à la traîne et que l’autobus est déjà passé? Non merci. 

Mais quand une prédiction tombe dans le mille, que les étoiles s’alignent et que le bus tourne le coin au moment précis où le décompte arrive à zéro? Ah, là on jase! Et ces prédictions précises sont essentielles pour faire des transports en commun un moyen fiable d’arriver à bon port. 

Dans les sondages trimestriels menés auprès des usager·ère·s de Transit, l’amélioration de l’exactitude des données en temps réel est régulièrement en tête des mesures mentionnées comme facteur motivant une plus grande utilisation des transports en commun. Pas surprenant, puisqu’il a été démontré scientifiquement que des prédictions d’heure d’arrivée exactes font grimper à la fois l’usage des transports en commun et la satisfaction des usager·ère·s.

Sachant tout cela, ne devrait-il pas y avoir avoir une définition commune permettant de mesurer l’exactitude des prédictions d’heure d’arrivée? Une norme pouvant être utilisée par tous les membres de l’industrie pour évaluer la précision des décomptes en temps réel? Après tout, si l’on veut s’améliorer, il faut d’abord savoir où on en est. Oh, le rêve : un outil de comparaison prenant en compte toutes les prédictions d’heure d’arrivée en temps réel, pour chaque trajet, chaque arrêt, chaque ligne, chaque réseau de transport…

Surprise surprise, tout ça est maintenant réalité. Voici l’Indicateur d’exactitude des prévisions d’heure d’arrivée, ou ETA Accuracy Benchmark (documentation technique disponible en anglais).

Ce que les sociétés de transport en disent

« RTD est fier d’avoir participé aux efforts de développement d’un outil de calcul de l’exactitude des prédictions en 2016 en collaboration avec Arcadis IBI Group, et nous en avons suivi l’évolution pour continuer les mises à jour. Nous appuyons les efforts de développement et l’adoption de ce nouvel indicateur d’exactitude des prédictions et encourageons les membres de l’industrie à faire de même. »

— Will Adams, Senior Manager,
Assistance à la clientèle chez RTD-Denver (Denver, Colorado)

« Les changements climatiques ne sont plus un problème distant; il s’agit d’une réalité quotidienne. À Miami, nous devons composer avec cinq mois de chaleur extrême chaque année, le mercure dépassant souvent les 32°C avec plus de 50 jours au-dessus de 38°C. Afin de protéger nos passager·ère·s de ces dures conditions, nous avons besoin de leur communiquer les heures d’arrivée en temps réel avec exactitude pour leur éviter d’avoir à attendre un bus ou un train à l’extérieur. Je suis très heureux de soutenir ce nouvel indicateur qui aidera à améliorer la qualité des informations transmises non seulement à Miami, mais par toute l’industrie des transports publics. »

— Carlos Cruz-Casas,
Chef de la direction de l’innovation chez Miami-Dade County Department of Transportation and Public Works (Miami, Floride)

« Notre priorité est d’offrir à nos passager·ère·s une fantastique expérience à bord et nous savons que cela commence par la transmission d’informations en temps réel précises. CapMetro soutient le développement de l’indicateur d’exactitude des prédictions d’heure d’arrivée comme définition commun à toute l’industrie, autour duquel coordonner nos efforts. Nous nous réjouissons à l’idée de comparer nos prédictions avec celles d’autres sociétés de transport pour découvrir de nouvelles occasions d’améliorer l’expérience de nos usager·ère·s. »

— Daryl Weinberg,
Architecte des systèmes de transport collectif chez CapMetro (Austin, Texas)

« Chez C-TRAN, nous prenons les données en temps réel au sérieux et nous nous dévouons à offrir les informations les plus exactes possibles à nos usager·ère·s. De nombreuses études ont démontré que les passager·ère·s des transports en commun perçoivent le temps d’attente comme étant plus long qu’il ne l’est réellement. Cette impression est renforcée par les mauvaises conditions d’attente, qui incluent les journées pluvieuses caractéristiques de la région du nord-ouest pacifique. C-TRAN soutient entièrement l’Indicateur d’exactitude des prédictions d’heure d’arrivée parce que nous souhaitons soutenir nos usager·ère·s, et les usager·ère·s de partout ailleurs, en leur offrant une meilleure expérience d’utilisation des transports en commun. »

— Scott Patterson, sous-chef de la direction chez C-TRAN (Vancouver, WA)

Histoire 101 : Mesurer l’exactitude des prédictions d’heure d’arrivée

Bien qu’une définition commune existe maintenant, ce n’a pas toujours été le cas. Au fil des ans, plusieurs entreprises et sociétés de transport en commun ont choisi de mesurer l’exactitude des infos en temps réel de diverses façons.

En 2015, IBI Group et RTD à Denver ont collaboré au développement de la première mesure d’exactitude moderne. Leur idée de départ était de poser une question toute simple :

1. À 8h30, quelle était l’heure d’arrivée prévue pour le bus X à l’arrêt Y, et à quelle heure ce bus est-il réellement arrivé à cet arrêt?
2. ☝️… à 8h31, même question…
3. ☝️… à 8h32, même question…
4. Et ainsi de suite, ad vitam aeternam, pour chaque bus et chaque arrêt.

Afin d’évaluer si une prédiction était « bonne », certains paramètres ont été définis. Par exemple, lors de la consultation de l’heure prévue pour un départ plus loin dans le temps, une prédiction décalée de quelques minutes restait acceptable. 

Mais plus l’heure prévue approchait (et donc plus le bus s’approchait de l’arrêt), moins l’écart entre la prédiction et le temps d’arrivée réel était tolérable, particulièrement pour les prédictions à cause desquelles les usager·ère·s arriveraient trop tard à l’arrêt — après tout, si le bus arrive un peu plus tard que prévu, il est quand même possible d’y monter, mais si le bus passe avant l’heure prédite, ça devient plus difficile!

Autrement dit, la méthodologie choisie par IBI et RTD mesure l’exactitude relative d’une prédiction en temps réel en fonction de l’heure à laquelle le bus arrive réellement. C’est un peu comme viser une cible en mouvement, qui se déplace vers soi, et qui devient de plus en plus petite en s’approchant. 

Au fil des ans, ce modèle a été utilisé par différentes entreprises et sociétés de transport pour mesurer l’exactitude des infos en temps réel, en partie parce que ces calculs sont faciles à décrire et faciles à réaliser. À Boston, la MBTA s’en est servi pour sélectionner le fournisseur avec la meilleure performance pour l’amélioration de l’exactitude de son système d’infos en temps réel pour autobus. La plateforme Swiftly s’en est servi pour mesurer l’exactitude des prédictions qu’elle génère. Transit s’en est servi pour comparer les résultats de son algorithme de prédiction par apprentissage automatique aux données fournies par les sociétés de transport en commun. 

C’est bien beau tout ça, mais il nous restait un problème : chaque entreprise et chaque société de transport en commun utilisait des valeurs légèrement différentes pour quantifier l’exactitude des prédictions. 

Dans un cas, les prédictions d’heure d’arrivée se situant entre 0 et 2 minutes avant l’heure d’arrivée réelle étaient regroupées et recevaient la même valeur d’exactitude. Dans un autre cas, les prédictions de 0 à 3 minutes étaient regroupées. Une prédiction de 18 minutes pour un bus étant arrivé 12 minutes plus tard aurait donc pu être qualifiée de prédiction exacte par une entreprise, mais inexacte par une autre.

Aucune définition n’était fondamentalement meilleure qu’une autre. Après tout, chaque système avait été conçu par des professionnel·le·s des transports en commun tentant de créer une représentation fonctionnelle de l’expérience des usager·ère·s au meilleur de leurs compétences. Et chaque organisme pouvait utiliser son propre système à l’interne pour comparer et mesurer les améliorations sur le réseau au fil du temps.

Mais quand venait le temps de comparer les analyses d’un organisme à l’autre, personne ne parlait la même langue.

Une définition commune

L’importance d’une définition commune et uniforme pour toute l’industrie va de soi. Grâce à cet indicateur, l’exactitude des infos en temps réel peut être évaluée de la même manière, peu importe l’organisation ayant généré ces infos. L’utilisation de définitions communes nous permet de collaborer puisqu’on s’entend sur qu’est-ce qu’une prédiction exacte, et qu’est-ce qu’une prédiction inexacte. 

Grâce à cette définition commune, les dirigeant·e·s des sociétés de transport savent que les données rapportées par leur personnel suivent les normes reconnues par l’industrie, plutôt que celles choisies au cas par cas. Les analyses sont plus faciles à réaliser, puisque les seuils d’exactitude sont déjà établis. Différents organismes peuvent donc analyser différents flux en temps réel et arriver aux mêmes conclusions. 

C’est pourquoi une coalition d’entreprises et de sociétés de transport appuie l’Indicateur d’exactitude des prédictions d’heure d’arrivée, un cadre de référence accessible à tous les membres de l’industrie. Ces mesures et seuils d’exactitude ont été pensés pour être faciles à comprendre, rester consistants et refléter les attentes réelles des usager·ère·s des transports publics.

Les flux en temps réel peuvent donc être mesurés et comparés les uns aux autres et il est beaucoup plus facile pour tout le monde d’analyser ces données dans le temps, puisqu’elles sont du même type.

Et pour la suite?

Aujourd’hui, on parle d’exactitude des prédictions d’heure d’arrivée, mais il y a bien d’autres choses à garder en tête quand il est question de mesurer la qualité des infos en temps réel :

• Exactitude (ce que mesure l’Indicateur d’exactitude des prédictions)
• Fiabilité (quel est le taux de disponibilité du flux de données en temps réel?)
• Pourcentage des trajets avec infos en temps réel (est-ce qu’il y a plusieurs trajets sans prédictions d’heure d’arrivée?)
• Fluctuation (est-ce que les prédictions changent constamment?)
• Bus fantômes (est-ce que des prédictions sont fournies sans qu’un bus soit en route?)
• Bus surprises (ou zombies, ou bonus — est-ce qu’un bus arrive sans qu’une prédiction ait été fournie?)
• Et plus encore

D’autres organismes, comme Cal-ITP, mettent aussi de l’avant l’importance des infos en temps réel de haut calibre. En travaillant ensemble, on avance tous·tes dans la même direction pour que l’industrie arrive à déterminer les indicateurs et standards qui seront utilisés à l’échelle de l’industrie.

MobilityData, l’organisme sans but lucratif responsable des standards de données GTFS et GTFS-realtime, coordonne ces efforts et travaille sur le long terme afin d’accompagner les différents membres de l’industrie pour que ces données soient mesurées de façon à obtenir des résultats de haute qualité.

Des infos en temps réel fiables sont essentielles pour offrir des services de transport public sur lesquels les usager·ère·s peuvent compter. Les sociétés de transport doivent être en mesure de savoir si elles communiquent des informations de qualité supérieure à leurs passager·ère·s et notre industrie a besoin d’indicateurs communs pour mesurer la qualité de ces données. 
L’Indicateur d’exactitude des prédictions d’heure d’arrivée est un pas de géant dans cette direction

Ce que les grands noms de l’industrie en disent

« En 2015, j’ai eu le privilège de collaborer avec RTD-Denver et mes ancien·ne·s collègues chez Arcadis IBI Group au développement de la première méthode pour mesurer l’exactitude des prédictions d’heure d’arrivée. Nous avons commencé par tenter de répondre à la question : “Comment peut-on savoir si les prédictions d’heure d’arrivée communiquées aux passager·ère·s améliorent leur expérience d’utilisation des transports en commun?” Nous avons été ravi·e·s de voir que non seulement cette méthode permettait de le déterminer, mais aussi de voir tant d’entreprises et de sociétés de transport l’adopter et l’adapter. Je suis incroyablement fier de pouvoir contribuer aux efforts de mises à jour de cette méthode et au développement de l’Indicateur d’exactitude des prédictions d’heure d’arrivée. »

— Ritesh Warade,
Directeur général du transport en commun chez Swiftly

« L’Indicateur d’exactitude des prédictions d’heure d’arrivée vient résoudre un problème trop fréquent dans le transport en commun : arriver à savoir avec certitude si nos décomptes en temps réel améliorent l’expérience des usager·ère·s, ou si les informations fournies font plus de mal que de bien. Chez Transit, on a choisi d’utiliser l’Indicateur d’exactitude des prédictions d’heure d’arrivée pour évaluer les performances de notre propre algorithme d’apprentissage automatique, ainsi que les prédictions provenant directement des sociétés de transport. C’est particulièrement intéressant pour moi, puisque j’ai travaillé avec d’ancien·ne·s collègues de la MBTA sur une ancienne version de cet indicateur, il y a presque sept ans, pour évaluer de potentiels fournisseurs de données en temps réel. Avec l’Indicateur d’exactitude des prédictions d’heure d’arrivée, l’industrie au grand complet parle maintenant la même langue, ce qui nous aide à communiquer des infos exactes aux usager·ère·s. »

— David Block-Schachter,
Chef de la direction des affaires chez Transit

« Ito World est fier de soutenir l’Indicateur d’exactitude des prédictions d’heure d’arrivée. Cette définition commune permet de respecter le temps des usager·ère·s, de confirmer la fiabilité des données des sociétés de transport en commun, et de réitérer au sein de l’industrie que nous visons l’excellence. Soutenir cet indicateur, c’est bien plus qu’approuver une norme commune, c’est encourager une culture qui priorise l’amélioration et la fiabilité des transports publics. »

— Joseph Holmes,
Vice-président du développement des affaires (Amérique du Nord) chez Ito World

« La plateforme Ualabee offre des données en temps réel à divers fournisseurs pour plusieurs villes d’Amérique du Sud. Nous sommes au courant du défi que représente la mesure de l’exactitude des prédictions d’heure d’arrivée en temps réel, et de l’impact de ces informations sur l’expérience quotidienne des usager·ère·s. C’est pourquoi nous soutenons l’Indicateur d’exactitude des prédictions d’heure d’arrivée en tant que méthodologie commune pour mesurer ces valeurs. »

— Luis Lenta,
Chef du backend et des DevOps chez Ualabee

En savoir plus

Consultez la documentation technique (en anglais) pour en apprendre davantage sur l’Indicateur d’exactitude des prédictions d’heure d’arrivée.

Questions? Votre organisme aimerait ajouter son nom aux membres de l’industrie soutenant l’Indicateur d’exactitude des prédictions d’heure d’arrivée? Vous vous demandez par où commencer pour analyser l’exactitude de vos prédictions d’heure d’arrivée? Faites-nous signe!