Big Data pour l'information sur les métiers et les compétences : comment ça marche ?

Mis à jour : 9 déc. 2020

Ces dernières années, la nature et les caractéristiques du marché du travail ont connu une évolution drastique, notamment de par le processus de digitalisation exponentiel qui a non-seulement modifié le paysage des métiers et des compétences, mais aussi bouleversé les approches de mise en lien entre l'offre, la demande et les contenus de formation.


Ces facteurs environnants, incluant le progrès technologique, les effets de la mondialisation (et de la démondialisation), la crise sanitaire, l'évolution des normes, la pression sociale, la dynamique concurrentielle, etc., affectent constamment la demande des compétences au sein des organisations et l'allure des changements : de nombreux métiers deviennent ainsi hybrides et évoluent, d'autres apparaissent ou parfois disparaissent.


Aussi et avec l'avènement massif d'internet dans la sphère de l'emploi et de la formation, la dynamique des interactions sur le marché du travail s'est considérablement transformée, notamment à travers un ensemble de processus qui se sont désormais installées, durablement, dans le périmètre digital. On note par exemple les Job Boards, les services de mise en relation informatisés, les plateformes réseaux, les applications de gestion du travail (i.e. intérim, freelancing), les portails web de formation en ligne, etc.


De ce fait, la quantité d'information sur le web (Big Data), en particulier en lien avec le marché du travail, combinée à l'accélération des transformations relatives aux métiers, aux compétences et à l'offre de formation, ouvre une nouvelle ère et des alternatives inédites aux institutions (publiques et privées) et aux organismes de formations quant à la façon d'observer, d'analyser, de comprendre les métiers et les compétences pour agir dans ce contexte de marché fluctuant.


Pourquoi les Big Data ouvrent une opportunité à ne pas manquer ?

  • Quels métiers émergent sur le marché ? Dans quelles industries, quelles régions et chez quels recruteurs vont-ils se développer à l'avenir ?

  • Quelles compétences, connaissances, expériences tirent ces métiers émergents ?

  • Comment garantir l'adéquation d'un programme de formation avec les compétences demandées sur le marché ? Comment assurer une insertion de qualité, durable et solide ?

  • Comment préserver son employabilité et identifier les compétences à développer tout au long de la vie ? Comment transférer ses compétences vers des domaines plus porteurs ?

  • Quels sont les métiers, les fonctions, les rôles qui se transforment ? Quels outils, technologies, normes, organisations, méthodes entrainent ces changements ?

  • Comment repérer les Soft Skills les plus essentiels pour l'exercice d'un métier ? Est ce la même chose pour tous les types d'organisation ?

  • Peut-on anticiper les priorités spécifiques d'un secteurs, une industrie, une entreprise pour se démarquer ?

  • Quelles compétences particulières pourraient permettre d'augmenter son salaire sur le marché ? où serait-il possible de se reconvertir à court terme ?

Les chercheurs d'emploi, les étudiants en formation, les travailleurs, les employeurs ainsi que les intermédiaires du marché du travail - mais aussi les institutionnels en charge de l’animation et de la régulation du marché du travail , les décideurs publics et les experts économiques - ont besoin de répondre à ce type de questions, souvent en vue de prendre des décisions qui ont un impact critique sur leurs parcours, leurs organisations et sur la société.


Jusqu’ici, l’information sur le marché du travail et son analyse sont principalement produites à partir de la collecte de données via des enquêtes et l’exploitation d’informations administratives, avec pour conséquence, des coûts élevés de production et un manque de réactivité par rapport à la réalité du marché. Ces données permettent, dans une certaine mesure, de suivre les tendances macroéconomiques de l'emploi, autrement dit, la situation dans son ensemble. Il reste toutefois un inconvénient important, outre le manque de granularité des études qui peuvent en découler : Il s’agit du temps nécessaire à compiler ces séries de données traditionnelles, ce qui induit une information sur les emplois accusant plusieurs mois, voire plusieurs années de retard par rapport à la réalité du marché.


Force est de constater donc que ces seuls moyens traditionnels qu'utilisent certains acteurs - pour produire l'information sur le marché du travail (IMT), notamment sur les métiers et les compétences - n'arrivent pas à capter de façon précise, fiable, granulaire et suffisamment tôt les données clés, celles capables de faire la différence au moment capital pour la prise de décision.


Les systèmes basés sur les Big Data permettent, sans se substituer au modèle traditionnel de collecte et d’analyse des informations sur le marché du travail, de proposer une alternative complémentaire pour faciliter l’accès, la circulation et la dissémination de l’information, approfondie et en temps réel, qui soit efficace, moderne, viable et nettement plus concrète dans son exploitation. En plus de capturer dynamiquement de nouvelles données dans des volumes importants, l'exploitation des Big Data permet d'appuyer les processus existants d’information et de décision en affinant les questions à traiter et en augmentant le champs d'analyse.


La logique qui sous-tend ces systèmes d’IMT approfondis et en temps réel est que l’inadéquation entre l’offre et la demande est principalement causée par l’absence de la bonne information ainsi que son partage au bon moment entre les différents acteurs.

Pour que les données soient exploitables, elles doivent en effet être spécifiques. C’est une chose de savoir qu’il existe une forte demande de « développeurs informatiques ». Mais il est beaucoup plus utile de savoir combien de sociétés ont besoin de l’expertise sur un stack particulier (i.e. Mern Stack) par rapport à d'autres approches et langages de programmation, et en quoi cette demande diffère d'un projet, d’une industrie ou d'une région à l’autre. Avec ce niveau de détail, les employeurs, les établissements d’enseignement et les pouvoirs publics peuvent élaborer des plans détaillés sur l’orientation, la formation ou le recrutement, et dans le même temps, les étudiants, demandeurs d’emploi et salariés peuvent prendre des décisions de carrière plus éclairées.



Comment ça marche ?


1- Identification des sources et collecte en temps réel des données volumineuses


D'abord, avec la numérisation du marché du travail, de plus en plus de sources de données volumineuses contenant des informations sur les professions, les connaissances, les compétences et les concepts connexes deviennent disponibles. Cela comprend notamment de vastes ensembles de données d'offres et d'emploi, de CV, de profils professionnels, d'opportunités d'apprentissage et de programmes d'études et de formation.


Cette masse d’information disponible permet de développer et mettre en place des systèmes d’information qui exploitent en temps réel les données accessibles à travers internet, reposant sur la collecte et l'analyse automatisées de ces données structurées, semi-structurées et surtout non-structurées, via des algorithmes et des intelligences artificielles spécialisées, et exploitant des architectures de dernière génération en matière de Big Data.


Lorsque les données contiennent des informations personnelles (i.e. données issues d'un CV ou un profil professionnel), il est impératif d'anonymiser et agréger systématiquement les documents bruts conformément au RGPD.

La qualité des Big Data est en partie subordonnée à la fiabilité des sources exploitées pour collecter les données. Dans le cas de notre expérience au sein de TrouveTavoie, la collecte des données se base sur deux types de Crawling : ciblé et large. Les sources spécifiques qui fondent l'IMT sont identifiées, classées et catégorisées avec les experts du marché du travail, et sont répertoriés selon le nombre d’offres, la qualité des offres (éléments de données), le nombre de visiteurs, la spécialisation, etc. (i.e. cadres, annonces informelles, freelancing, secteur spécifiques). Au delà de la collecte des données directement sur les sites d'entreprises, le Crawling large (ou exploratoire) offre par ailleurs la possibilité d’identifier constamment les nouvelles sources qui émergent.


2- Ingestion, traitement, alignement, et organisation des données grâce à l'IA


L'exploitation qualitative et fiable des données nécessite la mise en œuvre d'un processus qui garantit l'ingestion, de traitement (déduplication, correction d'orthographe, complétion des données manquantes, spécificités d'encodages, etc.), l'alignement, la normalisation (appellations métiers, compétences, autres concepts, etc.), la validation et l'organisation des données au sein d'infrastructures techniques adaptées au nombre, à la taille et la dynamique des données et sources web ciblées.


En pratique, nos algorithmes extraient les informations de base sur chaque document source. Par exemple, pour une offre d'emploi, on retrouve des informations telles que l’intitulé du poste, la profession, l’employeur et l’emplacement. Ensuite, des intelligences artificielles d’analyse sémantique de texte (adossées à des représentations et approches de validation formelles), spécialisées dans l’analyse des métiers et des compétences, traitent chaque description de poste afin d’identifier, entre autres, les domaines, les compétences et les qualifications recherchées par les employeurs. Ces IA décomposent les offres d'emplois et de formation en plusieurs dizaines d’éléments distincts en vue des processus d'analyse.


A ce titre, les ontologies des métiers et des compétences constituent des composants de base pour le développement et la mise en œuvre de ces intelligences artificielles d’extraction, de normalisation et de classification des métiers et des compétences, qui sont non seulement nécessaires aux solutions d'observation temps réel du marché du travail, mais aussi pour la production des statistiques approfondies et le calcul d’indicateurs clés. Les ontologies de TrouveTaVoie sont dynamiques, s'appuient sur les référentiels internationaux (ROME, ISCO, ESCO, SOC, O*Net, etc.) des métiers et des compétences, les enrichissent au fil du temps et assurent leur interopérabilité. En particulier, l'ontologie dynamique permet de détecter automatiquement les nouveaux métiers et compétences pas encore classifiés dans les référentiels.


3- Développement des approches, des indicateurs et des plateformes d'analyse


Les données extraites et normalisées sont stockées, avec les métadonnées et les relations qui les associent aux ontologies et aux taxonomies, dans une base de données de type graphe. Une base de données de type graphe est une base de données qui utilise les structures des graphes pour les requêtes sémantiques, et des propriétés pour représenter et stocker des données. Ces bases présentent plusieurs avantages et permettent notamment, un traitement plus rapide des requêtes. De plus, les relations entre données peuvent être visualisées intuitivement, ce qui est particulièrement utile pour des données fortement interconnectées et évolutives comme le sont les offres d’emploi, les ontologies et taxonomies des métiers, des formations, des qualifications, des types de contrats, des niveaux d’études, des salaires, etc.


Il est ensuite primordial de créer des modèles d’analyse des données du marché du travail les plus complets possibles, qui pourraient fournir aux parties prenantes des indicateurs clé en temps réel, à la fois sur la situation actuelle et en regard des projections futures. De tels modèles aident les décideurs, les éducateurs, les employeurs et les chercheurs d'emploi à prendre de meilleures décisions. Aussi, les indicateurs et données clés qui forment l’information en temps réel du marché du travail doivent être accessibles aux divers types d’utilisateurs, notamment via des interfaces utilisateurs dédiées, coconstruites avec les parties prenantes concernées, ainsi que des APIs, des Dashboards interactifs et des outils de génération automatique de rapports périodiques, qui permettent de filtrer et focaliser l’information par localisations, périodes, industries, secteurs, métiers, domaines, compétences, niveaux d’études, types de diplômes, ou encore par entreprises spécifiques, de sorte à apporter le niveau de granularité pertinent pour l'analyse attendu par chaque utilisateur.


4- Production des insights, exploitation et aide à la décision


Toutes les stratégies en matière de formation et d'emploi doivent commencer par une vision claire des forces et des faiblesses du marché, en tenant compte des scénarios économiques à court, moyen et long terme. Les acteurs publics doivent évaluer les deux côtés de l'équation du marché du travail. Du côté de la demande, les décideurs ont besoin d’identifier et hiérarchiser les secteurs en croissance, les compétences nécessaires immédiatement et dans les trois à cinq prochaines années, ainsi que les diverses tendances ou changements et leur impact attendu. Les analyses du côté de l'offre doivent prendre en compte le pool de talents actuel et celui prévu - les types de compétences existantes et leur concentration géographique, la qualité et la capacité de la main-d'œuvre disponible, les programmes de formation et les services d’information. Cette double analyse de l’offre et de la demande, permet de mettre en évidence les inadéquations entre offre et demande à l’échelle nationale, régionale et locale.


Répondre à ces enjeux passe par l'accès, l'analyse et la compréhension approfondies de l'information produite sur le marché du travail, notamment en vue de générer les insights utiles à la décision. Afin d'aboutir à des résultats, les acteurs de la formation, de l'orientation et de l'emploi doivent par conséquent se saisir, prendre en main et se former aux systèmes d'IMT basés sur les Big Data. Il pourront ainsi accroître la prise de conscience et la compréhension des phénomènes observés via les données web, et en même temps, de réaliser des prévisions et des analyses exploitables sur le terrain.

A propos de TrouveTaVoie :


TrouveTaVoie développe des algorithmes d’intelligence artificielle pour accompagner les individus, les organismes publics, les établissements d'enseignement et les entreprises à éclairer et informer leurs décisions en matière d’éducation et d’emploi, qu’elles relèvent de l'orientation professionnelle, de la politique publique, des cursus de formation ou de la gestion du capital humain.


Nos technologies sont capables de collecter, extraire, normaliser, traiter et interfacer en temps réel les données web relatives aux métiers et aux compétences. Exploiter le potentiel du Big Data et l’IA ouvre l’opportunité de capturer les données massives existantes via un web-mining intelligent, et la génération de bases de données codifiées selon des ontologies basées sur les référentiels et standards internationaux (ISCO, ESCO, ROME, SOC, etc.).

  • Vous avez un projet, une étude spécifique à mener ?

  • Vous souhaitez avoir accès à nos données et insights ?

  • Vous aimeriez tester notre plateforme analytique DREEAM ?

Contactez-nous dès maintenant ! TrouveTaVoie dispose de la base de données temps réel sur le marché du travail la plus large, la plus complète et la plus granulaire en France.