Je suis ingénieur en analyse et en données. Un LLM me remplacera-t-il ?
Les grands modèles linguistiques (LLM) ont conquis le monde entier. Depuis le début de 2023, tous ceux qui ont un lien avec la technologie ont entendu parler de l'IA générative (GenAI) et de son potentiel de révolutionner les industries et, ce qui est peut-être plus alarmant, de reprendre nos emplois.
En tant que personne travaillant dans le domaine de la technologie, j'ai naturellement été affectée par le discours croissant sur le potentiel disruptif de l'IA. Je suis ingénieur des analyses et des données, chargé de créer des ensembles de données, des tableaux de bord et des rapports nettoyés qui aident les entreprises à prendre des décisions éclairées. Les LLM me remplaceront-ils ? D'après mon expérience, je ne suis pas convaincu.
Dans cet article, j'utilise GenAI et LLM de manière interchangeable. Un LLM (grand modèle linguistique) est un type d'IA générative qui utilise le langage humain comme support d'entrée et de sortie.
Qu'est-ce qui rend les LLM si puissants ?
Les LLM sont le produit de décennies de recherche en linguistique et en traitement du langage naturel (NLP), étayés par des ensembles de données volumineux, une puissance informatique relativement peu coûteuse et des interfaces conviviales. Ils fournissent des réponses étonnamment précises et polyvalentes à des questions allant de la planification des vacances à la rédaction de requêtes SQL complexes. Cependant, leur impact sur des rôles spécifiques, comme le mien, dépend de la manière dont ils s'intègrent aux nuances des flux de travail du monde réel.
GenAI et Analytics : un exemple concret
En 2024, j'ai dirigé un projet interne dans mon entreprise pour explorer comment GenAI pourrait améliorer notre travail de conseil. Merci à Nicolas Gonzalez, qui a effectué un stage chez Argusa à l'automne 2024. Il a effectué la majeure partie du travail sur la conduite et l'interprétation d'une enquête interne sur GenAI et a catalogué divers assistants d'IA dotés de capacités pouvant correspondre à nos activités quotidiennes. Je partagerai les enseignements de ce travail à la fin de l'article. Tout d'abord, permettez-moi de partager un projet client qui reflète la trajectoire et les composants typiques du travail d'analyse.
En juillet 2024, j'ai livré un projet de tableau de bord à un client. En août, le client l'a déclaré « cassé » parce que le chiffre des ventes était tombé à presque zéro. Après avoir résolu le problème, j'ai découvert que le client avait changé de plateforme de commerce électronique, ce qui avait modifié le formatage de ses fichiers CSV. L'ajustement du pipeline a résolu le problème des données de vente.
Cependant, un nouveau problème est apparu : les bénéfices n'étaient pas conformes aux attentes. Après avoir étudié et consulté plusieurs parties prenantes de l'entreprise, nous avons identifié la cause première : une catégorie de produits dont les coûts avaient augmenté en raison de modifications des contrats avec les fournisseurs et de frais supplémentaires. Cette découverte a nécessité des semaines d'efforts collaboratifs, notamment des analyses exploratoires, des ateliers et des comparaisons détaillées des performances des produits en 2023 et 2024.
Voici le détail de ce qu'a entraîné ce « problème de tableau de bord » :
- Chronologie : 14 semaines
- Effort : Des centaines d'heures de réunions, 22 tickets Jira et plus de 120 e-mails avec plus d'une douzaine de parties prenantes.
- Nature du travail : Très collaboratif, nécessitant une connaissance approfondie du domaine et une capacité à résoudre des problèmes.
Principaux points à retenir : pourquoi l'analytique est bien plus que des données
Cet exemple montre pourquoi l'analytique concerne autant les personnes que la technologie. La réparation du pipeline était une tâche technique, mais pour résoudre le problème des bénéfices, il fallait :
- Collaboration avec les parties prenantes pour recueillir des informations dispersées dans les différents départements.
- Naviguer dans diverses sources de données et dans une logique métier.
- Présenter des informations exploitables via des tableaux de bord et des rapports.
Ces tâches sont intrinsèquement humaines et dépendent du contexte. Un assistant d'IA aurait-il pu faire le lien entre les frais des fournisseurs et les marges bénéficiaires ? Peu probable, car cette vision exigeait une collaboration et une intuition approfondies. Les LLM, bien qu'impressionnants, sont loin de remplacer ce niveau de travail nuancé et axé sur les personnes.
Informations tirées d'une enquête GenAI
Pour mieux comprendre le rôle potentiel de GenAI dans notre flux de travail, Argusa a mené une enquête auprès de 11 consultants sur 40 projets clients. Voici ce que nous avons découvert :
1. La manipulation des données prend la majeure partie de notre temps : Bien que le produit final que nous fournissons soit généralement des tableaux de bord ou des rapports, moins de 25 % de notre temps est consacré à la création de tableaux de bord. La majorité est dédiée à l'ingénierie des données, au nettoyage et au débogage des pipelines de traitement.
2. Tâches fastidieuses = opportunités d'automatisation : Nous avons demandé aux participants à l'enquête d'évaluer les différentes tâches en fonction de leur ennui et de la possibilité que Gen AI puisse les aider.
Les activités perçues comme répétitives et fastidieuses sont également celles qui présentent un fort potentiel d'assistance GenAI. C'est encourageant mais pas surprenant non plus.
Bien que la documentation soit cruciale, dans la plupart des cas, les développeurs ne disposent pas du temps nécessaire pour y consacrer. Les assistants GenAI capables de rédiger la documentation à partir du code source et de la maintenir à jour apporteraient une valeur ajoutée considérable au travail de l'équipe de développement. Les activités telles que la création et la maintenance de pipelines de données ont tendance à comporter une importante composante de code et peuvent donc être améliorées par des copilotes. Enfin, même la gestion de projet est perçue comme un candidat potentiel pour bénéficier de la génération AI, car une grande partie de ce travail est axée sur les documents, où les LLM peuvent aider en résumant ou en récupérant des informations dans de grands corps de texte. Un autre aspect de la gestion de projet est l'élaboration d'une communication pertinente, un domaine dans lequel les LLM excellent.
Des tâches telles que la création de visualisations et de rapports ne semblent pas susceptibles de bénéficier de GenAI pour deux raisons. La première est la compréhension des besoins de l'entreprise, que nous acquérons par le biais de sources diverses et peu intégrées, telles que des réunions, des e-mails, des captures d'écran et d'autres exemples, etc. L'autre raison est l'interface : les LLM peuvent écrire du code, mais ne sont pas encore capables de manipuler de manière magistrale une interface utilisateur graphique pour juxtaposer les objets pertinents afin de créer des visualisations.
Enfin, les tâches de niveau supérieur, telles que la conception et l'architecture de bases de données ou de plateformes, sont assez difficiles et loin d'être fastidieuses. Comme on pouvait s'y attendre, la compréhension humaine du contexte, des contraintes et de la culture organisationnelle joue un rôle important dans de tels projets. Par conséquent, ce domaine est perçu comme présentant un avantage minimal de la technologie GenAI.
3. Les défis de l'intégration : Lorsqu'on leur a demandé quels étaient les principaux facteurs entravant l'intégration de GenAI dans le flux de travail de l'analytique, nos consultants ont cité la diversité et la variabilité des logiciels et des flux de données, ainsi que la complexité des tâches comme raisons.
Rétrospectivement, il s'agit également d'un résultat assez intuitif. En tant que consultants, nous sommes exposés à de nombreux environnements dans lesquels des outils et des plateformes similaires sont utilisés dans différentes configurations en fonction du secteur d'activité et même de la culture du client. Même au sein d'une même entreprise/client, nous rencontrons de nombreuses manières d'extraire et de traiter les données et la signification qui leur est donnée via des rapports et des tableaux de bord. Sans processus reproductibles, clairs et bien documentés, il est difficile d'automatiser le flux de travail analytique ou d'impliquer GenAI pour augmenter les capacités humaines.
Quelle est la place de GenAI ?
GenAI pourrait améliorer les flux de travail analytiques à trois niveaux :
- Usage personnel : Exploiter les LLM pour la documentation ou générer des requêtes SQL. Cependant, les préoccupations concernant la sécurité des données et le manque d'intégration dans les flux de travail existants limitent cette option.
- Outils assistés par l'IA : Assistants intégrés dans les éditeurs de texte, les clients de messagerie ou les plateformes de réunion qui rationalisent des tâches telles que la synthèse des notes de réunion. Il s'agit d'une option sécurisée, la sécurité des données étant proposée par les fournisseurs d'outils eux-mêmes dans la plupart des cas. Pour le flux de travail d'analyse des données, il s'agit d'un gain d'efficacité immédiat, qu'il s'agisse de tâches de codage, de documentation ou de gestion de projet.
- Co-pilotes intégrés : GenAI intégré à des outils d'analyse tels que Tableau ou Power BI. Bien qu'il s'agisse de l'option la plus sûre, elle dépend de la mise en œuvre efficace de ces fonctionnalités par les fournisseurs. Néanmoins, les outils évoluent très rapidement et ce n'est qu'une question de temps avant que les outils basés sur des interfaces graphiques ne mettent en œuvre des assistants dotés de capacités comparables à celles des copilotes de codage.
L'avenir de l'analytique et de GenAI
En tant que professionnels de l'analyse, nous devons nous adapter à un environnement qui évolue rapidement. Cependant, voici pourquoi je pense que les LLM ne reprendront pas entièrement nos fonctions :
- L'analytique est une activité axée sur les personnes : La plupart des connaissances nécessaires à l'analyse résident dans l'esprit des gens, et non dans les bases de données. La collaboration et la communication restent essentielles.
- Questions liées à l'ingénierie des données : Comprendre comment les données sont générées, modélisées et transformées est une compétence fondamentale qui est loin d'être entièrement automatisable.
La crainte de voir GenAI remplacer des emplois est légitime, mais la réalité est souvent plus nuancée. Je pense que GenAI a le potentiel d'améliorer considérablement nos capacités en tant que professionnels de l'analyse. En tant qu'êtres humains, notre capacité à naviguer dans la complexité, à relier des informations disparates et à aligner les informations sur les objectifs commerciaux reste irremplaçable.
Auteur :
Fatima Soomro, en collaboration avec Nicolas Gonzalez
Les grands modèles linguistiques (LLM) ont conquis le monde entier. Depuis le début de 2023, tous ceux qui ont un lien avec la technologie ont entendu parler de l'IA générative (GenAI) et de son potentiel de révolutionner les industries et, ce qui est peut-être plus alarmant, de reprendre nos emplois.
En tant que personne travaillant dans le domaine de la technologie, j'ai naturellement été affectée par le discours croissant sur le potentiel disruptif de l'IA. Je suis ingénieur des analyses et des données, chargé de créer des ensembles de données, des tableaux de bord et des rapports nettoyés qui aident les entreprises à prendre des décisions éclairées. Les LLM me remplaceront-ils ? D'après mon expérience, je ne suis pas convaincu.
Dans cet article, j'utilise GenAI et LLM de manière interchangeable. Un LLM (grand modèle linguistique) est un type d'IA générative qui utilise le langage humain comme support d'entrée et de sortie.
Qu'est-ce qui rend les LLM si puissants ?
Les LLM sont le produit de décennies de recherche en linguistique et en traitement du langage naturel (NLP), étayés par des ensembles de données volumineux, une puissance informatique relativement peu coûteuse et des interfaces conviviales. Ils fournissent des réponses étonnamment précises et polyvalentes à des questions allant de la planification des vacances à la rédaction de requêtes SQL complexes. Cependant, leur impact sur des rôles spécifiques, comme le mien, dépend de la manière dont ils s'intègrent aux nuances des flux de travail du monde réel.
GenAI et Analytics : un exemple concret
En 2024, j'ai dirigé un projet interne dans mon entreprise pour explorer comment GenAI pourrait améliorer notre travail de conseil. Merci à Nicolas Gonzalez, qui a effectué un stage chez Argusa à l'automne 2024. Il a effectué la majeure partie du travail sur la conduite et l'interprétation d'une enquête interne sur GenAI et a catalogué divers assistants d'IA dotés de capacités pouvant correspondre à nos activités quotidiennes. Je partagerai les enseignements de ce travail à la fin de l'article. Tout d'abord, permettez-moi de partager un projet client qui reflète la trajectoire et les composants typiques du travail d'analyse.
En juillet 2024, j'ai livré un projet de tableau de bord à un client. En août, le client l'a déclaré « cassé » parce que le chiffre des ventes était tombé à presque zéro. Après avoir résolu le problème, j'ai découvert que le client avait changé de plateforme de commerce électronique, ce qui avait modifié le formatage de ses fichiers CSV. L'ajustement du pipeline a résolu le problème des données de vente.
Cependant, un nouveau problème est apparu : les bénéfices n'étaient pas conformes aux attentes. Après avoir étudié et consulté plusieurs parties prenantes de l'entreprise, nous avons identifié la cause première : une catégorie de produits dont les coûts avaient augmenté en raison de modifications des contrats avec les fournisseurs et de frais supplémentaires. Cette découverte a nécessité des semaines d'efforts collaboratifs, notamment des analyses exploratoires, des ateliers et des comparaisons détaillées des performances des produits en 2023 et 2024.
Voici le détail de ce qu'a entraîné ce « problème de tableau de bord » :
- Chronologie : 14 semaines
- Effort : Des centaines d'heures de réunions, 22 tickets Jira et plus de 120 e-mails avec plus d'une douzaine de parties prenantes.
- Nature du travail : Très collaboratif, nécessitant une connaissance approfondie du domaine et une capacité à résoudre des problèmes.
Principaux points à retenir : pourquoi l'analytique est bien plus que des données
Cet exemple montre pourquoi l'analytique concerne autant les personnes que la technologie. La réparation du pipeline était une tâche technique, mais pour résoudre le problème des bénéfices, il fallait :
- Collaboration avec les parties prenantes pour recueillir des informations dispersées dans les différents départements.
- Naviguer dans diverses sources de données et dans une logique métier.
- Présenter des informations exploitables via des tableaux de bord et des rapports.
Ces tâches sont intrinsèquement humaines et dépendent du contexte. Un assistant d'IA aurait-il pu faire le lien entre les frais des fournisseurs et les marges bénéficiaires ? Peu probable, car cette vision exigeait une collaboration et une intuition approfondies. Les LLM, bien qu'impressionnants, sont loin de remplacer ce niveau de travail nuancé et axé sur les personnes.
Informations tirées d'une enquête GenAI
Pour mieux comprendre le rôle potentiel de GenAI dans notre flux de travail, Argusa a mené une enquête auprès de 11 consultants sur 40 projets clients. Voici ce que nous avons découvert :
1. La manipulation des données prend la majeure partie de notre temps : Bien que le produit final que nous fournissons soit généralement des tableaux de bord ou des rapports, moins de 25 % de notre temps est consacré à la création de tableaux de bord. La majorité est dédiée à l'ingénierie des données, au nettoyage et au débogage des pipelines de traitement.
2. Tâches fastidieuses = opportunités d'automatisation : Nous avons demandé aux participants à l'enquête d'évaluer les différentes tâches en fonction de leur ennui et de la possibilité que Gen AI puisse les aider.
Les activités perçues comme répétitives et fastidieuses sont également celles qui présentent un fort potentiel d'assistance GenAI. C'est encourageant mais pas surprenant non plus.
Bien que la documentation soit cruciale, dans la plupart des cas, les développeurs ne disposent pas du temps nécessaire pour y consacrer. Les assistants GenAI capables de rédiger la documentation à partir du code source et de la maintenir à jour apporteraient une valeur ajoutée considérable au travail de l'équipe de développement. Les activités telles que la création et la maintenance de pipelines de données ont tendance à comporter une importante composante de code et peuvent donc être améliorées par des copilotes. Enfin, même la gestion de projet est perçue comme un candidat potentiel pour bénéficier de la génération AI, car une grande partie de ce travail est axée sur les documents, où les LLM peuvent aider en résumant ou en récupérant des informations dans de grands corps de texte. Un autre aspect de la gestion de projet est l'élaboration d'une communication pertinente, un domaine dans lequel les LLM excellent.
Des tâches telles que la création de visualisations et de rapports ne semblent pas susceptibles de bénéficier de GenAI pour deux raisons. La première est la compréhension des besoins de l'entreprise, que nous acquérons par le biais de sources diverses et peu intégrées, telles que des réunions, des e-mails, des captures d'écran et d'autres exemples, etc. L'autre raison est l'interface : les LLM peuvent écrire du code, mais ne sont pas encore capables de manipuler de manière magistrale une interface utilisateur graphique pour juxtaposer les objets pertinents afin de créer des visualisations.
Enfin, les tâches de niveau supérieur, telles que la conception et l'architecture de bases de données ou de plateformes, sont assez difficiles et loin d'être fastidieuses. Comme on pouvait s'y attendre, la compréhension humaine du contexte, des contraintes et de la culture organisationnelle joue un rôle important dans de tels projets. Par conséquent, ce domaine est perçu comme présentant un avantage minimal de la technologie GenAI.
3. Les défis de l'intégration : Lorsqu'on leur a demandé quels étaient les principaux facteurs entravant l'intégration de GenAI dans le flux de travail de l'analytique, nos consultants ont cité la diversité et la variabilité des logiciels et des flux de données, ainsi que la complexité des tâches comme raisons.
Rétrospectivement, il s'agit également d'un résultat assez intuitif. En tant que consultants, nous sommes exposés à de nombreux environnements dans lesquels des outils et des plateformes similaires sont utilisés dans différentes configurations en fonction du secteur d'activité et même de la culture du client. Même au sein d'une même entreprise/client, nous rencontrons de nombreuses manières d'extraire et de traiter les données et la signification qui leur est donnée via des rapports et des tableaux de bord. Sans processus reproductibles, clairs et bien documentés, il est difficile d'automatiser le flux de travail analytique ou d'impliquer GenAI pour augmenter les capacités humaines.
Quelle est la place de GenAI ?
GenAI pourrait améliorer les flux de travail analytiques à trois niveaux :
- Usage personnel : Exploiter les LLM pour la documentation ou générer des requêtes SQL. Cependant, les préoccupations concernant la sécurité des données et le manque d'intégration dans les flux de travail existants limitent cette option.
- Outils assistés par l'IA : Assistants intégrés dans les éditeurs de texte, les clients de messagerie ou les plateformes de réunion qui rationalisent des tâches telles que la synthèse des notes de réunion. Il s'agit d'une option sécurisée, la sécurité des données étant proposée par les fournisseurs d'outils eux-mêmes dans la plupart des cas. Pour le flux de travail d'analyse des données, il s'agit d'un gain d'efficacité immédiat, qu'il s'agisse de tâches de codage, de documentation ou de gestion de projet.
- Co-pilotes intégrés : GenAI intégré à des outils d'analyse tels que Tableau ou Power BI. Bien qu'il s'agisse de l'option la plus sûre, elle dépend de la mise en œuvre efficace de ces fonctionnalités par les fournisseurs. Néanmoins, les outils évoluent très rapidement et ce n'est qu'une question de temps avant que les outils basés sur des interfaces graphiques ne mettent en œuvre des assistants dotés de capacités comparables à celles des copilotes de codage.
L'avenir de l'analytique et de GenAI
En tant que professionnels de l'analyse, nous devons nous adapter à un environnement qui évolue rapidement. Cependant, voici pourquoi je pense que les LLM ne reprendront pas entièrement nos fonctions :
- L'analytique est une activité axée sur les personnes : La plupart des connaissances nécessaires à l'analyse résident dans l'esprit des gens, et non dans les bases de données. La collaboration et la communication restent essentielles.
- Questions liées à l'ingénierie des données : Comprendre comment les données sont générées, modélisées et transformées est une compétence fondamentale qui est loin d'être entièrement automatisable.
La crainte de voir GenAI remplacer des emplois est légitime, mais la réalité est souvent plus nuancée. Je pense que GenAI a le potentiel d'améliorer considérablement nos capacités en tant que professionnels de l'analyse. En tant qu'êtres humains, notre capacité à naviguer dans la complexité, à relier des informations disparates et à aligner les informations sur les objectifs commerciaux reste irremplaçable.
Auteur :
Fatima Soomro, en collaboration avec Nicolas Gonzalez