Construire un produit Gen AI : le guide de survie pour les PMs

Bienvenue dans l'ère de l'IA générative, où les machines créent du contenu de manière autonome. Pour les product managers (PMs), cela représente une révolution autant qu'un défi. L'IA générative, capable de produire du texte, des images, du son de manière autonome, redéfinit les contours du développement de produits.

En 2023, 67% des entreprises ont intégré l'IA générative dans une de leurs fonctions commerciales au moins. Et ce n'est que le début. Le nombre de solutions Gen AI sur le marché explose, atteignant 27 sur Google Cloud en janvier 2024. Cette adoption rapide montre une demande croissante pour ces technologies.

Les PMs doivent se préparer à naviguer dans ce nouveau paysage dynamique et complexe. Les réponses ne sont plus déterministes, la performance est variable, et l'expérience utilisateur doit être repensée.

Cet article se propose de vous aider à relever ces défis et à réussir vos projets Gen AI.

Qu’est-ce qu’un produit “Gen AI-powered” ?

Les produits Gen AI se répartissent en deux grandes catégories :

1. Les produits hybrides : Ils intègrent des fonctionnalités d'IA générative pour améliorer ou étendre des services existants. Par exemple, Amazon utilise l'IA générative pour créer automatiquement des descriptions de produits pour les vendeurs, combinant l'efficacité de l'IA avec des processus traditionnels.

2. Les produits entièrement fondés sur l'IA générative : Ces produits, comme Quivr ou Perplexity, utilisent la Gen AI comme technologie principale pour fonctionner. Ils sont construits autour de la capacité de l'IA à générer du contenu de manière autonome.

Face à une demande croissante autour de projets Gen AI, notre équipe chez Theodo s'est mobilisée pour renforcer notre expertise et notre compréhension de cette technologie. Cet article détaille nos apprentissages et les stratégies que nous avons adoptées.

I. Comprendre que les produits Gen AI sont indépendants

Nous vivons à l’ère où nos outils technologiques ne suivent plus seulement des instructions, mais prennent aussi des initiatives. Cette indépendance est une caractéristique clé des produits “Gen AI-powered”. Contrairement aux systèmes d'IA traditionnels, ces modèles produisent des réponses imprévisibles.

Problème : des modèles non-déterministes

Les modèles Gen AI sont non-déterministes par nature. Cela signifie que, pour une même entrée, ils peuvent générer des résultats différents à chaque exécution.

Atteindre 80 % de précision dans les réponses peut être relativement simple. Mais, au-delà, chaque % supplémentaire devient beaucoup plus difficile à obtenir et coûteux (en raison de rendements décroissants).

Même si ce n’est qu’une minorité de réponses incorrectes, cela peut causer d’énormes problèmes.

Risques et impacts

L’exemple du Chatbot de DPD, qui a été détourné par un utilisateur via une "prompt injection", entraînant des réponses insultantes, largement partagées sur les réseaux sociaux.

Un autre exemple est celui de Google qui a introduit ses "AI Overviews". Conçus pour fournir des résumés rapides, ils ont produit des informations dangereusement inexactes.

Ces incidents montrent que même des entreprises expérimentées peuvent rencontrer des problèmes graves si l'indépendance de leurs modèles Gen AI n'est pas correctement gérée.

Solutions

Amélioration continue et itération

Pour améliorer les modèles d'IA, il faut itérer régulièrement. Travailler avec des data scientists permet de peaufiner les solutions crées en fonction des retours d'expérience et des nouvelles données. Cela aide à mieux gérer les résultats imprévisibles et à améliorer la précision des réponses.

Réduction des erreurs critiques

Les erreurs critiques peuvent gravement nuire à la fiabilité d'un modèle Gen AI. Pour les réduire, il est essentiel de combiner des évaluations qualitatives et quantitatives.

• Évaluations Qualitatives : Ces évaluations aident à comprendre pourquoi et dans quel contexte les erreurs se produisent.

  Par exemple, sur Quivr, j'utilisais des méthodes comme les interviews utilisateurs et l'analyse de questionnaires pour obtenir des retours détaillés. Si je remarquais que le modèle faisait des erreurs sur les mêmes questions posées plusieurs fois, cela indiquait un problème de cohérence ou de compréhension contextuelle.

• Évaluations Quantitatives : Ces évaluations mesurent les erreurs pour identifier où le modèle performe mal et quantifier l'ampleur des erreurs.

  Par exemple, suivre le taux de bonnes réponses sur un dataset défini dans le temps aide à repérer les domaines à améliorer. Ces données permettent de cibler les ajustements nécessaires pour améliorer la précision du modèle.

II. Adapter l’expérience utilisateur aux nouvelles normes

Équilibrer innovation et familiarité

L'UX/UI des produits Gen AI doit trouver un équilibre entre innovation et familiarité. Les interfaces conversationnelles, devenues courantes, doivent rester accessibles et naturelles pour les utilisateurs.

Par exemple, Perplexity combine des éléments classiques d'UX avec des fonctionnalités de ChatGPT, offrant une expérience fluide et intuitive. Cette approche hybride aide les utilisateurs à s’adapter plus facilement aux nouvelles technologies tout en bénéficiant des innovations de l'IA.

Accompagner l’utilisateur et le rassurer

Les utilisateurs peuvent être sceptiques vis-à-vis des produits Gen AI à cause des erreurs potentielles. Pour gagner leur confiance, il est essentiel de répéter les informations clés et de fournir des sources vérifiables. Par exemple, dans le projet Vidal, nous avons choisi de :

• Reformuler la question : Cela aide à s’assurer que la demande de l'utilisateur est bien comprise.

• Afficher les sources : En montrant les passages utilisés pour générer les réponses, on renforce la crédibilité des informations fournies.

Focus sur des gains précis

Se concentrer sur des fonctionnalités spécifiques avec une valeur ajoutée claire encourage l'adoption initiale des utilisateurs.

Chez Theodo, nous privilégions une phase de discovery approfondie pour identifier les besoins réels des utilisateurs et les domaines où la Gen AI peut exceller. Voici quelques exemples de ce que l'IA générative peut concrètement réaliser :

• Rechercher : Trouver rapidement des informations pertinentes,

• Synthétiser : Résumer des textes longs en points clés,

• Classifier : Organiser les données en catégories,

• Générer : Créer du contenu nouveau basé sur des inputs spécifiques,

• Réécrire : Reformuler des textes existants,

• Extraire : Identifier des informations spécifiques dans un grand volume de données,

• Clusteriser : Grouper des données similaires,

• Traduire : Convertir du texte d'une langue à une autre.

Ces fonctionnalités ciblées permettent de démontrer rapidement la valeur de la Gen AI, facilitant ainsi l'adoption par les utilisateurs.

III. Les enjeux traditionnels de l’IA existent toujours

Gestion de la qualité des données

La gestion de la qualité des données est cruciale pour tous les produits, mais pour les produits GenAI, elle démultiplie les challenges cités tout au long de l’article. N'oublions pas que les produits GenAI sont des produits d'IA à la base. Des données de mauvaise qualité peuvent entraîner des erreurs de généralisation, des biais et des hallucinations.

Stratégie

• Audits de données réguliers : Mettre en place des audits périodiques pour évaluer la qualité et la pertinence des données utilisées.

• Collaboration avec des experts en données : Travailler en étroite collaboration avec des data scientists pour assurer une annotation précise et pertinente des données.

Conclusion

L'IA générative est en plein essor et les produits utilisant cette technologie vont se multiplier. Les product managers doivent s'adapter rapidement à ces nouveaux défis. Acquérir des compétences en IA et mettre en place des processus solides seront essentiels pour réussir.

Les produits Gen AI posent de nouveaux défis, tels que la gestion de modèles non-déterministes et la réduction des erreurs critiques. Les PMs doivent améliorer continuellement leurs modèles en collaborant avec des data scientists et adapter l'expérience utilisateur pour qu'elle soit intuitive et fiable. En combinant des évaluations qualitatives et quantitatives, ils peuvent améliorer la précision des réponses et minimiser les erreurs.

Les innovations, comme les modèles multi-modaux et la personnalisation des expériences utilisateur, transforment déjà le paysage technologique. Dans ce contexte dynamique, être réactif, informé et agile permet de transformer les défis en opportunités et de façonner l'avenir de la technologie.