Ely Greenfield (CTO d’Adobe) "L'intégration de l'IA chez Adobe simplifiera encore davantage le processus de conception 3D"

Avec le lancement de Firefly Video en version Bêta, Adobe franchit une nouvelle étape dans l'intégration de l'IA générative à l'ensemble de ses produits. Le JDN a rencontré Ely Greenfield, CTO d'Adobe Digital Media, pour évoquer les projets de l'éditeur.

JDN. Adobe a récemment enrichi Creative Cloud avec une centaine de nouvelles fonctionnalités, et a présenté de nouvelles intégrations de son modèle Firefly. Comment l'IA va-t-elle faire évoluer les pratiques des créatifs ?

Ely Greenfield. Depuis le lancement de notre premier modèle Adobe Firefly pour la génération d'images il y a un an et demi, nous avons toujours cherché à intégrer l'IA directement dans les workflows des créatifs. Au cours des six derniers mois, nous avons ajouté des fonctionnalités comme la possibilité de générer des images dans des styles spécifiques via des images de référence ou encore des modèles personnalisés, permettant par exemple aux utilisateurs d'entraîner l'IA avec plusieurs images pour obtenir un modèle de style bien précis. Notre objectif est d'offrir un contrôle total pour que nos clients puissent exploiter l'IA en toute sécurité, avec des résultats esthétiques et professionnels. Notre famille de modèles d'IA générative Firefly a été conçue pour être utilisée dans un cadre commercial

Adobe vient d'étendre sa famille de modèles d'IA générative à la vidéo, avec Firefly Video disponible pour l'instant en beta. Combien de temps a été nécessaire et quels types de données ont été utilisées pour le développement de ce modèle ?

Cela fait plus d'un an que nos équipes travaillent sur différents modèles d'IA pour la vidéo, mais nous attendions que la technologie soit mûre pour la lancer en bêta. Firefly Video, en développement depuis cet été, a bénéficié aussi des neuf mois d'expérience accumulée avec notre modèle dédié à l'image. Concernant les données, nous n'utilisons jamais les données de nos clients. Nos modèles sont uniquement entraînés avec des contenus sous licence, des données dont nous détenons les droits ou des ressources du domaine public.

Quelles seront les modalités de tarification pour l'utilisation de Firefly Video ?

Nous ne l'avons pas encore annoncé. Nous l'avons lancé en version bêta pour que nos utilisateurs puissent déjà l'essayer. Sa tarification sera probablement plus élevée que celle de notre modèle de génération d'images, mais nous communiquerons les détails prochainement.

Que faut-il attendre des prochaines versions de Firefly pour l'image et la vidéo ? Anticipez-vous des progrès majeurs à court terme ?

Nous continuons d'investir pour améliorer la qualité des résultats avec Firefly Video. En termes d'améliorations futures, il faut donc s'attendre à des clips plus longs, des résolutions plus élevées, et une fidélité accrue aux instructions. Nous avons par exemple introduit la fonction "image vers vidéo", permettant aux utilisateurs d'obtenir des vidéos avec un niveau de contrôle amélioré en partant d'une simple image. Côté mouvements et actions dans les vidéos, nous allons redoubler d'efforts pour enrichir le contrôle des détails, comme les angles de caméra et les transitions. Côté image, Firefly Image 3 permet aujourd'hui de générer des images quatre fois plus rapidement. Au total, Firefly a déjà permis de générer plus de 13 milliards d'images. Pour le futur, nous travaillons également à offrir plus de cohérence entre les éléments et les personnages pour permettre la création de séries d'images dans des décors variés.

Quelles sont les nouvelles fonctionnalités IA dédiées à l'audio ? Sera-t-il bientôt possible de générer des vidéos avec des sons ou dialogues?

Nous avons récemment intégré "Generative Extend" dans Premiere Pro, qui permet d'étendre de quelques secondes un clip audio ou vidéo grâce à l'IA. Lors de notre session "Sneaks" à Adobe MAX, nous avons démontré des technologies capables de générer des éléments audio synchronisés, comme des bruits de pas ou des sons d'accident, pour accompagner des scènes vidéo. Nous nous rapprochons d'une IA permettant de générer audio et vidéo séparément, puis de combiner les pistes. Bien que des avancées existent, il faudra encore patienter pour des solutions pleinement utilisables et contrôlables par nos utilisateurs

Adobe a récemment présenté plusieurs fonctionnalités facilitant la conception 3D grâce à l'IA. Cette expertise va-t-elle devenir plus accessible grâce à Firefly ?

Oui. Nous avons d'ailleurs récemment lancé la version bêta de Project Neo, une application web permettant de créer et modifier facilement des designs 3D, rendant ainsi la conception 3D plus accessible. L'intégration de Firefly devrait simplifier encore davantage ce processus, en permettant, par exemple, d'utiliser une image de référence en 2D pour générer un rendu 3D avec des instructions simples. Nous travaillons sur des technologies que nous présenterons prochainement et qui devraient grandement faciliter la conception 3D grâce à l'IA. Nous avons également introduit une nouvelle version de Substance 3D Viewer en bêta, qui permet de visualiser et retoucher des objets 3D tout en travaillant dans Photoshop, facilitant ainsi les transitions entre 2D et 3D.

Pensez-vous que Firefly, actuellement intégré dans les solutions Adobe et disponible via une interface Web, pourrait, à terme, devenir un produit autonome ?

Notre stratégie IA repose sur trois piliers. Le premier est de proposer une technologie contrôlable et adaptée aux besoins des créatifs et professionnels, pour garantir des résultats précis et commercialement exploitables. Le deuxième pilier consiste à intégrer l'IA de manière native dans tous nos produits, afin qu'elle s'intègre naturellement aux workflows existants des créateurs. Enfin, nous développons également des outils autonomes axés sur l'IA pour initier de nouvelles approches créatives. Project Concept, par exemple, est un outil autonome conçu pour l'idéation et la conceptualisation, illustrant comment l'IA peut être placée au centre du processus créatif. Cette nouvelle plateforme de développement créatif et collaboratif permet de remixer des images en temps réel afin que les professionnels de la création puissent concevoir des concepts en direct sur un seul plan de travail.

Adobe a annoncé être ouvert à l'intégration de modèles IA tiers au sein de ses outils. Quand prévoyez-vous d'intégrer ces modèles, et comment imaginez-vous leur cohabitation aux côtés de Firefly ?

Nous n'avons pas encore de date à annoncer, mais nous discutons effectivement avec plusieurs acteurs. Notre priorité est de répondre aux besoins de nos clients, sans leur imposer nos modèles si des alternatives performantes existent déjà. Nous sommes donc ouverts à l'idée de proposer d'autres modèles au sein de nos outils. Par exemple, des modèles tiers pour des workflows tels que "texte vers image" ou "texte vers vidéo" pourraient être intéressants. Certaines intégrations plus techniques, comme le remplissage génératif dans Photoshop, demandent cependant du temps et des ajustements. 

Adobe est à l'initiative de Content Credentials, une technologie open source permettant d'identifier l'origine d'un contenu. Pensez-vous que celle-ci puisse devenir un standard à l'ère de l'IA générative, tout comme l'est devenu le PDF ?

Je pense que Content Credentials est en bonne voie pour devenir un standard, et nous travaillons à son adoption par l'ISO. Lancée en 2019 sous l'égide de la Content Authenticity Initiative (CAI), cette technologie open source a été pensée pour garantir l'authenticité des contenus. Aujourd'hui, elle réunit plus de 3 700 partenaires, y compris des réseaux sociaux, des médias, des fabricants de matériel comme Canon et des créatif. Content Credentials permet de sécuriser l'origine et l'intégrité d'un contenu via des signatures cryptographiques. Cette technologie peut servir à identifier un contenu généré par IA, mais aussi et surtout à authentifier les œuvres créées par des humains. Par exemple, un appareil Canon peut désormais signer cryptographiquement une photo pour certifier son auteur et attester que l'image n'a pas été modifiée.

L'outil Adobe Express, concurrent direct de Canva, a-t-il une chance de devenir votre solution la plus populaire, alors que le design et la conception graphique semblent s'être démocratisés ces dernières années ?

On parle souvent des créatifs comme s'il s'agissait d'un seul groupe, alors que cette communauté regroupe de nombreuses disciplines différentes. Adobe Express est conçu pour répondre à des besoins spécifiques et est donc un outil précieux pour certains cas d'usage. Bien qu'Express soit amené à devenir l'un de nos produits phares, son objectif n'est pas de remplacer des solutions avancées comme Photoshop ou Illustrator pour des utilisateurs experts. En revanche, des designers professionnels, experts en Illustrator ou Photoshop, peuvent utiliser Express pour y importer leurs contenus et créer des animations simples rapidement. Express se veut accessible et performant, ce qui en fait un outil apprécié par de nombreux clients professionnels, notamment pour un usage mobile au quotidien.

Ely Greenfield est le CTO de la division Digital Media d'Adobe. Il collabore étroitement avec les équipes de Creative Cloud et Document Cloud pour intégrer des technologies innovantes et soutenir l'innovation du groupe. Récemment, il a supervisé le développement d'Adobe Firefly, le premier modèle d'IA générative de l'entreprise. Il supervise également Adobe Research, la division axée sur l'innovation en IA et les outils créatifs. Avant Adobe, il était CTO d'AppDynamics. Ely Greenfield est diplômé en informatique de l'Université Brown.