À partir de quel moment peut-on encore dire qu’on est l’auteur d’un texte quand on a utilisé une machine pour nous aider à le rédiger ?

1 % : dès qu'une partie du texte est produit artificiellement, il n'est plus original.
Ou alors 10 %, 30 %, 80 % ?
Et 100 %, c'est un texte qui n'a plus aucune valeur ?

Est-ce qu'il y a une frontière ? Un moment où on va dire : "Non, là c'est trop !" ?

Si je vous parle de cela, c'est parce que tout le monde parle de livres écrits avec ChatGPT, et forcément de Pangram. Et c'est le bon sujet.

Vous avez lu la presse, vous savez tous ce qu'il s'est passé.

Un compte anonyme a soumis des extraits du roman de Thélyson Orélien "C’était ça ou mourir "(lauréat du Prix du Roman Fnac et sélectionné pour le Goncourt) à Pangram, le logiciel de détection de contenus produits par IA. Le résultat de l'analyse a révélé un taux de texte généré par IA proche de 100 %.

Suite à ces révélations, l'écrivain a été exclu de la sélection du Prix Goncourt.

Attention, Orélien maintient qu'il est l'auteur de ce livre, et d'autres détecteurs donnent des résultats très différents de Pangram. La question n'est donc pas de savoir ici si Orélien est coupable ou pas, il y a d'autres lieux pour cela. La question est ailleurs, et elle a de plus profondes implications.

Jusqu'à aujourd'hui, la détection de textes rédigés par IA ne fonctionnait pas du tout. Je vous en avais déjà parlé, j'avais fait le test l'an dernier avec ma thèse. J'avais pris un bout de ma thèse, publiée il y a plus de 20 ans, et je l'avais passé dans tous les logiciels de détection de textes produits par IA, et j'avais obtenu partout un résultat positif, donc validant un texte produit en partie ou en totalité par IA.

Donc des faux positifs.

Et il y a une raison à cela. Les LLM que nous utilisons ont été en grande partie entraînés sur des textes scientifiques. En effet, ces textes sont de grande qualité, car écrits méthodiquement, structurés très rigoureusement (aux normes des journaux), et relus à plusieurs reprises par les comités de relecture par exemple. Mais ils sont aussi un grand avantage: ils sont disponibles, en masse, pour le coût acceptable d'accès aux bases de données.

Donc le bénéfice est total pour l'entraînement des IA : des textes de bonne, voire grande qualité, disponibles massivement, pour un coût modeste.

Cela fait que les IA sont assez sensibles à des textes de ce type. Elles reconnaissent immédiatement les patterns des textes scientifiques (certains mots, tournures de phrases fréquentes ou adjectifs récurrents), et y réagissent. Et ma thèse, structurée de cette manière, a déclenché le faux positif. C'est donc la structure et le choix des mots qui ont semblé familiers, et d'une certaine manière, c'est parfaitement logique.

Mais dans le cas de Thélyson Orélien, c'est assez différent. Il s'agit d'un texte littéraire. Nous parlons d'art, et c'est là qu'est la nouveauté. Sur un texte littéraire, les détecteurs marchaient plutôt mal. Ceux sont eux-aussi des IA, et ils n'ont aucun humour, ont des difficultés avec les images et les métaphores, passent systématiquement à côté des figures de style, et je ne parle pas du recours à la poésie.

Et bien ce n'est plus le cas.

Il semble que Pangram marque une évolution majeure dans la détection de textes produits par IA. Je dis "semble" car rien n'est encore certain, mais il semble que les progrès soient là.

Cependant, plutôt que de rentrer dans la compréhension technique, il faut se poser la vraie question : à quoi cela sert-il ?

En effet, c'est la notion même de plagiat qui est en train d'évoluer. Qu'est-ce qui va aujourd'hui définir l'authenticité d'un texte: le fait de le concevoir et d'en élaborer l'architecture, ou le fait d'en écrire tous les mots ?

Dumas n'écrivait qu'en partie ses livres. Il produisait des idées, les structurait, puis les donnait à des auteurs qui travaillaient pour lui. Il en avait plus de 45, dont Auguste Maquet qui était le plus célèbre. Enfin, il signait l'ensemble de son nom, sans citer personne. Dumas venant des Iles, c'est d'ailleurs de là que vient le terme "nègre" pour définir les auteurs dans l'ombre. Les américains utilisent le terme "ghostwriter", que je trouve plus adapté.

En France, François Forestier aurait été le prête-plume d'auteurs connus sur plus de 100 livres.

Et des exemples comme celui-ci, il y en a à foison.

Donc des livres à succès, publiés par des auteurs, parfois encensés par la critique, mais publiés par d'autres.

Est-ce qu'il y a un parallèle ?

D'une certaine manière, oui, car le texte n'a pas été écrit par son auteur.

Mais de l'autre non, car même s'il n'a pas été écrit par son auteur, le texte a un auteur. Il a été écrit par une personne, pas par une machine.

Alors peut-on considérer que l'IA écrit ?

Aujourd'hui, une grande partie des codes des logiciels et services que vous utilisez ne sont plus écrits par des développeurs. Le travail a changé, il est passé de la production, à l'architecture.

Beaucoup de sites web que vous visitez, de présentations que vous voyez en formation ou en conférence, les dépêches financières qui forment des restructurations de données éparses, les versions en langues étrangères des grands journaux (Le Monde en anglais par exemple), les résumés d'avis clients sur Amazon ou de vos mails Google, certaines publicités, un pourcentage important de la musique sur Spotify, les services clients (entrants et sortants), ... J'ai même vu des expositions d'œuvres artistiques produites par IA.

Alors que faut-il en penser ?

Est-ce la production de textes et autres contenus par IA qui pose problème, ou est-ce que la limite c'est l'art ?

Ou est-ce la confiance du lecteur dans le cas Thélyson Orélien qui a été trahie ?

Je vous pose beaucoup de questions aujourd'hui car je n'ai pas de certitudes. L'IA est rentrée presque par effraction dans nos vies il y a 4 ans, et elle a renversé la table. Toutes les personnes dont le travail était de produire, et cela va des auteurs aux développeurs, en passant par les professeurs, les artistes ou les créateurs, ont vu leurs activités bouleversées.

Mais qu'en reste-t-il ? La fin de la création, ou une adaptation, avec l'IA comme aide, la création elle-même étant la fonction primordiale de l'humain, et la production celle de la machine ?

Mais cette approche aurait-elle des frontières, comme celle de l'art ? Et pour combien de temps ?

Tout cela nous conduit en fait à une question simple à formuler, mais absolument vertigineuse :

Qu'est-ce que créer ?

· · ·

C’est tout pour aujourd’hui, on se retrouve samedi prochain ✌️​

Passez un merveilleux week-end.

Jean-Philippe

P.S. J’ai toujours beaucoup de plaisir à vous partager mes analyses et points de vues chaque samedi matin.

Et si vous êtes allé au bout, c’est que nous partageons ce goût pour l’analyse. Mais c’est peut-être aussi le cas d’un de vos proches, un ami ou un membre de la famille, que vous pourriez inviter à la discussion.

Peut-être pourriez-vous juste lui transférer Secret Sauce avec un bref message : “Je viens de lire cette analyse, je serais curieux d’avoir ton point de vue.”