On parle de petites lettres qui peuvent vous tuer ou vous soigner.

Ce texte est rédigé en anglais. Mes collègues l'ont traduit dans d'autres langues. Nous communiquons. Je possède certaines connaissances et je les partage avec vous. En recevant ces informations, selon vos centres d'intérêt, vous pourrez développer une idée, entreprendre une action ou simplement prendre plaisir à apprendre quelque chose de nouveau.

Un processus similaire se déroule à l'intérieur de nos cellules.

L'ADN stocke l'information. Cette information est transcrite en ARN messager. Le ribosome lit ce message et produit des protéines. L'information circule ainsi du stockage à l'interprétation et à l'action.

C’est pourquoi l’ADN peut être considéré comme un langage. Il possède un alphabet, une structure et des règles qui déterminent la manière dont l’information est interprétée.

Si je commets une erreur en écrivant ce texte, les conséquences sont limitées. En biologie, la situation est différente. Une simple modification de l'ADN peut altérer la production d'une protéine, parfois avec des conséquences graves pour l'organisme. Il s'agit donc des lettres du langage, qui peuvent tuer ou guérir.

Au quotidien, nous interagissons avec des systèmes comme ChatGPT, Gemini et Claude. Ce sont des exemples de modèles de langage à grande échelle (LLM). Ils traitent le langage humain en entrée, le convertissent en représentations mathématiques et génèrent une sortie.

Un modèle de langage basé sur l'ADN suit une idée similaire, mais le langage est différent.

Au lieu de mots, ce système fonctionne avec des séquences composées de quatre nucléotides : A, T, G et C. Ces séquences contiennent des informations biologiques, mais leur interprétation est bien plus complexe que la lecture d’une phrase. La signification d’une séquence dépend du contexte, de sa structure et des interactions au sein de la cellule.

Le génome contient des régions codantes et non codantes. Les régions codantes fournissent les instructions nécessaires à la synthèse des protéines. Les régions non codantes ne produisent pas directement de protéines, mais elles régulent l'expression des gènes (quand, où et comment). (Elles représentent 98 % du génome.) Bien qu'elles constituent la majeure partie du génome, leur fonction n'est pas encore totalement élucidée.

Comprendre cette couche de régulation est l'un des principaux défis de la biologie moderne.

Longtemps, le décodage de l'ADN à grande échelle est resté hors de notre portée. Aujourd'hui, les progrès de l'apprentissage automatique changent la donne. Les modèles de langage de l'ADN émergent comme une nouvelle approche pour interpréter l'information génomique, nous rapprochant ainsi de la compréhension du fonctionnement de ce langage biologique.

Bienvenue dans le monde du modèle de langage ADN (DLM - DNA Language Model en anglais ) !

Perspective scientifique

Un modèle de langage ADN est un système d'apprentissage automatique entraîné sur de vastes collections de séquences génomiques. Au lieu d'apprendre à partir de textes écrits par des humains, il apprend à partir de l'ADN.

Dans ce contexte, le génome peut être considéré comme une forme de texte biologique. Ses unités de base sont quatre nucléotides : l’adénine (A), la thymine (T), la cytosine (C) et la guanine (G). Différentes combinaisons de ces nucléotides forment des motifs qui véhiculent une signification biologique. L’objectif d’un modèle de langage de l’ADN est d’apprendre ces motifs.

https://theory.labster.com/de/dna-structure/

Contrairement aux modèles biologiques traditionnels, qui s'appuient sur des données expérimentales annotées, les modèles de langage ADN sont entraînés par auto-apprentissage. Autrement dit, le modèle apprend directement à partir des séquences d'ADN brutes, sans annotations explicites. En analysant des milliards de nucléotides chez différents organismes, le système construit une représentation interne de la structure de l'information génomique. Ce processus permet au modèle de saisir simultanément plusieurs niveaux d'information. Localement, il peut reconnaître des motifs courts, tels que les sites de liaison des facteurs de transcription. À plus grande échelle, il peut commencer à comprendre comment des régions éloignées du génome interagissent, y compris des éléments régulateurs séparés par des milliers de paires de bases.

Ce changement est important. Au lieu de devoir entraîner un nouveau modèle pour chaque question biologique, un seul système pré-entraîné peut être adapté à de nombreuses tâches, telles que la prédiction de l'effet des mutations génétiques, la modélisation de la régulation des gènes ou la conception de nouvelles séquences.

Comment fonctionnent les modèles de langage ADN

Malgré leur complexité, la plupart des modèles de langage d'ADN suivent une structure similaire. Le système peut être perçu comme comportant trois composantes principales : la représentation de la séquence, l'apprentissage des motifs et la génération des prédictions.

Apprendre sans étiquettes

La première étape est le pré-entraînement. La plupart des modèles de langage ADN sont entraînés selon l'une des deux stratégies suivantes.

Dans la première approche, certaines parties de la séquence d'ADN sont masquées, et le modèle est invité à prédire les parties manquantes. Pour ce faire correctement, le système doit comprendre le contexte environnant. Cette méthode permet au modèle d'apprendre les relations entre les régions proches et éloignées du génome.

Dans la seconde approche, le modèle est entraîné à prédire le nucléotide suivant d'une séquence à partir du précédent. Ce principe est similaire à celui des modèles de génération de texte. Il est particulièrement utile pour générer de nouvelles séquences d'ADN ou compléter des séquences incomplètes.

Les deux méthodes contraignent le modèle à apprendre la structure sous-jacente de l'ADN plutôt qu'à mémoriser des exemples spécifiques.

Représentation de l'ADN sous forme de jetons

Avant qu'un modèle puisse apprendre à partir de l'ADN, la séquence doit être convertie en unités que le système peut traiter. Cette étape est appelée tokenisation .

Dans le langage humain, les mots sont séparés par des espaces. L'ADN, quant à lui, ne présente pas de frontières naturelles ; il s'agit d'une séquence continue de lettres. C'est ce qui rend la tokenisation difficile.

Une approche courante consiste à regrouper les nucléotides en segments courts de longueur fixe. Par exemple, une séquence de six lettres peut être considérée comme une seule unité. Cela permet au modèle de mieux appréhender les motifs locaux, mais peut introduire des redondances et augmenter le coût de calcul.

Les approches plus avancées utilisent des méthodes adaptatives qui regroupent les motifs fréquents en unités plus larges, tout en préservant les séquences rares avec plus de précision. Ceci permet au modèle de représenter le génome plus efficacement, tout en préservant les signaux biologiques importants. Ce choix de conception influence la capacité du modèle à détecter les structures significatives de l'ADN, notamment dans les régions qui régulent l'activité des gènes.

a) Le principe BPE est illustré par une séquence d'exemple présentant les étapes de tokenisation pertinentes. Les vocabulaires obtenus sont colorés selon la longueur des tokens et représentés sous forme de nuage de mots, les mots étant pondérés en fonction de leur fréquence. b) Le modèle est une architecture BERT composée de 12 blocs de transformateurs (en violet), utilisant une attention multi-têtes et une couche de propagation avant avec des étapes de normalisation (LayerNorm). Le modèle intègre les tokens et est entraîné avec une fonction de perte d'entropie croisée pour prédire le token masqué. L'intégration est mise à jour pendant l'entraînement. La sortie correspond aux probabilités d'identité du token masqué. https://www.nature.com/articles/s42256-024-00872-0/figures/1

Architectures neuronales et longues séquences

Le défi suivant est celui de l'échelle . Les séquences génomiques sont longues. Des interactions importantes peuvent se produire sur des dizaines de milliers de nucléotides. Les modèles d'apprentissage automatique classiques peinent à gérer efficacement cette longueur. De nombreux modèles de langage ADN s'appuient sur des architectures de type Transformer (une architecture d'IA capable de comprendre le contexte global d'une phrase en analysant tous les mots simultanément) utilisées en traitement automatique du langage naturel. Ces modèles sont efficaces pour capturer les relations au sein des séquences, mais leur coût de calcul augmente rapidement avec la longueur de la séquence.

Pour pallier cette limitation, de nouvelles architectures sont en cours de développement. Certains modèles remplacent les mécanismes attentionnels par des opérations plus efficaces capables de traiter des séquences plus longues. D'autres introduisent des composants de mémoire ou des cadres mathématiques alternatifs qui permettent une meilleure scalabilité. Ces innovations permettent aux modèles d'analyser simultanément de plus vastes régions du génome, ce qui est crucial pour comprendre les mécanismes de régulation répartis sur des sites distants.

Un autre type de langue

Bien que l'analogie avec le langage humain soit utile, l'ADN fonctionne selon des règles différentes.

Il n'existe pas de mots ou d'expressions clairement définis. Une même séquence peut avoir différentes significations selon le contexte. De plus, des processus biologiques tels que la transcription introduisent une directionnalité qui n'est pas toujours évidente à partir de la séquence brute. Surtout, une grande partie du génome ne code pas directement pour des protéines, mais régule plutôt le moment et la manière dont les gènes sont exprimés. Ces régions régulatrices sont complexes et ne sont encore que partiellement comprises.

C’est pourquoi apprendre le « langage de l’ADN » ne se résume pas à lire des séquences. Cela implique de comprendre comment l’information est organisée, interprétée et mise en œuvre au sein d’un système vivant.

Outils et plateformes

Pour les chercheurs et les développeurs, il existe plusieurs points de départ pour l'utilisation des modèles de langage ADN.

dépôts et bibliothèques open source

HuggingFace est devenu le principal dépôt de modèles d'ADN pré-entraînés, notamment Nucleotide Transformer , DNABERT-2 et GENA-LM . Ces modèles peuvent être intégrés aux flux de travail d'apprentissage profond standard basés sur Python grâce à la bibliothèque transformers. De plus, plusieurs ensembles d'outils spécialisés sont disponibles sur GitHub.

• Evo : Un dépôt qui fournit du code pour la modélisation et la conception à l'échelle du génome, y compris des notebooks Colab pour le repliement des protéines et la génération de CRISPR.
• GENA-LM : Une famille de modèles optimisés pour les longues séquences, avec un service web dédié pour une annotation ADN facile à utiliser.
• GPN : Un ensemble d'outils destinés à prédire l'effet des variants dans les génomes humains et végétaux.

Cadre NVIDIA BioNeMo

Pour les applications à l'échelle industrielle, le framework NVIDIA BioNeMo offre un environnement optimisé pour l'entraînement et le déploiement de modèles biomoléculaires. BioNeMo inclut des versions optimisées de modèles tels que DNABERT et Geneformer , avec des chargeurs de données et des recettes d'entraînement sélectionnés et accélérés pour les clusters de GPU NVIDIA. Son architecture NIM (NVIDIA Inference Microservices) permet un déploiement rapide, avec des vitesses d'inférence jusqu'à cinq fois supérieures aux implémentations standard.

Applications

Les modèles de langage basés sur l'ADN sont de plus en plus accessibles à un large éventail d'utilisateurs, des chercheurs universitaires aux grandes entreprises pharmaceutiques. Dans le milieu universitaire, la plupart des scientifiques n'entraînent pas ces modèles à partir de zéro, car le pré-entraînement exige d'énormes ressources de calcul, souvent des centaines de GPU haute performance fonctionnant pendant des semaines. Ils utilisent plutôt des modèles de base pré-entraînés qu'ils affinent pour répondre à des questions biologiques spécifiques.

Parallèlement, les entreprises pharmaceutiques et biotechnologiques intègrent ces systèmes à leurs processus de découverte de médicaments. Elles utilisent des modèles de langage d'ADN pour passer de la découverte de médicaments traditionnelle, basée sur la recherche, à la conception générative. Dans ce cadre, les modèles suggèrent des cibles thérapeutiques potentielles qui sont ensuite validées par des systèmes de laboratoire automatisés. Ceci crée une boucle de rétroaction fermée entre le calcul et l'expérimentation, réduisant considérablement le temps de développement. En génomique clinique, ces modèles sont de plus en plus utilisés pour interpréter les variants génétiques liés aux maladies rares. Malgré les technologies de séquençage modernes, la plupart des patients présentant des suspicions de maladies rares ne reçoivent pas de diagnostic moléculaire précis. Les modèles de langage d'ADN aident à prioriser les mutations susceptibles de provoquer une maladie en évaluant l'impact des modifications de la séquence sur la fonction biologique prédite. Dans certains cas, les systèmes assistés par l'IA ont déjà démontré une précision diagnostique supérieure aux méthodes traditionnelles, notamment pour l'analyse de données génomiques complexes.

Au-delà de leurs applications cliniques et pharmaceutiques, les modèles de langage de l'ADN deviennent des outils fondamentaux en génomique et en médecine de précision. L'une de leurs principales applications est la prédiction de l'effet des variants génétiques, afin de déterminer si une mutation génétique est bénigne ou pathogène. Ces modèles apprennent directement à partir des séquences, sans nécessiter d'étiquettes expérimentales explicites, ce qui est particulièrement important pour les régions non codantes qui constituent la majeure partie du génome humain.

Une autre application importante est la modélisation de l'expression génique, où le système prédit la quantité de protéine qu'un gène produira en fonction de son ADN régulateur. Cela inclut la compréhension des promoteurs, des activateurs et autres éléments régulateurs qui contrôlent l'activité des gènes. Parallèlement, les modèles génératifs sont utilisés en biologie synthétique et en ingénierie CRISPR, permettant de concevoir de nouvelles séquences d'ADN aux propriétés fonctionnelles spécifiques, telles qu'une activité génique ciblée ou une spécificité d'organisme.

Enfin, les modèles fondamentaux les plus récents étendent cette approche aux données épigénomiques et unicellulaires, permettant aux chercheurs d'étudier les différences d'expression génique entre les cellules et l'évolution de l'état cellulaire dans des maladies comme le cancer. L'ensemble de ces applications démontre que les modèles de langage de l'ADN ne sont pas seulement des outils d'analyse, mais aussi de conception et d'intervention dans divers domaines de la biologie.

Perspectives d'avenir

L'avenir des modèles de langage de l'ADN s'oriente vers le raisonnement à l'échelle du génome entier, où les systèmes ne se limitent plus aux motifs de séquences locales mais peuvent interpréter et raisonner sur l'ensemble du code génétique d'un organisme. Un axe majeur de ce progrès consiste à étendre la longueur du contexte. Les modèles actuels fonctionnent généralement avec des séquences de 10 000 à 100 000 paires de bases, alors que de nombreuses interactions de régulation biologique se produisent sur des distances de plusieurs millions de paires de bases. Pour combler cet écart, de nouvelles architectures sont développées afin de traiter des contextes génomiques ultra-longs.

Dans le même temps, le domaine s'oriente vers l'intégration de multiples niveaux d'information biologique au sein de modèles fondamentaux unifiés. Au lieu de se baser uniquement sur les séquences d'ADN, les systèmes futurs combineront les données génomiques avec l'expression de l'ARN, les structures protéiques et les signaux épigénétiques, formant ainsi un « modèle biologique de la vie » multimodal. En s'appuyant sur des données évolutives issues de milliers d'espèces, ces modèles visent à appréhender les contraintes biologiques universelles qui régissent à la fois les maladies humaines et des systèmes biologiques plus vastes, tels que la résilience des cultures.

La biologie évolue vers des processus de découverte de plus en plus autonomes. Les systèmes d'IA commencent à agir comme des agents capables non seulement d'analyser les données, mais aussi de concevoir, d'exécuter et d'optimiser des expériences dans des environnements de laboratoire automatisés. Avec l'essor des laboratoires en nuage et des plateformes robotiques, la biologie expérimentale devient plus programmable : les systèmes pilotés par l'IA peuvent ainsi améliorer itérativement les hypothèses et guider directement les expériences physiques, accélérant la découverte, de l'idée à la validation.