Le traitement du langage naturel est un sujet crucial dans le monde d'aujourd'hui, car le contenu généré par l'homme contient une grande quantité d'informations. La structure linguistique dont une machine aurait besoin pour comprendre le sens voulu d'un discours est souvent compliquée par l'usage familier et l'utilisation de la langue. De ce point de vue, les progrès de l'apprentissage profond pour le traitement du langage naturel ont produit des algorithmes qui sont plus adaptables et qui ont traité des contenus ambigus et non structurés avec plus de grâce que les méthodes précédentes.

le contexte social de la parole humaine. L'approche initiale basée sur des règles dans NLP était stricte et avait souvent du mal à reconnaître les subtilités du langage humain.

Qu'est-ce que l'apprentissage par transfert sur NLP?

Imaginez maintenant ce qui se passerait si les algorithmes avaient un moyen d'appliquer les connaissances acquises lors de la résolution d'une tâche à une autre, similaire mais distincte. Dans NLP, des modèles linguistiques pré-entraînés nous aident à le faire et, dans le domaine de l'apprentissage profond, ce concept est appelé apprentissage par transfert. Ces modèles donnent aux scientifiques des données un modèle de base sur lequel ils peuvent s'appuyer pour accomplir une tâche spécifique sur NLP , ce qui leur permet de travailler sur de nouveaux problèmes. L'efficacité des modèles pré-entraînés a déjà été établie dans le domaine de computer vision.

Où peut-on appliquer l'apprentissage par transfert ? 

Les modèles d'apprentissage automatique qui traitent du traitement du langage naturel peuvent être renforcés de diverses manières en utilisant l'apprentissage par transfert. Il s'agit par exemple d'incorporer des couches pré-entraînées qui comprennent des dialectes ou un vocabulaire particuliers ou d'entraîner simultanément un modèle à reconnaître diverses composantes linguistiques.

Les modèles de traduction entre langues peuvent également être modifiés par apprentissage par transfert. Les aspects des modèles qui ont été développés et entraînés en langue anglaise peuvent être modifiés pour des tâches ou des langues similaires. En raison de la prévalence des documents numérisés en anglais, les modèles peuvent être entraînés sur un ensemble de données important avant que leurs composants ne soient traduits en un modèle pour une autre langue.

Comment les modèles pré-entraînés aident-ils dans les tâches NLP ? 

Les modèles pré-entraînés traitent fondamentalement les problèmes d'apprentissage profond liés à la formation initiale à la construction de modèles. Tout d'abord, ces modèles de langue n'ont pas besoin que l'ensemble de données de la tâche cible soit suffisamment grand pour entraîner le modèle aux nuances de la langue, car ils s'entraînent sur d'énormes ensembles de données initiaux qui aident à capturer les nuances d'une langue. Deuxièmement, comme le modèle pré-entraîné comprend parfaitement les nuances de la langue et ne nécessite que des ajustements mineurs pour modéliser la tâche cible, les ressources informatiques et le temps requis pour effectuer une tâche sur NLP sont réduits. Troisièmement, les ensembles de données utilisés pour former ces modèles initiaux respectent les normes industrielles les plus élevées. Enfin, comme la majorité de ces modèles pré-entraînés sont open source, l'industrie peut les utiliser comme base.

Comment l'apprentissage par transfert peut être utilisé dans des applications réelles.

1 . Classification des images :

Grâce à leur formation intensive sur des ensembles de données d'images étiquetées qui prennent beaucoup de temps, les réseaux neuronaux sont capables d'identifier des objets dans une image. En préformant le modèle à l'aide d'ImageNet, qui contient des millions de photos de diverses catégories, l'apprentissage par transfert permet d'accélérer le processus de formation du modèle.

2. Classification des sentiments :

L'analyse des sentiments est un outil qui aide les entreprises à mieux comprendre les sentiments et la polarité (positive ou négative) qui sous-tendent les commentaires des clients et les évaluations de produits. Il est difficile d'élaborer une analyse des sentiments pour un corpus de texte récent, car l'entraînement des algorithmes à reconnaître les différentes émotions est un défi. L'apprentissage par transfert peut aider à résoudre ce problème.

3. Traduction de Zero Shot :

Dans la traduction "zero shot", une forme plus avancée d'apprentissage supervisé, l'objectif du modèle est d'apprendre à prédire de nouvelles valeurs à partir de valeurs absentes de l'ensemble de données de formation. Le modèle de traduction neuronale de Google, qui permet de réaliser des traductions multilingues réussies, est l'exemple le plus répandu de traduction "zero shot".

4. Simulations du monde réel :

Pour les applications du monde réel, la simulation numérique est préférable à la fabrication d'un prototype physique. Il faut beaucoup de temps et d'argent pour former un robot dans des situations réelles. Les robots peuvent désormais être formés par la simulation afin d'atténuer ce problème, et les compétences acquises peuvent ensuite être appliquées à un robot dans la vie réelle. Les réseaux progressifs, qui sont parfaits pour simuler le transfert des politiques dans le monde réel, sont utilisés à cette fin.

Exemples de certains modèles à code source ouvert 

• ULMFiT ( Universal Language Model Fine-tuning ) 
• BERT ( Représentations d'encodeurs bidirectionnels )
• ERNIE ( Enhanced Representation through kNowledge IntEgration )
• BPT ( Binary Partitioning Transformer)
• XLNet
• T5 ( Text To Text Transfer Transformer )
• ELMO ( Embeddings from Language Models )

Conclusion

L'apprentissage automatique doit être accessible et s'adapter aux demandes et exigences locales uniques de chaque organisation s'il veut révolutionner les entreprises et les opérations. Le principal défi consiste à obtenir de grandes quantités de données étiquetées pour le processus d'apprentissage automatique supervisé. L'étiquetage des données peut être une opération très laborieuse, surtout lorsqu'il s'agit de grands ensembles de données. Pour résoudre ce problème, l'apprentissage par transfert sera essentiel. Les puissants modèles d'apprentissage automatique créés à l'échelle pourront être personnalisés pour des applications et des situations particulières grâce aux techniques d'apprentissage par transfert. La diffusion des modèles d'apprentissage automatique dans de nouveaux domaines et secteurs sera considérablement accélérée par l'apprentissage par transfert.