What are large language models (LLMs) ?

What are LLMs ?

Large Language Models (LLMs) are a category of foundation models trained on immense amounts of data making them capable of understanding and generating natural language and other types of content to perform a wide range of tasks.

LLMs have become a household name thanks to the role they have played in bringing generative AI to the forefront of the public interest, as well as the point on which organizations are focusing to adopt artificial intelligence across numerous business functions and use cases.

Outside of the enterprise context, it may seem like LLMs have arrived out of the blue along with new developments in generative AI. However, many companies, including IBM, have spent years implementing LLMs at different levels to enhance their natural language understanding (NLU) and natural language processing (NLP) capabilities. This has occured alongside advances in machine learning, machine learning models, algorithms, neural networks and the transfomer models that provide the architecture for these AI systems.

LLMs are a class of foundation models, which are trained on enormous amounts of data to provide the foundational capbilities needed to drive multiple use cases and applications, as well as resolve a multitude of tasks. This is in stark contrast to the idea of building and training domain specific models for each of these use cases idividually, which is prohibitive under many criteria (most importantly cost and infrastructure), stifles synergies and can even lead to inferior performance.

LLMs represent a significant breakthrough in NLP and artificial intelligence, and are easily accessible to the public through interfaces like Open AI's Chat GPT-3 and GPT-4, which have garnered the support of Microsoft. Other examples include Meta's Llama models and Google's bidirectional encoder reprensations from transformers (BERT/RoBERTa) and PaLM models. IBM has also recently launched its Granite model series on watsonx.ai, which has become the generative AI backbone for other IBM products like watsonx Assistant and watsonx Orchestrate.

In a nutshell, LLMs are designed to understand and generate text like a human, in addition to other forms of content, based on the vast amount data used to train them. They have the ability to infer from context, generate coherent and contextually relevant responses, translate to languages other than English, summarize text, answer questions (general conversation and FAQs) and even assist in creative writing or code generation tasks.

They are able to do this thanks to billions of parameters that enable them to capture intricate patterns in language and perform a wide array of language-related tasks. LLMs are revolutionizing applications in various fields, from chatbots and virtual assistants to content generation, research assistance and language translation.

As they continue to evolve and improve, LLMs are poised to reshape the way we interact with technologyand access information, making them a pivotal part of the modern digital landscape.

*

*

*

Que sont les LLM ?

Les modèles linguistiques à grande échelle (LLM) sont une catégorie de modèles de base entraînés sur d'immenses quantités de données, ce qui leur permet de comprendre et de générer du langage naturel et d'autres types de contenu afin d'effectuer un large éventail de tâches.

Les LLM sont désormais connus de tous grâce au rôle qu'ils ont joué dans la mise en avant de l'IA générative auprès du grand public, ainsi qu'à l'intérêt qu'ils suscitent auprès des organisations qui souhaitent adopter l'intelligence artificielle dans de nombreuses fonctions commerciales et cas d'utilisation.

En dehors du contexte entrepreneurial, on pourrait croire que les LLM sont apparus de nulle part, parallèlement aux nouveaux développements en matière d'IA générative. Cependant, de nombreuses entreprises, dont IBM, ont passé des années à mettre en œuvre des LLM à différents niveaux afin d'améliorer leurs capacités de compréhension du langage naturel (NLU) et de traitement du langage naturel (NLP). Cela s'est produit parallèlement aux progrès réalisés dans les domaines de l'apprentissage automatique, des modèles d'apprentissage automatique, des algorithmes, des réseaux neuronaux et des modèles Transformer qui fournissent l'architecture de ces systèmes d'IA.

Les LLM sont une catégorie de modèles de base qui sont entraînés à partir d'énormes quantités de données afin de fournir les capacités fondamentales nécessaires pour prendre en charge de multiples cas d'utilisation et applications, ainsi que pour résoudre une multitude de tâches. Cela contraste fortement avec l'idée de créer et d'entraîner des modèles spécifiques à chaque domaine pour chacun de ces cas d'utilisation individuellement, ce qui est prohibitif à bien des égards (notamment en termes de coût et d'infrastructure), freine les synergies et peut même conduire à des performances inférieures.

Les LLM représentent une avancée significative dans le domaine du traitement du langage naturel (NLP) et de l'intelligence artificielle, et sont facilement accessibles au public grâce à des interfaces telles que Chat GPT-3 et GPT-4 d'Open AI, qui ont obtenu le soutien de Microsoft. D'autres exemples incluent les modèles Llama de Meta et les représentations bidirectionnelles des encodeurs de Google à partir de transformateurs (BERT/RoBERTa) et les modèles PaLM. IBM a également récemment lancé sa série de modèles Granite sur watsonx.ai, qui est devenue la colonne vertébrale de l'IA générative pour d'autres produits IBM tels que watsonx Assistant et watsonx Orchestrate.

En résumé, les LLM sont conçus pour comprendre et générer du texte comme un humain, en plus d'autres formes de contenu, sur la base de la grande quantité de données utilisées pour les entraîner. Ils ont la capacité de déduire du contexte, de générer des réponses cohérentes et pertinentes, de traduire vers d'autres langues que l'anglais, de résumer du texte, de répondre à des questions (conversation générale et FAQ) et même d'aider à la rédaction créative ou à la génération de code.

Ils sont capables de faire cela grâce à des milliards de paramètres qui leur permettent de saisir des schémas linguistiques complexes et d'effectuer un large éventail de tâches liées au langage. Les LLM révolutionnent les applications dans divers domaines, des chatbots et assistants virtuels à la génération de contenu, en passant par l'aide à la recherche et la traduction linguistique.

À mesure qu'ils continuent d'évoluer et de s'améliorer, les LLM sont en passe de remodeler la façon dont nous interagissons avec la technologie et accédons à l'information, ce qui en fait un élément central du paysage numérique moderne.