Explication sur le fonctionnement de Transformer LLM, avec des exemples.

视频信息

答案文本 复制

视频字幕 复制

Les Transformers sont une architecture révolutionnaire introduite en 2017 dans l'article 'Attention is All You Need'. Contrairement aux RNN et LSTM qui traitent les données séquentiellement, les Transformers utilisent un mécanisme d'attention pour traiter tous les éléments en parallèle. Cette architecture se compose principalement d'un encodeur, d'un décodeur, et du mécanisme d'attention qui permet de comprendre les relations entre tous les mots d'une phrase simultanément. Le mécanisme d'attention est le cœur des Transformers. Il permet de calculer l'importance de chaque mot par rapport aux autres dans une phrase. Prenons l'exemple 'Le chat mange la souris'. Pour comprendre le mot 'chat', l'attention va examiner tous les autres mots et déterminer lesquels sont les plus pertinents. Le système utilise trois matrices : Query pour ce qu'on cherche, Key pour où chercher, et Value pour l'information à extraire. La formule d'attention calcule ces relations et pondère l'importance de chaque connexion.