Apprenez l'IA en 2024 (2 sur 5) : Maîtriser les grands modèles de langage

TL;DR :Plongez dans le monde des grands modèles de langage (LLM) avec un parcours d'apprentissage structuré. Des mathématiques fondamentales au développement d'applications pratiques, ce guide couvre des ressources essentielles, des cours et des outils pour maîtriser les LLM, y compris la mise en œuvre de modèles depuis zéro, l'ingénierie des prompts et le réglage fin.

Explorer le monde des grands modèles de langage

Alors que nous plongeons plus profondément dans le monde remarquable des grands modèles de langage (LLM), comprendre ces cadres fondamentaux est crucial pour quiconque souhaite exceller en IA, en particulier avec le GPT d'OpenAI et des modèles similaires. Ici, je présente une feuille de route organisée pour maîtriser les LLM, combinant des tutoriels vidéo, du codage pratique et des guides complets.

Commencez par les bases : ressources d'introduction

Commencez votre parcours avec des présentations éclairantes :

• Regardez le Introduction aux grands modèles de langage par Andrej pour saisir les concepts de base.
• Plongez dans Les grands modèles de langage en cinq formules par Alexander Rush de Cornell Tech.

Réseaux de neurones : De zéro à héros

La série d'Andrej Karpathy, Réseaux de neurones : De zéro à héros, est incontournable. Elle couvre tout, du codage de la rétropropagation à la construction de modèles GPT depuis zéro. Pour ceux qui souhaitent explorer davantage, consultez sa dernière vidéo sur la construction d'un tokenizer GPT.Bootcamp LLM gratuit

Full Stack Deep Learning propose un

bootcamp LLM gratuit qui couvre l'ingénierie des prompts, les LLMOps et le lancement rapide d'une application LLM.Construire avec les LLM : Développement d'applications

Si vous êtes prêt à construire des applications utilisant les LLM, ces ressources sont inestimables :

Regardez

• Développement d'applications utilisant les grands modèles de langage par Andrew Ng.Lisez
• Construire des applications LLM pour la production par Huyen Chip.Explorez
• Modèles pour construire des systèmes et produits basés sur les LLM par Eugene Yan.Utilisez le
• Cookbook OpenAI pour des recettes pratiques.Lancez vos projets avec
• les modèles AI de Vercel.Participez à des hackathonsParticipez à des hackathons IA hebdomadaires sur

lablab.ai.

Faites-moi savoir si vous souhaitez collaborer !Approfondissez votre compréhension : Lisez des articles essentielsSebastian Raschka’s

Deepen Your Understanding: Read Essential Papers

Sebastian Raschka’s Comprendre les grands modèles de langage est un article complet listant les documents cruciaux à lire. Suivez son substack, Avant l'IA.

Écrire des transformateurs à partir de zéro

• Plongez dans La famille des transformateurs version 2.0 pour un aperçu.
• Les documents clés incluent L'attention est tout ce dont vous avez besoin et Le transformateur illustré.
• Engagez-vous avec des guides et des blogs complets pour implémenter des transformateurs à partir de zéro.

Apprendre à exécuter des modèles open-source

Utilisez ollama pour commencer avec des modèles comme Llama 2.

Maîtriser l'ingénierie des invites

Explorez Ingénierie des invites | Lil’Log et inscrivez-vous à des cours comme Ingénierie des invites ChatGPT pour les développeurs.Ajustement des LLM

Suivez le

• guide d'ajustement de Hugging Face.Découvrez Ajustement — Le guide GenAI.
• Comprendre RAGExplorez des articles sur la génération augmentée par récupération (RAG) tels que Un guide complet pour construire des applications LLM basées sur RAG.

En tirant parti de ces ressources, vous améliorerez non seulement votre compréhension des LLM, mais vous acquerrez également des compétences pratiques pour innover et diriger dans le domaine de l'IA. Plongez-y, et que le voyage de la découverte commence !

Explore articles on Retrieval Augmented Generation (RAG) such as A Comprehensive Guide for Building RAG-based LLM Applications.

By leveraging these resources, you'll not only enhance your understanding of LLMs but also gain practical skills to innovate and lead in the realm of AI. Dive in, and let the journey of discovery begin!