课程详情

Ce cours fait suite à ma première formation "Formation au deep learning avec Python (Keras / Tensorflow)" qui vous a permis de faire une initiation sur la prédiction des séries temporelles.Pour aller plus loin, cette formation va vous permettre d'introduire des concepts d'attention utilisés pour réaliser différents modèles de prédiction. Vous allez découvrir en particulier le modèle DA-RNN. Nous utiliserons les librairies telles que Tensorflow, Keras, Pandas, Numpy, Scikit learn,...Les travaux sont accessibles et exploitables en ligne grâce à l'utilisation des carnets Jupyter avec Google Colab. Aucune installation de logiciel spécifique sur son ordinateur n'est requise car tout le travail se fait en ligne.A chaque étape d'apprentissage de ce cours, de nouveaux concepts sont introduits. Des explications claires permettent de bien les comprendre à travers 6 thèmes d'étude:Quelques rappels sur les modèles basiques de prédictions de séries temporelles qui utilisent des couches récurrentesComprendre et coder les concepts de base de l'attention dans les modèles basiques.Coder et mettre en auvre le modèle End-to-End Memory NetworkAppliquer les modèles de type Séquence vers Séquence (Seq2Seq) à la prédiction de l'énergie produite par des panneaux photovoltaïquesComprendre et coder l'attention de Badhanau et de Luong aux modèles Séquence vers SéquenceComprendre et coder un modèle multivarié à attention spatio-temporelle: le modèle DA-RNNLes activités en Python expliquent clairement comment les exploiter. D'une durée totale de 7h, ce cours vous permettra d'être à l'aise dans l'utilisation avancée de Keras et Tensorflow pour coder vos propres couches et modèles, à partir de classes héritées. Les thèmes d'étude s'appuient sur des documents issus de la recherche scientifique et proposent des concepts importants qui ont été développés ces dernières années.=== Prérequis ===Ce cours fait suite à ma première formation "Formation au deep learning avec Python (Keras / Tensorflow)".Si vous avez déjà une expérience en Deep Learning, vous découvrirez certainement de nouveaux thèmes d'étude qui vous permettront d'élargir vos compétences.== Aide en ligne ===Quelque soit votre niveau, je suis disponible pour vous aider dans votre progression. Vous pourrez éventuellement rencontrer des difficultés en Mathématiques ou en programmation car il est bien évident que vous avez tous un bagage différent en fonction de votre parcours (études ou professionnel).Dans ce sens, il ne faudra surtout pas hésiter à me poser vos questions et je m'engage à y répondre dans un délai raisonnable. Votre motivation est essentielle pour réussir cette formation.=== Thèmes étudiés dans la formation ===#1. Rappels sur les modèles basiques du deep learning utilisés pour la prédiction des séries temporelles Quand on veut prédire ou juste analyser l'évolution d'une certaine quantité dans le temps, (le cours de la bourse par exemple) on est très vite confronté un type de données assez particulier: Les séries temporelles.L'importance des séries temporelles vient de son omniprésence. En effet, dans presque tous les domaines on les retrouve. Que ce soit en finance, en marketing, en traitement du signal, en physiques, etc...Nous reverrons rapidement dans cette première partie les résultats essentiels vus dans ma première formation sur le deep learning.#2. Comprendre et coder les concepts de base de l'attention dans les modèles basiquesDans sa forme la plus simple, telle que découverte et popularisée par Dzmitry Bahdanau, Kyunghyun Cho et Yoshua Bengio dès 2014, un mécanisme d'attention est défini comme étant un mini-réseau neuronal capable d'évaluer les proportions d'attention qu'il faut accorder à des éléments dans un ensemble ou une liste.C'est ce concept d'attention qui a permis au domaine de traitement naturel du langage de faire un pas de géant dans les années 2015. Depuis, ce concept a été porté dans le domaine des modèles de prédiction des séries temporelles par différents chercheurs.#3. Coder et mettre en auvre le modèle End-to-End Memory NetworkUn modèle de ce type est un modèle qui tente de modéliser le fonctionnement d'un cerveau animal. Ce type de model a été publié dans les documents de Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, Rob Fergus.#4. Appliquer les modèles de type Séquence vers Séquence (Seq2Seq) à la prédiction de l'énergie produite par des panneaux photovoltaïquesUn modèle de type séquence vers séquence est un réseau de neurones récurrent qui convertit une séquence de données d'un domaine en entrée vers une nouvelle séquence de données dans un autre domaine en sortie.Généralement, un modèle séquence à séquence est implémenté en utilisant deux réseaux de neurones récurrents, un premier réseau est un encodeur et le second est un décodeur. On parle aussi d'une architecture encodeur-décodeur. Dans ces modèles, l'entrée et la sortie ne sont pas nécessairement de la même longueur. Un bon exemple d'utilisation d'un modèle séquence à séquence est la traduction neuronale d'une phrase d'une langue d'origine vers une langue d'arrivée.#5. Comprendre et coder l'attention de Badhanau et de Luong aux modèles Séquence vers SéquenceCes deux attentions sont utilisées dans les modèles séquence vers séquence. Ce sont les deux principales méthodes qui introduisent le concept d'attention, très largement utilisé dans le domaine du traitement naturel du langage, de la vision artificielle, de la prédiction des séries temporelles.Ces deux méthodes sont très importantes ar ce sont sur elles que reposent les modèles de prédictions de séries temporelles à attentions spatio-temporelles les plus avancés de ces dernières années.#6. Comprendre et coder un modèle multivarié à attention spatio-temporelle: le modèle DA-RNNLe modèle DA-RNN est un modèle de référence dans le domaine. Très souvent, les modèles issus des recherches scientifiques actuelles comparent leurs résultats à ceux obtenus avec le modèle DA-RNN.Il est donc essentiel de bien comprendre ce modèle afin de pouvoir approfondir ses connaissances et évoluer vers des modèles plus performants par la suite.

课程标签

0人关注该课程

主题相关的课程