Pr. Hicham Hajji

Aperçu sur les approches d'interprétabilité des modèles du Deep Learning

En Deep Learning, des progrès substantiels ont été accomplis ces dernières années dans des tâches comme la classification et la segmentation des images, et ceci en s’appuyant sur des modèles d'apprentissages qui utilisent des modèles de calcul avec de multiples couches de traitement. Cependant, malgré ces avancées, il n’existe toujours pas de compréhension exacte de comment ces modèles fonctionnent en interne.

Explainable AI ou l'interprétabilité du Deep Learning commence à occuper dernièrement une place importante dans la recherche en AI et en Deep learning. Le besoin d'une compréhension de ces modèles "Black Box" est devenu de plus en plus pressant, notamment pour des usages sensibles comme la médecine: Ainsi dans le cas d'un modèle formé à la détection des tumeurs cancéreuses, le modèle aussi précis qu'il soit ne dit pas pourquoi ni comment il a pris cette décision, et sur quelle partie de l'image MRI il s'est basée pour prendre une telle affirmation.

L'objectif de ce Tutorial est d'initier l'assistante aux principales techniques de visualisations pour mieux interpréter les modèles d'apprentissages profonds. En passant en revue des principales et récentes techniques de visualisations comme l'Activation Maximization, Saliency Maps et les Class Activation Maps, Grad-CAM et Grad-CAM++, le Tutorial essayera de présenter à l'assistance quelques pistes pour les aider à mieux comprendre comment le processus d'apprentissage se réalise à l’intérieur des réseaux de neurones profonds.

Dans la deuxième partie du Tutorial, des exemples de librairies de visualisations seront présentés avec quelques exercices d'initiations:

• D'abord en présentant la libraire Keras-vis (https://raghakot.github.io/keras-vis/), qui permet la visualisation et le débogage des modèles de réseaux de neurones Keras.
• Ensuite, nous allons présenté le projet de Google Lucid (https://github.com/tensorflow/lucid). Nous allons passer en revue quelques uns des principaux outils pour l'interprétabilité des réseaux de neurones profonds, notamment ceux liés à la notion de "Feature Visualization"

Pr. Abdellah Chkifa

An introduction to gradient descent algorithms

Gradient descent algorithms are the most popular strategies of optimization used in machine learning and deep learning. They are used while training a given model, in order to compute (approximate) optimal parameters which minimizes an appropriate loss function. Often used as black-box optimizers, the principle and practical aspect of such algorithms might be unclear for everyday users. Mathematically speaking, gradient descent is a first-order iterative optimization algorithm for finding local minimums value and position of functions. One starts at a guess position, then walk one step at a time, proportional to the negative of the gradient (or approximate gradient) of the function at the current position, until a local minimum is attained.

In this tutorial, we deliver a short mathematical introduction to gradient de- scent algorithms and provide some intuition with regard to their practicality. We review also the most important variants used in Machine Learning. In particular, this tutorial covers:

• Batch gradient descent.
• Stochastic gradient descent.
• Mini-batch gradient descent.
• Backpropagation algorithm.