Dopamine et récompense

Dopamine et récompense

Qu’est ce que la dopamine ?

Toujours dans ma quête du « comment ça marche », j’ai décidé de regarder ce qui se passait à l’intérieur du cerveau lors d’un apprentissage. Voici un résumé de ce que j’ai trouvé dans un article très intéressant, et qui va apporter un jour nouveau sur nos entraînements.

Qu’est-ce que la dopamine ? C’est un neurotransmetteur. Vous savez, ces produits chimiques qui se baladent dans notre cerveau et y font circuler l’information.
La création de dopamine est générée par les récompenses naturelles telles que la nourriture, l’eau, ou le sexe, mais aussi par la consommation de drogues.
La dopamine agit sur la motricité, la concentration, la mémoire, et l’apprentissage par association.
L’étude que j’ai dénichée  analyse le rôle de la dopamine dans le processus d’apprentissage J’ai découpé cette analyse en 3 parties, celle-ci porte sur le lien entre la dopamine et la récompense.

https://fr.wikipedia.org/wiki/Dopamine

Et le VTA et le NAc , que font-ils ?

Le Ventral Tegmental Area (VTA) est une zone du cerveau qui est stimulée lors d’activités plaisantes C’est un élément important du circuit de récompense et du plaisir (et aussi de l’orgasme).
Il agit aussi dans les comportement d’évitement, mais ce sera l’objet du prochain article.
En simplifiant, on peut dire que c’est la zone du plaisir.
Cette zone du cerveau est un grand pourvoyeur de dopamine.

le nucleus accumbens septi (NAc) exploite la dopamine crée par le VTA.

Il se compose  du « shell », qui est la zone du cerveau qui va dire « j’aime », c’est la zone de la récompense.

Et du « core », qui nous fait bouger. C’est le core qui va déclencher le comportement lorsque le shell aura dit « j’aime ».

https://fr.wikipedia.org/wiki/Aire_tegmentale_ventrale

https://fr.wikipedia.org/wiki/Noyau_accumbens

Le rôle de la dopamine

La dopamine est indispensable dans la recherche de la récompense. Des expériences ont montré que si on détruit artificiellement la dopamine, on inhibe l’envie de travailler pour rechercher de la nourriture (ou de la cocaïne …), et le processus d’apprentissage par conditionnement via la récompense ne fonctionne plus. Le comportement locomoteur n’est pas affecté, c’est uniquement la motivation pour se bouger et aller travailler pour chercher la nourriture qui est inhibée. Des souris qui naissent avec l’incapacité de générer de la dopamine meurent de faim alors que de la nourriture est à leur portée. Alors qu’elles n’ont aucun problème pour se nourrir si l’eau ou la nourriture est mise devant leur bouche.
Des souris déficientes en dopamine vont boire de l’eau sucrée, alors qu’elles ne boirons pas de l’eau ordinaire, moins gratifiante.
Ces expériences sur les souris montrent que la dopamine est indispensable pour chercher et trouver de la nourriture, mais est sans impact sur l’appétit lui-même.
D’autres expériences ont montrées que la dopamine joue un rôle important dans la sexualité. Par exemple le taux de dopamine augmente fortement chez des rats mâles durant la phase «d’attente» lorsque des femelles réceptives sont maintenues hors d’accès sous une cage grillagée. Le taux de dopamine des mâles atteint un pic lorsque la cage grillagée est enlevée et qu’ils accèdent à la femelle tant désirée .
Cela confirme que la dopamine joue un rôle dans la phase qui précède l’arrivée de la récompense, c’est-à-dire la phase ou l’individu désire cette récompense, mais ne joue aucun rôle dans le plaisir de consommer la récompense elle-même.
Pour compléter ce chapitre, des expériences ont démontré que des animaux déficients en dopamine choisiront le chemin facile qui amène à une petite récompense plutôt que le chemin plus difficile qui amène à une grosse récompense. Si vous avez lu mon article sur réflexions sur le cout et la valeur, une petite lumière a du s’allumer dans votre cerveau.

Les effets de la récompense

Les chercheurs ont observés l’activité neuronale liée à la présence de dopamine.
Il y a des phases « toniques », ou de petites décharges de dopamine sont présentes dans le système nerveux, maintenant un taux de dopamine constant dans certaines zones spécifiques du cerveaux. Et il y a des périodes « phasiques » ou de fortes décharges de dopamines se produisent inondant le système nerveux. Ces décharges de dopamine provoquées par des stimuli puissants (clics sonores intenses, flashes lumineux) stimulent l’activité des récepteurs sensoriels, l’animal devient plus réceptif à son environnement.
Le mode « tonique » provoqués par des stimuli relativement neutres (récompenses alimentaires par exemple) est très sensible à l’effet d’accoutumance lié à la répétition.

Dopamine et apprentissage

Pendant la phase associative, c’est-à-dire lorsque qu’on apprend à l’animal un nouveau comportement en l’associant à une récompense, la création de dopamine est stimulée par l’aspect non prédictif de l’arrivée de la récompense (mode « phasique », le plus actif). Puis, après de nombreuses répétitions, il n’y a plus cet effet de surprise, la récompense est devenue prévisible, et le taux de dopamine retombe. De plus, on constate une forte diminution de l’apparition du comportement lorsque la récompense est supprimée. La dopamine est donc bien importante dans la phase d’apprentissage. C’est elle qui nous pousse à recommencer pour espérer avoir à nouveau une récompense. Mais lorsque cette récompense devient trop prédictive, la dopamine retombe, et le comportement tend à disparaître facilement si on n’est plus récompensé.

Valeur de la récompense

Des études ont été menées sur l’importance de la « valeur » de la récompense, en jouant sur son appétence, sa probabilité, et son délai. Ces études ont démontré que ces 3 paramètres n’étaient pas indépendants dans la valeur de la récompense. Ces études ont aussi démontré que si on donne des indications sur l’arrivée probable de la récompense, c’est plus efficace qu’une récompense aléatoire. Cela confirme que ce qui est le plus important c’est l’espoir d’avoir peut être une récompense, plus que la récompense elle-même.

Application pratique à notre dressage

Faisons le bilan de ce que nous avons vu, et comment cela s’applique à notre dressage.
On a tout d’abord vu que la dopamine joue un rôle fondamental dans la notion de chien actif, dans la motivation et l’intensité à réaliser un exercice pour avoir la récompense. C’est cette dopamine qui fait que notre chien se bouge de lui-même pour espérer avoir cette récompense, c’est elle qui fait qu’il va se surpasser dans la réalisation de l’exercice. C’est la réalisation de l’exercice qui stimule le système nerveux, pas l’obtention de la récompense. C’est le Saint Graal de tout dresseur : l’exercice devient source de plaisir.

Dans la nature, c’est cette dopamine qui provoque la chasse. C’est l’espoir d’obtenir de la nourriture qui stimule tout l’organisme, et qui développe les sens du chasseur. Une fois la proie tuée, le niveau de dopamine retombe, et l’organisme revient à un niveau d’activité plus bas. C’est la dopamine qui transforme la motivation en action.

On a vu aussi que pour que la décharge de dopamine soit intense, il faut que la récompense en vaille la peine, quelle ai de la valeur. On va faire d’autant plus d’effort si on sait que la récompense à l’arrivée est importante.
La routine, la récompense trop prévisible, casse cette dynamique. On va donc chercher à toujours surprendre notre chien dans notre façon de récompenser, on va absolument éviter la routine. Par exemple, dans son sac de récompenses alimentaires, on va mélanger plusieurs type de nourriture, plus ou moins appétentes. Ainsi, chaque fois qu’on met la main dans le sac pour récompenser, on ne sait pas ce qui va en sortir. Vous savez maintenant que cela correspond au mode « phasique » !

Et pour augmenter le niveau de dopamine, on peut aussi faire en sorte que la récompense soit active. Par exemple, si on récompense par de la nourriture, on va le frustrer un peu en le narguant, le chien doit pousser sur la main pour avoir sa récompense, voire vous mordiller les doigts. La récompense acquiert ainsi une plus grande valeur. Un chien qui attend patiemment que la récompense lui arrive directement dans la gueule n’est pas « actif », son taux de dopamine est bas, il subit son dressage, et se lasse vite. Et le comportement disparaît rapidement lorsque la récompense disparaît. Cela ressemble parfois plus à du gavage qu’à du renforcement, et c’est pour ça qu’on entend encore « je ne veux pas éduquer mon chien à la récompense, sinon il ne fera plus rien si je n’ai pas de récompense » ….

La dopamine permet aussi d’expliquer comment fonctionne la «compression» utilisée en dressage. Pour rappel, cela consiste à poser une récompense à vue du chien, et à lui donner un ordre de libération pour qu’il aille se récompenser lorsque l’exercice est bien réalisé. C’est cette phase d’attente de la récompense qui fait monter son taux de dopamine, et donc son intensité à réaliser l’exercice.

On a aussi appris que pour augmenter la valeur de la récompense, il faut jouer simultanément sur son intensité, sa probabilité et son délai. Pour reprendre l’exemple de la compression, on va augmenter son efficacité :

  •  En jouant sur l’intensité : on va donner une pleine gamelle de nourriture appétante, et pas uniquement 3 petits bouts de fromage
  •  En jouant sur le délai : on va faire varier le moment où on libère le chien pour qu’il aille se récompenser. Des fois au bout de quelques dizaines de secondes, des fois au bout de 20 mn.
  •  En jouant sur la probabilité : lorsqu’il arrive à la gamelle, il ne sait pas ce qu’il va y trouver. C’est le principe de la machine à sous. On ne sait pas combien on va gagner (souvent rien du tout), mais on continue à jouer de façon addictive.

Tous les chiens ne sont malheureusement pas physiologiquement égaux devant la dopamine. Ceux qui en sécrètent le plus seront plus enclin à se défoncer sur un exercice que ceux qui ont un taux bas de ce neurotransmetteur. Ça s’appelle la sélection génétique….

Mais pour mettre toutes les chances de notre coté, il faut stimuler cette capacité à « faire de la dopamine » en travaillant correctement avec nos chiots, c’est-à-dire avec des récompenses « actives ».

Référence

http://edoc.bibliothek.uni-halle.de/servlets/MCRFileNodeServlet/HALCoRe_derivate_00004321/Dissertation_Anton_fina__copy_for_the_library.pdf

CC BY-NC-ND 4.0 Dopamine et récompense par Didier ESCALLIER est sous Licence Creative Commons Internationale Attribution-Pas d'utilisation Commerciale-Pas de Modification 4.0 .

5 réflexions sur « Dopamine et récompense »

  1. Monsieur Escallier, une petite question :
    dans la partie « valeur de la récompense » vous nous dites que les études montrent que si l’on donne des indications au chien sur l’arrivée probable de la récompense, c’est plus efficace que la récompense aleatoire. Je me disais donc que lorsqu’on utilise un clicker, on téléphone le chien en lui disant « la récompense va arriver », on lui donne donc une indication sur la recompense à venir et celle- ci est systématique. Est ce que ce type d’apprentissage est plus efficace qu’une récompense aleatoire alors qu’elle est hyper prédictive et donc que la dopamine sera moindre? faut-il juste changer la nature de la récompense alimentaire par exemple ?
    j’espere que vous comprendrez mon charabia et en tout cas merci pour les articles en général.

    1. Bonjour,
      et merci de vous intéresser à mon approche.
      Le clicker sert à faire pont entre le moment ou l’action voulue est réalisée, et l’arrivée effective de la récompense primaire. Le clicker devient en lui même une récompense (secondaire)
      Si on veut relier le clicker avec l’étude sur la dopamine, je dirais que le fait que le chien sache qu’on a pris le clicker avec nous est l’espoir d’une récompense. Il sait qu’on va aller s’entraîner, et donc qu’il sera récompensé. Lorsque un chien est habitué à travailler avec un clicker, il vous suffit de prendre le clicker dans l’endroit ou vous le rangez pour que ce petit bruit caractéristique fasse rappliquer votre chien à toute vitesse, et dans un état d’activité élevé (sautillement, mouvement frénétique de queue ..). Il est déja dans l’espoir de récompense.
      Rappeller vous que le clicker est un outil pour mettre en place un comportement, ce n’est pas une finalité, il est destiné à disparaître une fois le comportement acquis. Et afin de maintenir ce comportement dans le temps, on passe à une récompense aléatoire. Il faut alors mettre en place un autre rituel pour déclencher cet espoir de récompense avant la séance de travail.

      1. Merci beaucoup. Je suis d’accord avec vous que le clicker n’est qu’un outil et non une finalité et pour moi encore moins une méthode à proprement dite parce que des fois j’entends parler de méthode clicker par des gens qui ne jurent que par çà. Mais un outil intéressant qui me permet de faire patienter le chien quand la récompense tarde à venir.

      2. Le clicker n’est qu’un cas particulier de marker training. On peut marquer le bon comportement avec tout autre chose qu’un clicker.
        Ce marker sert à faire un pont entre l’instant qu’on veut récompenser, et la récompense primaire (généralement la nourriture) qu’on distribue est peu plus tard (le temps de la sortir de la poche).

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *