---
title: "О допамине и reinforcement learning"
description: "Есть у Гугла подразделение, точнее, купленная им компания, называется DeepMind. Занимается AI и маши..."
author: "convoluted"
published: "2021-10-23T08:29:57+00:00"
modified: "2021-10-23T10:45:13+00:00"
locale: "ru"
canonical_url: "https://yvision.kz/post/o-dopamine-i-reinforcement-learning-952188"
markdown_url: "https://yvision.kz/post/o-dopamine-i-reinforcement-learning-952188/markdown"
site_name: "Yvision.kz"
---

# О допамине и reinforcement learning

> Есть у Гугла подразделение, точнее, купленная им компания, называется DeepMind. Занимается AI и маши...

Есть у Гугла подразделение, точнее, купленная им компания, называется DeepMind. Занимается AI и машинным обучением. Успешно разработала программы, которые победили людей и другие программы в шахматы, го и даже Starcraft 2.

Свои подходы в исследованиях ребята не скрывают и после каждого успеха публикуют статьи в своей сфере в каком-нибудь Nature. Подходы эти прелюбопытные, не в последнюю очередь из-за достигнутых успехов.

Вообще, стремительное восхождение методов машинного обучения в 21 веке чем-то напоминает успех математического анализа в 18 веке, который в дальнейшем проник во все науки и весьма бодро их обогатил своими методами.

А успехи у машинного обучения есть, и еще какие: и диагностику болезней проводят лучше людей, и систему рекомендаций, и во многие игры играют лучше. Скоро будут лучше водить, а потом и за пивом ходить в ларек. Все-таки способность ходить за пивом как оказалось это венец эволюции и в плане технического исполнения гораздо сложнее, чем играть в го или диагностировать рак.

Количество переходило в качество весьма постепенно, машинное обучение брало разные идеи у смежных наук - например динамическое программирование из operations research - пока фактически не объединило в себе ключевые наработки из статистики, исследований операций, теории графов, теории игр и прочих смежных областей.

И когда все компоненты были собраны, осталось их подогнать друг к другу, добавить несколько чисто технических инсайтов, чтобы вся эта махина начала обильно плодоносить.

В 2015 году группа исследователей из DeepMind публикует статью Human-level control through deep reinforcement learning в журнале Nature, где в общих чертах выложены результаты их исследований на тему в названии статьи и некоторые общие размышления о том, как может быть устроена система принятия решений в живых организмах, в том числе в человеке. Исследователи достаточно амбициозно заявляют, что нащупали общий метод, единый алгоритм возникновения искусственного интеллекта в широком смысле, который необходим для развития разного рода компетенций в ходе решения различных сложных задач.

Объединив передовые наработки в нейронных сетях, которые суть сложные математические и сетевые объекты, с алгоритмами обучения с подкреплением, которые можно вольно приравнять к "правилам игры", в которой перед объектами, оперирующими в некоторой "среде" ставится задача аппроксимации оптимальной функции "действие-ценность" (action-value function), ученым удалось обучить искусственный интеллект различать такую концепцию как "категория объекта" напрямую из потока сырых данных, например пикселей. То есть созданный цифровой голем сам из потока сигналов и импульсов построил для себя "мир вещей и объектов", наделив их какими-то разделительными между собой характеристиками.

Вот такое вот цифровое "да будет свет. И стал свет".

О философских импликациях этого события как-нибудь в другой раз напишу. А сейчас пойдемте дальше.

В журнале Science в 1997 году была опубликована статья A neural substrate of prediction and reward, в которой исследователи рассматривали теорию о том, что уровень допамина колеблется с тем, чтобы давать обратную связь между предсказанием и ошибкой в предсказании, таким образом стимулируя обучение организма через его систему вознаграждения. Там же авторы пишут, что если наблюдение в точности соответствует предсказанию, выброса допамина не происходит, т.е. человек учится только в ситуации, когда его предсказания ошибочны. Они провели исследования, и уровни допамина колеблются более-менее в соответствии с их этой теорией.

Кроме чисто научного интереса к этой статье у меня есть и бытовой: получается, человек в гораздо большей степени зависим от процесса обучения чему-то, чем он предполагает. Конечно, выброс допамина триггерится не только этим, но роль развития и обучения изначально очень высокая заложена в живых организмах.

Вместо послесловия

Создается впечатление, что человечество подходит все ближе к ближе к понимаю того, как функционирует сам человек.

И возможно это то знание, которое потенциально может перевести вопрос индивидуального счастья из философского в чисто технический.

---

Source: [https://yvision.kz/post/o-dopamine-i-reinforcement-learning-952188](https://yvision.kz/post/o-dopamine-i-reinforcement-learning-952188)