2024 год в истории Нобелевских премий по физике стал очень и очень неожиданным. Возможно, премия этого года — одна из самых далеких от классической физики, потому что за математические работы премии не присуждаются, а за работы, имеющие отношение к нервной системе, Нобелевки присуждались часто в области физиологии или медицины. Тем не менее премия 2024 года оказалась присуждена 91-летнему американцу Джону Хопфилду и 76-летнему британцу Джеффри Хинтону за работы, которые сейчас влияют, наверное, на все области науки — от литературоведения и лингвистики до физики, химии, физиологии и медицины. Премия присуждена «за основополагающие открытия и изобретения, сделавшие возможным машинное обучение на основе искусственных нейронных сетей».
ИИ: первая весна и суровая зима
Если говорить про нейросети и машинное обучение, то история нынешней Нобелевской премии имеет достаточно большую предысторию как в физиологии, так и в кибернетике / компьютерных науках, которая не уложится ни в одну статью, ни — по-хорошему — в одну книгу. Тем не менее если говорить совсем кратко, то в 1940-1950-х годах совпали две вещи.
Во-первых, нейробиологи накопили некий объем данных, который позволил думать, что наука в целом стала понимать, как работает мозг. Есть нейроны, которые генерируют потенциалы действия. Межнейронная передача сигналов осуществляется в синапсах, которые меняют свою силу связи в зависимости от обучения. Это очень грубое представление картины, в которую внесли свой вклад сотни ученых и, наверное, более десяти нобелевских лауреатов — Сантьяго Рамон-и-Кахаль, Чарльз Шеррингтон, Камилло Гольджи, Алан Ходжкин, Эндрю Хаксли, Генри Дейл и Отто Леви… Сейчас мы понимаем, что тогдашняя картина была очень примитивной и во многом неверной, но — что было, то было.
Параллельно появились первые электронные вычислительные машины — компьютеры в нашем понимании и связанная с ними математика.
Вот что написано в релизе Нобелевского комитета: «В 1940-х годах исследователи начали рассуждать о математике, лежащей в основе сети нейронов и синапсов мозга. Еще одна часть головоломки появилась в психологии благодаря гипотезе нейробиолога Дональда Хебба о том, как происходит обучение, поскольку связи между нейронами укрепляются, когда они работают вместе.
Позже за этими идеями последовали попытки воссоздать, как функционирует сеть мозга, путем создания искусственных нейронных сетей в качестве компьютерного моделирования. В них нейроны мозга имитируются узлами, которым присвоены разные значения, а синапсы представлены соединениями между узлами, которые можно усилить или ослабить. Гипотеза Дональда Хебба до сих пор используется как одно из основных правил обновления искусственных сетей посредством процесса, называемого обучением». Отметим, что гипотеза Хебба была сформулирована в 1949 году — а уже в следующем десятилетии начался первый расцвет нейросетей.
Фрэнк Розенблатт. Wikimedia Commons
Здесь, конечно, нужно упомянуть Фрэнка Розенблатта, нейрофизиолога и кибернетика, который в 1957 году и предложил самую первую нейросеть — или кибернетическую модель мозга, которую автор назвал перцептроном. В этой модели были рецепторы — элементы-датчики, ассоциативные элементы и выходы. Таким образом перцептрон позволял создать набор «ассоциаций» между входящими стимулами и реакциями на выходе. Годом позже он опубликовал статью «Перцептрон: Вероятностная модель хранения и организации информации в головном мозге», с которой и начались нейросети.
Схема перцептрона. Wikimedia Commons
Примерно десять лет нейросети бурно развивались и вызывали очень большой интерес, который в том числе держался и на таланте Розенблатта-промоутера. Все ждали прорывов, однако в 1966 году случился большой провал в области машинного перевода, а в 1969 году вышла книга Марвина Минского и Сеймура Пейперта «Перцептроны», в которой авторам удалось показать фундаментальные ограничения возможностей таких нейросетей. Наступило жесткое разочарование, отток денег, гибель карьер… Настало то, что современные историки науки называют «Зимой искусственного интеллекта». Новой весны пришлось ждать до 1980-х, и ключевую роль в ней сыграли в том числе и два физика, лауреаты Нобелевской премии 2024 года.
Ассоциативная память
До 1980-х годов Джон Хопфилд, который уже приближался к своему полувековому юбилею, работал в области применения физики для изучения теоретических проблем молекулярной биологии. Однако когда его пригласили на встречу, посвященную неврологии, он столкнулся с исследованиями того, как работает мозг. Он был очарован тем, что узнал, и начал думать о динамике простых нейронных сетей. Когда нейроны действуют вместе, они могут давать начало новым и мощным сущностям, которые не очевидны для того, кто смотрит только на отдельные компоненты сети.
В 1980 году Хопфилд оставил свою должность в Принстонском университете, где его исследовательские интересы уводили его за пределы областей, в которых работали его коллеги-физики, и переехал на другой конец континента. Он принял предложение стать профессором химии и биологии в Калифорнийском технологическом институте в Пасадене, Южная Калифорния. Там у него был доступ к компьютерным ресурсам, которые он мог использовать для свободных экспериментов и развития своих идей о нейронных сетях.
Тем не менее физику Хопфилд не забросил. В его работах оказалось очень важным знание того, как системы со множеством мелких компонентов, которые работают вместе, могут приводить к новым и интересным явлениям. Ему особенно помогло то, что он узнал о магнитных материалах, которые обладают особыми характеристиками благодаря своему атомному спину — свойству, которое делает каждый атом крошечным магнитом. Спины соседних атомов влияют друг на друга; это может позволить образовываться доменам со спином в одном направлении, что и наделяет материал магнитными свойствами.
Хопфилд сумел построить модель сети с узлами и соединениями, используя физику, которая описывает, как развиваются материалы, когда вращения влияют друг на друга. Эта сеть, появившаяся в 1982 году, получила название сети ассоциативной памяти. Как вы пытаетесь вспомнить слово, цепляясь за фрагменты образов? Вот примерно такую сеть построил первый лауреат.
Сеть, созданная Хопфилдом, состоит из узлов, которые соединены между собой связями разной силы. Каждый узел может хранить индивидуальное значение — в первой работе Хопфилда это могло быть либо 0, либо 1, как пиксели на черно-белом изображении.
Работа сети Хопфилда. Johan Jarnestad/The Royal Swedish Academy of Sciences
Хопфилд описал общее состояние сети со свойством, эквивалентным энергии в системе вращения, обнаруженной в физике; энергия рассчитывается по формуле, которая использует все значения узлов и все показатели силы связи между ними. Сеть Хопфилда программируется путем подачи изображения на узлы, которым присваивается значение черного (0) или белого (1). Затем сетевые подключения корректируются с использованием формулы энергопотребления, так что сохраненное изображение получает низкое энергопотребление. Когда в сеть подается другой шаблон, существует правило для обхода узлов один за другим и проверки, имеет ли новая сеть меньшую энергию, если значение этого узла изменяется. Если выяснится, что энергия уменьшается, то черный пиксель меняет цвет и становится белым. Эта процедура продолжается до тех пор, пока не станет невозможно найти какие-либо дальнейшие улучшения. Когда достигается этот момент, сеть часто воспроизводит исходное изображение, на котором она была обучена. Метод Хопфилда оказался особенным, потому что несколько изображений могли быть сохраняемы одновременно, и сеть могла различать их.
Хопфилд сравнил поиск в сети сохраненного состояния с катанием мяча по ландшафту вершин и впадин с трением, замедляющим его движение. Если мяч бросить в определенное место, он скатится в ближайшую долину и остановится там. Если сети присвоен шаблон, близкий к одному из сохраненных шаблонов, она точно так же будет продолжать двигаться вперед, пока не окажется на дне долины в энергетическом ландшафте, таким образом находя ближайший шаблон в своей памяти.
Сеть Хопфилда можно использовать для воссоздания данных, содержащих шум или тех, которые были частично стерты.
Метод Хинтона
Примерно в то же время, когда уже «пожилой» для открытия нобелевского уровня Хопфилд делал свои работы, в другой англоязычной стране работал Джеффри Хинтон. Ранее Хинтон изучал экспериментальную психологию и искусственный интеллект в Англии и Шотландии и задавался вопросом, могут ли машины научиться обрабатывать шаблоны аналогично людям, находя свои собственные категории для сортировки и интерпретации информации. Вместе со своим коллегой Терренсом Сейновски Хинтон начал с сети Хопфилда и расширил ее, чтобы создать что-то новое, используя идеи статистической физики.
Состояния, в которых могут совместно существовать отдельные компоненты, могут быть проанализированы с помощью статистической физики и при этом может быть рассчитана вероятность их возникновения. Некоторые состояния более вероятны, чем другие; это зависит от количества доступной энергии, которое описывается уравнением физика, жившего тогда, когда не знали ни про нейроны, ни про компьютеры, — Людвига Больцмана. Сеть Хинтона использовала это уравнение, и новый метод был опубликован в 1985 году под ярким названием «машина Больцмана».
Сеть Хопфилда и сети с машиной Больцмана. Johan Jarnestad/The Royal Swedish Academy of Sciences
Машина Больцмана обычно создается с двумя разными типами узлов. Информация поступает в одну группу, которая называется видимыми узлами. Другие узлы образуют скрытый слой. Значения и связи скрытых узлов также вносят свой вклад в энергетику сети в целом.
Машина запускается путем применения правила для обновления значений узлов по одному узлу за раз. В конечном итоге машина перейдет в состояние, в котором структура узлов может измениться, но свойства сети в целом останутся прежними. Тогда каждый возможный паттерн будет иметь определенную вероятность, которая определяется энергией сети в соответствии с уравнением Больцмана. Когда машина останавливается, она создает новую модель, что делает машину Больцмана ранним примером генеративной модели искусственного интеллекта.
Машина Больцмана может учиться — не на инструкциях, а на примерах. Она обучается путем обновления значений в соединениях сети — так, чтобы примеры шаблонов, которые были отправлены на видимые узлы при его обучении, имели максимально возможную вероятность появления при запуске машины. Если один и тот же паттерн повторяется несколько раз во время этого обучения, вероятность этого паттерна оказывается еще выше. Обучение также влияет на вероятность вывода новых шаблонов, похожих на примеры, на которых обучалась машина.
Обученная машина Больцмана может «увидеть» знакомые черты в информации, которую она ранее не видела.
«Представьте, что вы встретили брата или сестру друга, и вы сразу поймете, что они, должно быть, родственники. Аналогичным образом машина Больцмана может распознать совершенно новый пример, если он относится к категории, содержащейся в массиве, на котором ее обучили, и опознать его, отделив от примера, который в эту категорию не входит», — пишут авторы релиза Нобелевского комитета.
В своем первоначальном виде машина Больцмана довольно неэффективна, и на поиск решений уходит много времени. Все становится интереснее, когда она дополняется различными способами, которые Хинтон продолжает исследовать — в отличие от Хопфилда, Хинтон до сих пор активный ученый. Более поздние версии были сокращены, поскольку были удалены соединения между некоторыми блоками. Оказалось, что это может сделать машину более эффективной.
Таким образом, конечно, можно, с одной стороны, сказать, что Нобелевский комитет в 2024 году «натянул сову на глобус», но, с другой стороны, во-первых, в работах Хопфилда и Хинтона есть использование физических методов, да и сам Хопфилд — физик по происхождению, во-вторых, сделанное ими не раз и не два уже использовалось для физических открытий, которые в итоге приводили к Нобелевской премии по физике, и нейросети — это универсальный научный метод, и за них можно давать премию как по физике, так и по химии, и по медицине — сети Хопфилда и Хинтона работают везде, а в-третьих, нужно помнить, что Нобелевский комитет обратился к первоисточнику, завещанию Альфреда Нобеля, который говорил, что премии — и по физике, и по химии, и по физиологии или медицине — должны присуждаться за открытие или изобретение, принесшее максимальную пользу человечеству. О пользе нейросетей для человечества сложно спорить.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
