Сверхэффективная нейронная сеть или гиперсеть
Что нужно чтобы создать искусственный интеллект? По какому пути идти до этой цели? Многие с уверенностью ответят, что научное сообщество уже полным ходом движется на этом пути. Что со следующими нейросетевыми моделями с еще большим количеством параметров, с еще более мощными нейроморфными компьютерами, и еще более масштабными датасетами на все случаи жизни, мы ворвёмся в эпоху мыслящих машин. На мой взгляд, это похоже на гонку за морковкой и скорее очевидным для всех такое положение дел станет тогда когда количество настраиваемых параметров в моделях, станет больше чем связей в человеческом мозгу, но ожидаемого эффекта не будет достигнуто.
В этой статья я обозначу путь выхода из порочного бега за морковкой, и расскажу о своём пути и наработках в своих исследованиях.
Первое, что нужно решить на пути к искусственному интеллекту – это проблему низкой эффективности обучения нейронных сетей. Глупо строить грандиозное высотное здание без фундамента, или на очень плохом фундаменте. Текущее положение дел в нейронных сетях – это очень плохой фундамент для искусственного интеллекта, но многие исследователи упорно продолжают строить свои концепции и модели интеллекта на этом фундаменте, вместо того, чтобы обратить своё внимание на очевидные проблемы: биологическая нейронная сеть обучается во много раз эффективнее искусственных нейронных сетей.
Да, биологические нейронные сети, можно сказать, находятся в постоянном непрерывном потоке информации, непрерывно получая сигналы от своих рецепторов. За сутки младенец может получить гигантское количество информации от своих органов зрения и слуха, эквивалентное видео и аудио, данным на многие и многие терабайты. Но если детально разобрать эту информацию, то действительно полезной для обучения, так скажем «размеченной» информации не так уж много. Можно сказать, что человек обучается на датасете очень плохого качества, большая часть примеров нерелевантна и не размечена, какая-то часть примеров сильно зашумлена, но при этом обучается он достаточно успешно и быстро.
Видимо компьютерные нейронные сети не соответствуют биологическим или обучение их мы производим совершенно не так, как это происходит в биологической нервной системе.
Необходимо сконцентрироваться на разработке суперэффективных нейронных сетей, а не на увеличении количества обучаемых параметров.
Причём во главу угла стоит ставить скорость обучения сети, а качество или точность сейчас второстепенны.
Только супер эффективная нейронная сеть (СНС) может быть фундаментом и основой для создания искусственного интеллекта.
Имея технологию СНС можно двигаться различными путями, как создавая когнитивные архитектуры на основе графов, гиперграфов и т.д. плюс СНС, так и двигаясь биологическим путём повторяя архитектуру биологического мозга. Я сторонник биологического подхода, хотя и не считаю этот путь единственным в достижении цели.
- Первый этап. Создание модели сенсорных анализаторов в первую очередь зрительных и слуховых. Вообще сенсорные анализаторы биологической нервной системы и должны стать прообразом сверхэффективных нейронных сетей (СНС).
- Второй этап. Получение знаний о механизмах мгновенной, временной и долговременной памяти в концепции СНС. Биологические сенсорные анализаторы легко работают с контекстом, только понимание концепции памяти в биологических нейронных сетях позволит перенять возможность работать с контекстом, что сильно расширит возможности СНС.
- Третий этап. Создание моделей моторных сетей. Не смотря на гомогенность коры головного мозга моторные сети в некотором смысле более сложно устроены, чем сенсорные анализаторы, хотя есть некоторое глубокое сходство. Поэтому этот этап не будет затянутым. В моторные сети будут входить модель мозжечка, как структура, запоминающая и воспроизводящая короткие временные интервалы для точности движений. А так же некий механизм поощрения, для обеспечения обучению правильных движений, аналогичный дофаминовыми механизмами поощрения в биологическом мозге.
- Четвертый этап. Одним из важных форм моторных действий является речь. Возможно, по этой причине этот и предыдущий этапы будут воплощены синхронно. На этом этапе речь не будет в полной мере осознанной. Подобно человеку должны быть пройдены этапы развития речи, такие как гуление, произношение отдельных звуков, затем слов. Максимальный уровень владения речью на этом этапе, это называние предъявленных предметов, описание сцен, ответы на простые вопросы, чтение или декларация текста. На этом этапе буде заложена основа для сети речевого круга (О речевом круге я подробно писал в статье «Что такое сознание»).
- Пятый этап. Создание модели базовых эмоций и потребностей. Этот этап не будет являться чётким этапом, многие его концепции будут проявляться и на более ранних этапах. Главной фундаментальной эмоцией, которую необходимо моделировать – это эмоция новизны. Достаточно создать оценочный механизм новизны информации на различных уровнях абстрактности и производить на его основе модуляцию параметров сети. Любопытство необходимо для эффективного обучения.
Также нужно обеспечивать модели чувствами необходимыми для контроля их потребностей. К примеру, низкий заряд батареи робота мог бы создавать некие чувство голода для робота, и робот бы стремился удовлетворить его, то есть стал бы искать зарядное устройство или источник питания. Или создание некого чувства боли или дискомфорта, чтобы робот избегал травмирующих его ситуаций.
Еще одна полезная эмоция, которую легко можно подвергнуть моделированию это различного рода привязанности. В основе привязанностей лежит механизм импринтинга. Это будет полезно для различного рода роботов-помощников или роботов-питомцев, от которых требуется следовать за хозяином или некоторая преданность.
Человек более охотно будет взаимодействовать с интеллектом похожим на него, поэтому возможно появление более широкого спектра эмоциональных механизмов. К примеру, тревожности и страха, симпатии, радости и разочарования.
Что касается внедрения на уровень базовых эмоций законов робототехники Айзека Азимова, то они имеют высокий абстрактный характер, что сильно усложняет их моделирование. Сначала модель должна быть обучена на столько, чтобы можно было выявить репрезентацию образов «Человек» и «причинение вреда», подобно тому, как у человека можно найти «бабушкины нейроны». Затем можно связать эмоциональный механизм со стремлением избегать сочетания этих образов. Сложно сказать, насколько такой метод будет эффективным. - Шестой этап. Можно сказать, что этот этап такой же сложный, как и первый, если не сложнее. Условно его можно его можно назвать этапом префронтальной коры. Префронтальной коре головного мозга присваивают высшую когнитивную деятельность, здесь можно сказать, расположено суждение и долгосрочное целеполагание. Префронтальная кора контролирует работу эмоциональных центров и центров потребностей, она регулирует то, насколько сильно они влияют на поведение.
Работа на этом этапе требует глубоких знаний о поведении человека. Только на этом этапе можно рассуждать и говорить о сознании и сознательном поведении. К этому этапу я отношу не только создание префронтальной коры, но и несколько важных биологических нейронных сетей и механизмов. К примеру, сеть «интерпретатор», которая стремиться дать обоснование любому нашему действию. Наличие таких сетей явно проявляется в экспериментах с участием людей с разделёнными полушариями мозга.
Или сеть ответственная за иллюзию квалия, создающие ощущения централизованного восприятия мира. Также механизм восприятия границ своего тела и действий, нарушение этого механизма у людей может приводить к навязчивому стремлению избавиться от части своего тела или не способность различать свои действия от действий другого человека.
Мы знаем, что нарушения в различных психических механизмах могут приводить к различным болезням аутистического спектра или различных форм шизофрении. На пути к искусственному интеллекту суждено встретится с примерами этих отклонений в искусственной психике, но у этого есть и полезное зерно. Работа над искусственным интеллектом позволит понять лучше природу психических болезней человека.
Гиперколончатая сеть, или гиперсеть
Сейчас мы находимся на первом этапе этой маршрутной карты, на этапе создания суперэффективных нейронных сетей. Для меня это не совсем первый этап, прежде пришлось разобраться в принципах работы периферийной нервной системы и в том, как работают нейронные сети в простых нервных системах и в целом создать не одну модель работы нейронов. Сейчас я разрабатываю модель главным структурным элементом, которой является не нейрон, а гиперколонка или кортикальный модуль. Отсюда и рабочее название гиперколончатая сесть или кратко гиперсеть.
Далее я расскажу подробней, на каких принципах она основана и то, как я её реализую.
Вторая сигнальная система – узлы
Давайте разберемся, как информация от рецепторов может репрезентоваться в коре, для этого нужно разобраться, как протекают два простых механизма иррадиация и индукция, известных уже более века.
Иррадиация – это стремление нервного возбуждения распространиться на соседние нейроны или соседнюю нервную ткань.
Обычно отростки клеток одной колонки могут, распространяться на соседние колонки, и оказывать в соседних колонках побудительное действие. Характер такого побудительного действия на соседние колонки можно представить в виде некоторого круглого ореола с максимальным воздействием в центре и с постепенным ослаблением при удалении от центра.
Индукция – это возникновение областей торможения на коре вокруг участка возбуждения. Это может быть связанно с тем, что отростки нейронов одной колонки на некотором расстоянии колонки могут образовывать связи с ингибирующими клетками других колонок. Характер ингибирующего (тормозящего) воздействия на соседние колонки можно представить следующим образом:
Эти процессы работают в коре головного мозга одновременно. Давайте смоделируем то как будет трансформироваться возбуждение, возникающее в коре под воздействием этих двух механизмов. Для этого был написан пиксельный шейдер – программа, выполняемая графическим процессором для каждого пикселя изображения.
В модели каждый пиксель изображения будет являться отдельным кортикальным модулем, чем ярче пиксель, тем сильнее общее возбуждение в колонке.
Пример работы шейдера, размер изображения 28х28 пикселей, радиус действия колонки 5 пикселей, шейдер применяется несколько раз:
Радиус действия колонки 7 пикселей:
Как видим, под действием механизмов иррадиации и индукции любая активность разбивается на небольшие очаги возбуждения. Размер этих очагов зависит от размера общего воздействия на соседние гиперколонки, а также на соотношение сил действия побудительных и тормозящих карт.
Эти очаги возбуждения как бы капсулируются, окружая себя областью тормозящего действия. Также их центральная часть при нескольких применениях вычислений шейдера к изображению, за счёт иррадиации становиться всё более активным, тем самым эти очаги становиться ярко выраженными и стабильными.
Эти очаги возбуждения в дальнейшем будем называть узлами (nodes). Узлы – это некоторое новое эмерджентное свойство коры, оно проявляется в результате взаимной работы двух механизмов иррадиации и индукции. Узлы не привязаны к размерам и положению ни нейронов, ни гипреколонок, они работают как бы над этими структурами. Именно комбинации и расположение узлов и является репрезентацией информации в коре головного мозга.
Узлы – это вторая сигнальная система, это символьное представление образов в мозге, это коги.
Удивительно то, насколько простыми и элегантными решениями пользуется кора и мозг в целом.
Чтобы разобраться в том, как узлы могут хранить в себе образы или части образов, требуется изучить ещё один механизм, работающий в коре.
Реверберация возбуждения
Реверберация возбуждения – это длительная циркуляция импульсов возбуждения в сетях нейронов или между различными структурами центральной нервной системы. Для нас большое значение имеют кортико-таламические реверберации и реверберации, возникающие между различными областями коры. Именно подобные реверберации и создают различные рисунки и ритмы при электроэнцефалографии мозга. Для подобных ревербераций необходимы нисходящие или обратные связи, которых как отмечается обычно в несколько раз больше, чем восходящих, прямых связей.
Для моделирования процесса реверберации нам потребуется четыре карты. Картами здесь я называю изображения, к которым мы будем применять некоторые пиксельные шейдеры, если это необходимо для нашей модели.
Карта таламического ядра, на которую мы будем проецировать некоторые образы, в данном случае примеры рукописных цифр из стандартного набора MNIST. Изображения в наборе MNIST имеют формат 28×28 пикселей, поэтому эту карту мы также установим 28×28 пикселей.
Карта коры будет составлять в данном варианте 21×21 пиксель.
Карта восходящих синаптических связей будет хранить в себе значения всех весов синапсов связывающих карту таламического ядра и карту коры. Условно каждый пиксель-гиперколонка коры будет иметь синапсы с 64-мя (ядро 8×8) пикселями карты таламического ядра. Если перемещать ядро 8×8 пикселей по карте таламического ядра шагом в один пиксель, то таким образом можно составить карту восходящих синаптических связей. Соответственно отсюда и получится размер карты коры 28 – 8 + 1 = 21, в свою очередь размер карты восходящих синаптических контактов будет составлять 168×168 пикселей (21 x 8 = 168).
Вес синапса будет определяться числом от 0 до 1 – это удобно для графического отображения на карте и позволяет хранить и обрабатывать эти параметры в форме изображений, что также удобно в работе с шейдерами, а также очень наглядно.
Еще один важный момент, в моделях, которые я буду описывать, присутствует всегда по две карты синаптических связей: одна карта побудительных синапсов, вторая карта тормозящих синапсов. Это всегда две одинаковые по размеру карты.
Известно, что тип синаптического контакта в биологической нервной системе в течение жизнедеятельности не меняется, то есть побудительный синапс не может стать тормозящим или наоборот. В компьютерных нейронных сетях знак веса синапса может легко изменяться в процессе обучения, что для модели претендующих на биологичность не является правильным.
В колонках коры помимо побудительных пирамидальных нейронов присутствуют множество тормозящих нейронов, и любой аксон от побудительной клетки направленный к колонке может создать синаптический контакт, как с побудительной, так и с тормозящей клеткой. Аналогично этому у нас имеется по две карты синаптических контактов, одна будет действовать со знаком «плюс», другая со знаком «минус». В обеих этих картах вес будет определяться числом от 0 до 1.
Значение весов восходящих синаптических контактов заполним случайными числами от 0 до 1.
Карта нисходящих синаптических связей будет иметь значительно больший размер. Как уже отмечалось нисходящих связей в биологическом мозге в несколько раз больше. В нашем случае мы выбираем такой размер карты, который позволит продемонстрировать концепцию хранения образов в узлах. Каждый пиксель-гиперколонка карты коры будет связан с каждым пикселем карты таламического ядра, то есть с каждым 784 пикселем (28 x 28 = 784), тогда размер карты составит 588×588 пикселей (21 x 28 = 588).
Изначально значение весов в карте нисходящих синаптических связей все будут равны 0, но данные веса мы изменим в процессе обучения.
Метод обучения, который мы в данном случае применим для нервной системы был экспериментально подтверждён. Он известен, как правило Хебба, самая простая его интерпретация: вместе срабатываем, значит укрепляем связь; а так же обратная сторона: не сработали вместе – связь ослабеваем.
Для начала предъявим нашей модели пример, проецируя его на карту таламического ядра. Затем через восходящие связи оказываем суммирующее воздействие на карту коры. Для каждого пикселя карты коры складываются все соответствующие ему значение весов из карты восходящих синаптических связей умноженное на значение уровня активности соответствующих пикселей карты таламического ядра. Значение весов из тормозящей карты восходящих синаптических связей будет складываться со знаком «минус». Полученная сумма умножается на подобранный коэффициент, именуемый коэффициент чувствительности. В данном случае он равен 0,5.
Если полученная сумма меньше или равна нулю, то активации пиксель-гиперколонки не происходит, его активность равна нулю. Если полученная сумма больше единицы, то значение пикселя карты коры будет равна единице, как максимальная степень активации гиперколонки. Если сумма имеет значение в интервале от 0 до 1, то пиксель-гиперколонка карты коры примет это значение.
Коэффициент чувствительности подбирается таким, чтобы в результате суммы не активизировалось сильно большое число гиперколонок карты коры, так как это приводит к взаимному подавлению активности при применении индукции. А также коэффициент чувствительности не должен быть сильно низким, потому что это может привести к очень низкой активности гиперколонок.
Далее к карте коры мы применяем шейдер механизмов иррадиации и индукции. Этот шейдер мы можем применить несколько раз. Как результат получаем на карте коры несколько узлов.
Затем обращаемся к карте нисходящих синаптических связей и применяем к ней правило Хебба для обучения. Причём мы его применяем следующим образом: в случае совместного срабатывания мы в значительной степени усиливаем синаптическую связь. Если пресинапс срабатывает, а постсинапс нет, то ослабеваем синаптическую связь лишь на небольшое значение. В данном случае, при совместном срабатывании вес синапса увеличится на 0,8, при отсутствии совместного срабатывания вес уменьшится только на 0,1. Большее значение имеет именно совпадения, чем их отсутствие. Обратите внимание, что настраивается пресинапс, а не постсинапс, хотя сейчас это не имеет критического значения, так как весь синапс у нас регулируется одним весом, но это имеет важное идеологическое значение. Дело в том, что в классических нейронных сетях акцент даётся на настройку постсинапсов, и полностью игнорируется изменения в пресинапсах, хотя в биологических нейронных сетях изменения происходят в обеих частях синапса, и в пресинапсе они зачастую более ярко выражены (Сравнение мозга с нейронной сетью).
Для тормозящей карты нисходящих синаптических связей логично применить правио Хебба наоборот, ингибирующая связь будет усиливаться, когда постсинапс не будет активироваться при активности пресинапса.
Так выглядят карты нисходящих синатических связей после обучения на ста примерах(по десять примеров на цифру).
Можно увидеть, что в картах нисходящих синаптических связей отражаются образы целых цифр, причём ы тех местах, которые соответствуют узлам, которые активизируются на данные образы. Это возможно потому, что выбранное количество обратных связей для каждой микроколонки охватывает всю карту таламического ядра, в случае если обратные связи охватывали только часть карты, то и гиперколонка могла бы хранить в себе только часть образа. Так в узлах может быть записаны некоторые образы или некоторые составные части образов.
Узел при его активации как бы «смотрит» на ту активность, которая его активизирует и сохраняет её в себе. В узлах хранятся как бы некие эталонные примеры образов.
Теперь после обучения карты нисходящих синаптических связей, можно запустить циклическую передачу возбуждения – реверберации.
Мы можем увидеть примеры того как изначальная проекция какого-нибудь примера на карту таламического ядра, будет преобразовываться в процессе ревербераций в некий эталонный вариант этой же цифры, и с этим вариантом реверберации будут стабильны.
Этот процесс очень похож на работу сетей Хопфилда, из-за наличия рекуррентных связей этот тип нейронных сетей, на мой взгляд, наиболее близок к работе биологических нейронных сетей. В отличие от сетей Хопфилда в нашем варианте присутствует некая сепарация на узлы, которая даёт некоторые преимущества. Количество входов и выходов в сетях Хопфилда одинаковое, каждый нейрон связан рекуррентной связью с другими нейронами. Получается, что каждый образ как бы храниться в весах каждого нейрона, что сильно уменьшает ёмкость сети. В нашем случае для хранения отдельных образов избираются отдельные группы колонок. Наш вариант сети более интерпретируемый, мы можем точно сказать, за какой образ ответственен тот или иной элемент. Здесь прослеживается явная репрезентация информации, аналогично наличию в коре мозга «нейронов бабушки» мы видим пиксели-колонки карты коры ответственный за образ той или иной цифры.
Моделирование действие LSD на кору больших полушарий
Это небольшое отступление продемонстрирует некоторое сходство нашей модели и работы биологического мозга. Дело в том, что для нас действие LSD на кору очень просто смоделировать. LSD своим действием мешает работе нейротрансмиттера ГАМК, который является главным ингибирующим нейромедиатором коры, он работает в механизме индукции. Поэтому чтобы это смоделировать, достаточно в настройках нашего пиксельного шейдера уменьшить степень действия индукции.
Как мы видим при этом привычные границы, и размеры узлов размываются и расширяются. Если еще уменьшить действие индукции то очаги активности могул сливаться, формируя некоторые узоры. Аналогичные явления могут происходить и в коре больших полушарий под действием LSD, о чём косвенно свидетельствует снимки МРТ сделанные у людей принявших LSD, активность коры в данном случае значительно большее и масштабнее, чем при обычной работе мозга. Учитывая, что практически каждая колонка хранит в себе образы или их части, то становиться понятным, почему происходит путаница и смешивание образов, понятны причины нарушения восприятия. Такие нарушения работы мозга не могут быть полезны для него.
Наркотики вредны для здоровья и здоровья мозга.
Обучение восходящих синаптических связей
Настройка восходящих синаптических связей, также имеет большое значение, так как их настойка определяет, где будут возникать узлы при применении иррадиации и индукции.
Для начала мы немного изменим и дополним нашу модель. Во-первых, мы увеличим размер карты коры, в биологическом мозге размер или площадь коры значительно превосходит размеры подкорковых и таламических ядер, с которыми она связана. Во-вторых, мы добавим ещё один уровень обработки информации, так как более высокие уровни имеют большое значение при обучении восходящих связей уровней ниже.
Чтобы увеличить размер карты коры, но при этом сохранить размеры карты таламического ядра (28×28 пикселей), нам придётся увеличить количество восходящих синаптических связей. Для этого мы применим некую модель нерва, которая представляет собой карту связей. Карта связей нерва это изображение, которое использует два цветовых канала для кодирования координаты пикселя карты источника сигнала.
Мы можем создать для начала карту связей нерва, в которой координаты пикселей карты источника согласовывались с самой картой связей нерва. И если мы применим такую карту нерва к нашей карте таламического ядра, то получим просто увеличенное изображение. Но если в данную карту связей нерва внести перемешивание пикселей, то использование такой карты приведёт к тому, что каждый пиксель карты источника представлен на карте нерва в виде множества пикселей и в зависимости от степени и способа перемешивания расположение этих пикселей будет разным. При перемешивании, в котором пиксели приставляются между собой на небольшое расстояние можно получить некое случайное скопление пикселей-представителей. Это очень похоже на то, как волокна из аксонов нейронов из наружного коленчатого тела складываются в нервы, в которых аксоны многократно разделяются, и концы аксонов рассредоточиваются по первичной зрительной коре, при этом сохраняя некоторую топографию сетчатки и при этом смешиваясь.
В нашем варианте на карту таламического ядра размером 28×28 пикселей мы применим карту связей нерва размером 512×512. Эта карта нерва будет связывать карту таламического ядра с картой коры размером 64×64 пикселя, то есть разбить всю карту связей нерва на квадраты 8×8 пикселей, то каждый такой квадрат включит в себя все связи пикселем-гиперколонкой (512 / 8 = 64).
Карты связей нерва не меняются в процессе обучения и работы сети, она задается перед началом работы с сетью, аналогично тому, как нервы формируются в мозге до рождения.
Соответственно карты восходящих синаптических связей будут иметь размер 512×512 пикселей.
Карта нисходящих синаптических связей будет иметь размер 1024×1024, по причине, что количество рекуррентных связей должно быть больше для стабильных ревербераций. Здесь каждому пикселю карты коры будет соответствовать 16×16 пикселей карты таламического ядра (64 x 16 = 1024).
Следующий уровень обработки информации представлен картой выхода, которая имеет размер 1×10, по одному пикселю на цифру, так как наша сеть нацелена на распознавание рукописных цифр из стандартного набора MNIST. Карта выхода связана с картой коры аналогично, как и карта таламического ядра с картой коры. Соответственно также имеются карты восходящих синаптических связей и карты, нисходящих синаптических связей, которые имею размерность 64×640 пикселей. Таким образом каждый пиксель карты коры имеет синаптический контакт с каждым пикселем карты выхода, для того чтобы пиксели карты выхода имели максимальное рецептивное поле. Нисходящие синаптические связи как уже отмечалось, обычно имеют большее количество, чем восходящие, но в данном случае они будут одинаковы в количестве потому, что это будет максимальный размер обратных синаптических связей. Так каждый пиксель карты выхода «видит» каждый пиксель карты коры.
Обучение или настройку карты восходящих синаптических связей второго уровня можно провести по правилу Хебба, которое мы уже применяли. При этом во время обучения мы будем считать активным или равным 1 пиксель карты выхода, который соответствует цифре, пример которой предъявлен сети. Тем самым мы как бы связываем некоторую активность на карте коры с требуемым выходом и укрепляем эту связь. Это похоже на формирование рефлекторной дуги условного рефлекса, как представительство цифры связывается связями с комбинацией активных пикселей в карте таламического ядра. Таким образом, фактически не связанные элементы прямыми контактами за счет рекуррентных связей могут связываться и укреплять свои связи между собой. И это может работать через множество уровней.
Но если обучать или настраивать по правилу Хебба карту восходящих синаптических связей первого уровня, это правило приводит к тому, что слабоактивные пиксель-гиперколонки за счёт усиления с ними связей будут усиливать свою активность до максимума, и это создаст большое количество активных пиксель-гиперколонок, что приводит к взаимному подавлению при применении индукции. И это приводит к сильному снижению качества сети.
Поэтому мы применим другой способ обучения. Он будет состоять из двух этапов. Первый этап – это инициализация образов. На этом этапе мы сформируем некое базовое представление о каждом распознаваемом образе цифры, на малом количестве примеров. Для этого достаточно от 10 до 100 примеров, или от 1 до 10 примеров на одну цифру. На этом этапе будут настраиваться все карты синаптических связей кроме карт восходящих синаптических связей первого уровня, но они должны быть заполнены случайными значениями.
Сначала проецируем пример на карту таламического ядра, затем производим суммацию с применением случайных весов карты синаптических связей. Прежде чем применить шейдер иррадиации и индукции мы можем повлиять на карту коры, так чтобы итоговые узлы не совпадали для разных цифр. Для этого обратимся к карте нисходящих связей второго уровня, которая хранит в себе «отпечатки» паттернов узлов для каждой цифры сформированной на основе предыдущего опыта. Соответственно если такого опыта не было, то на карту коры не будет оказано никакого влияния. К примеру, если примером является цифра «5», то к карте коры мы прибавим значения побудительной карты нисходящих синаптических связей сектора соответствующих образу цифры «5». Это повысит шансы на образование узлов в том же месте, где эти узлы образовывались в прошлом акте обучения цифре «5». Так же мы вычтем из карты коры значения остальных секторов не связанных с цифрой «5». Это способствует тому, что узлы не будут образовываться в тех местах, которые соответствуют другим цифрам.
После такой коррекции значений карты коры применяем пиксельный шейдер ответственный за иррадиацию и индукцию.
Затем настраиваем карты восходящих синаптических связей второго уровня по правилу Хебба, с учётом того что на карте выхода будет активным пиксель соответствующий предъявляемому примеру.
Так же по правилу Хебба настраиваем карты нисходящих синаптических связей второго и первого уровня.
Так выглядят синаптических связей после такого обучения на 100 примерах(a и b карты восходящих побудительный и тормозящих синаптических связей второго уровня; c и d карты нисходящих побудительных и тормозящих синаптических связей второго уровня; f и g карты нисходящих побудительных и тормозящих синаптических связей первого уровня):
Особое внимание обращаю на карту нисходящих синаптических связей второго уровня, на ней как бы запечатлены положения всех узлов на карте коры для каждой цифры. Причём узлы для отдельных цифр редко совпадают, то есть каждая цифра имеет свой уникальный паттерн узлов.
Мы переходим к следующему этапу обучения, в котором нам нужно главным образом настраивать карты восходящих синаптических связей первого уровня и желательно таким образом, чтобы предъявленный незнакомый сети пример формировал на карте коры соответствующий цифре примера паттерн узлов. Для этого после суммации мы будем получать разность между значениями карты коры и соответствующему примеру сектору карты нисходящих синаптических связей. Благодаря этой разности, возможно, настраивать веса в карте восходящих синаптических связей так, чтобы предъявленный пример приводил к активности соответствующие его образу цифры узлы.
На видео обучение сети на 100 случайных примерах и тест на 10 000 тестовых примерах. В зависимости от выбранных обучающих примеров, возможно, от случайно выбранных весов для карты восходящих синаптических связей сеть в таком тесте выдает результат в диапазоне от 40 до 60%, увеличение количества примеров не даёт улучшения качества. Это очень скромный результат, но для данной задачи требуется более сложная архитектура сети. Числа и знаки распознаются нашим мозгом на достаточно высоком абстрактном уровне. Соответственно в модели требуется больше уровней. А также в биологическом зрительном анализаторе применяется некоторый дополнительный механизм, специальный фильтр из сетей нейронов, которые реагируют на определённой ориентации раздражители. Этот фильтр упрощает обработку зрительной информации. Добавление подобного фильтра, так же должно улучшить качество нашей сети. Все эти модификации требуют дальнейших исследований, над которыми работа будет продолжаться. Цель статьи и это примера рассказать о некоторых теоритических аспектах модели и подхода в целом.
Обычно художник не рисует картины подобно плоттеру, начиная с верхнего угла нанося сразу все детали бедующего произведения. Художник для начала наносит на холст эскиз из тонких еле заметных линий обозначающий общий план художественного замысла. Постепенно картина обрастает деталями, все более и более мелкими, в конце наносятся лишь самые точные и едва заметные мазки кистью. Подобно этому нужно подходить к вопросу моделирования мозга. Безнадёжно пытаться подробно моделировать, последовательно создавая кортикальные модули с множеством синаптических связей с большим разнообразием типов нейронов и нейромедиаторов. Лучшее решение это создавать изначально простые симуляции отдельных механизмов постепенно добавляя в модели необходимые детали.
Попытка смоделировать взаимодействие двух простых механизмов в коре больших полушарий привела меня к идеи гиперсети описанной выше. Развитие идеи суперэффективных нейронных сетей в корне изменит положение вещей в сфере искусственного интеллекта. Для таких сетей не требуется большое количество обучающих данных, а значит, многие задачи которые сложно реализовать в машинном обучении из-за сложности сбора обучающих данных будут решены, да и скорость разработки в прикладных задачах значительно ускориться. Вычислительные ресурсы для обучения не будут требоваться столь высокими, а значит, не потребуется строить мощных компьютеров со специализированной архитектурой, что очень дорого и трудозатратно. Разработчики станут менее зависимы от технологий, данных и сервисов. Каждый сможет создавать крутое интеллектуальное программное обеспечение без существенных затрат. Что создаст лавину новых интересных технических решений в сфере ИИ.
P.S.
Моя работа продолжается, сейчас есть идеи развития и улучшения сети. До этого этапа я шёл более трёх лет, некоторые читатели, думаю, уже не рассчитывали на появление весомых этапов и статей в моей работе. Как только идея оглашена, она тут же воспринимается простой и очевидной, но за каждой важной идеей стоит большой труд и упорство. Предстоит еще много работы, поэтому подписывайтесь и распространяйте ссылки на статью. 🙂 Этим Вы мне поможете.
- искусственный интеллект
- мозг
- нейронные сети
- гиперсеть
- Искусственный интеллект
- Мозг
КЛИЕНТАМ Выбрать населенный пункт
Г. ЧЕЛЯБИНСК (ОПТИКА, Р-Н ЧМЗ)
1.1. Где можно оставит заявку на подключение? Заявку на подключение вы можете оставить:
-Через сайт
-Обратившись в центр продаж по адресу: ул. Свободы, 32 офис 309, 310
-Позвонить по номеру (351) 778-88-88
1.2. Каков срок подключения после заключения договора? Подключение будет осуществлено в течение 5 дней. 1.3. Что делать при некачественном подключении? Не подписывать Акт сдачи-приемки услуг по предоставлению доступа до устранения замечаний, обратиться по телефону, указанному на сайте. 1.4. При подключении техники проведут кабель до моего оборудования или только заведут его в квартиру? Линия прокладывается до оборудования Абонента. В случае, если по квартире Абонента проложен подходящий кабель, линия может быть проложена до входной двери.
2.1. Как настроить VPN для подключения Интернет? Для подключения к Интернет Вам необходимо установить VPN соединение с нашим сервером. Для облегчения этой операции мы сделали подробные инструкции:
2.2. Есть ли порог скачивания? Нет, на всех тарифных планах для физических лиц порог входящего трафика отсутствует. 2.3. Как провести интернет в каждую комнату в квартире? Для того, чтобы провести интернет в каждую комнату в квартире, необходимо устройство под названием маршрутизатор (router). Маршрутизаторы бывают проводными, когда до каждого компьютера необходимо протягивать кабель, и беспроводными, когда можно осуществить подключение при помощи Wi-Fi, не используя лишних проводов. При использовании маршрутизатора для подключения нескольких компьютеров, нужно только одно подключение к сети «ГиперСеть», а это значит вы будете оплачивать только одну абонентскую плату. Нужно учесть, что при таком подключении, скорость вашего тарифного плана будет делиться на все подключенные компьютеры. 2.4. Почему страничка так медленно загружается? Мы обеспечиваем вам скоростное подключение к сети Интернет до нашего центрального узла. Дальнейшее прохождение Вашего запроса и ответа сервера, находящегося, например, в Москве и содержащего нужную Вам страничку, не поддается какому-либо контролю. Возможно, именно сейчас нужный Вам сервер просто не работает. 2.5. Что такое входящий трафик? Чем он отличается от исходящего? Входящий трафик — это информация, поступающая из сетей на Ваш компьютер. Исходящий трафик, соответственно, трансли- руется с Вашего компьютера в сети. Но нужно учитывать, что когда Вы отправляете кому-то письмо или закачиваете информацию на чей-то файловый архив, то определенный процент закаченного объема трафика возвращается на Ваш компьютер (5-10%) — такова особенность протокола ТСР/IP. Это так называемый обратный трафик. 2.6. Что такое Веб-страница? Веб-страница — это небольшой сайт с информацией о компании или частном лице, размещенный на Веб-сервере и доступный другим пользователям с помощью программ, работающих с Интернет (Internet Explorer, Netscape Navigator, Opera). 2.7. Что такое трафик? Трафик — это объём передаваемой по сети информации. Он измеряется в мегабайтах. 2.8. Не увеличивается ночная скорость. Для этого необходимо пере подключиться с Интернет (разорвать и подключить VPN подключение) после 12 часов ночи. Данное ограничение носит технический характер.
4.1. Можно ли перенести номер? Номер можно перенести, но перед этим обязательно уточните техническую возможность установки по новому адресу в контакт центре (351) 778-88-88 4.2. По какой технологии предоставляется услуга? В вашей квартире ставится самая обычная телефонная розетка для аналогового телефона с тоновым набором номера.
Внутри нашей сети для Домашнего телефона мы применяем технологию передачи голоса через IP-сети, как и везде в современной телефонии. 4.3. Как можно отключиться/расторгнуть договор? Для этого необходимо оплатить счёта, которые выставлены вам за услуги связи. Приехать в абонентский отдел, написать заявление на расторжение договора. Со следующего рабочего дня договор будет расторгнут.
ПАМЯТКА ПОЛЬЗОВАТЕЛЯ ПО ОПЛАТЕ УСЛУГ СВЯЗИ
Оплатить услуги связи (интернет или телефон) компании «ГиперСеть» можно с помощью: — платежной системы «Город» — платежной системы «КиберСити» (адреса всех пунктов приема платежей указаны ниже)
ПОМНИТЕ! При балансе 0 рублей пользование услугой интернет не возможно, необходимо пополнить счет
Оплата через систему «Город» производится через: терминалы и банкоматы Челябинска и Челябинской области, операторов в отдельных точках (например, в салонах сотовой связи), отделения «Челябинвестбанка» или в отделениях банков, входящих в систему «Город».
Для оплаты по системе «Город» с помощью терминала, необходимо: ввести адрес установки и выбрать из списка компаний, предоставляющих услуги компанию ГиперСеть.
Для оплаты по системе «Город» через оператора, необходимо: назвать свой адрес, компанию «ГиперСеть» и сумму, которую вы хотите положить на свой счет, либо предъявить квитанцию.
Преимуществом системы «Город» является большое количество точек приема платежей, а также отсутствие дополнительной комиссии. Гарантировано платеж поступит на Ваш счет в течение суток.
Если вы производите оплату услуг в первый раз, то возможна ситуация, когда оператор по вашему адресу не видит компанию «ГиперСеть». Тогда следует попросить оператора добавить нового поставщика услуг, для этого оператору требуется зайти на вкладку «УСЛУГИ СВЯЗИ» и добавить «ГиперСеть» как нового поставщика услуг и далее выбрать услугу «Установка интернет».
Оплата через систему «КиберСити» производится через терминалы.
Для оплаты по системе «КиберСити» необходимо: на панели терминала выбрать раздел «Услуги Интернет», нажать «ГиперСеть» и ввести номер своего лицевого счета (номер ЛС можно узнать у оператора связи «ГиперСеть» по тел.778-88-88) минимальная сумма оплаты от 10 рублей, деньги поступают на Ваш счет в течение нескольких минут
Через терминалы «КиберСити» можно оплатить услуги по системе «Город»: в данном случае взымается дополнительная комиссия 3%, но не менее 10 руб.( если вы производите оплату в размере 10 руб., на счет Вам поступит сумма в размере 5 руб.). Не забывайте также и о том, что терминал не выдает сдачу.
Список адресов терминалов «КиберСити»
| г.Челябинск, ул.Кирова, д.11, салон МТС |
| ул.Кирова,д.11,г.Челябинск,салон МТС |
| Свердловский пр-т,д.46,г.Челябинск,салон МТС |
| ул. Университетская набережная, 30А, школа №25 |
| г. Челябинск, ул. Учебная, 5А, Лицей №142 (школа) |
| г. Челябинск, ул. Дзержинского, 83А, Гимназия №100 (школа) |
| г. Челябинск, ул. Чичерина, 27Б, Лицей №97 (школа) |
| г.Челябинск, ЧОУ ВПО ЮУрИУиЭ, ул.Комаровского, 9а, |
| г. Челябинск, ул.Кожзаводская, 1, ЧОУ ВПО ЮУрИУиЭ |
| г. Челябинск, ул. 250 летия Челябинску, 65, ДС Кенгуру |
| г. Челябинск, ул. Бажова (Мамина 1/1), Сибнефть, АЗС №10 |
| г. Челябинск, ул. Кожзаводская (Шенкурская 9/1), Сибнефть, АЗС №4 |
| г. Челябинск, ул. Героев Танкограда, дом № 15/1, АЗС №6 Сибнефть |
| п.Шершни, ул.Северная, д.40/1, АЗС №5 Сибнефть |
| ( ремонт принтера )г. Челябинск, ул. Харлова , дом № 1/1, АЗС №2 Сибнефть |
| г. Челябинск, ул. Уральская, 2, школа №108 2 |
| г. Челябинск, ул. Барбюса, 140Б, школа №76 |
| г.Челябинск, ул. Мира, 46, Школа №96 |
| г. Челябинск, ул. Коммунаров, 4, Лицей №37 (школа) |
| г. Челябинск, пр. Ленина, 54А, МТC |
| г. Копейск, пр. Победы, 11, МТС |
| г. Копейск, пр. Славы, 8, МТС |
| г.Челябинск, ул. Новороссийская 136, Школа №130 |
| г. Челябинск, ул. Горького, 18/1, АЗС Сибнефть |
| г.Челябинск, ул. Красноармейская, д. 54, Башнефть, АЗС №402 |
| г.Челябинск, ул. Володарского, 20, Школа №30 |
| г. Челябинск, ул. Кирова, 13Б, Лицей №97 |
| ул.Труда,д.62,офис КС,Тест терминал 01 |
| г. Челябинск, ул. Сталеваров, 32,ост.к-с Сквер Победы |
| г.Челябинск ул.Каслинская, 34.,ост.к-с Островского |
| ( ВС, ПН не раб. ) г. Челябинск, ул. Харлова, 10, п-н Дубликат |
| г. Челябинск, ул. Дзержинского, 6, м-н Всё для Вас |
| (без UPS) г. Челябинск, пр. Ленина, 85, Вечерний Челябинск |
| г. Челябинск, ул. Доватора, 1м, АЗС Башнефть |
| г. Челябинск, Свердловский пр., 23А, м-н Губернский |
| г. Челябинск, Троицкий тр., 7, Башнефть, АЗС №100, Экспрес-Маркет |
| г. Челябинск, пр. Ленина, 83, п-н Стрит-Гриль |
| с. Миасское, 38,3 км. АД М-51,«Башнефть», АЗС №194 |
| г. Челябинск, М5,17км, АЗС Башнефть ИЗ Челябинска |
| г. Челябинск, М5,17км, АЗС Башнефть В Челябинск |
| м-н Продукты ул 250-летия Челябинска 25 г.Челябинск |
| м-н Продукты ул. Бр.Кашириных 134 А г.Челябинск |
| п-н Продукты 24 ул. Чичерина 2 г.Челябинск |
| п-н Продукты 24 ул.С.Юлаева 6 г.Челябинск |
| м-н Гурман ул. Салавата Юлаева, 23а, г.Челябинск |
| м-н Продукты ул. пр. Победы 113 г. Челябинск |
| м-н Хоккей ул. 250-летия Челябинска 25 г.Челябинск |
| м-н Продукты ул. Комсомольский проспект д. 41б г. Челябинск |
| м-н Продукты ул.Молодогвардейцев 70 г. Челябинск. |
| Столовая(авторынок Искра) ул. Шадринская 102 г. Челябинск |
| м-н Продукты ул.Румянцева 29 г.Челябинск |
| м-н Продукты ул.Островского 29 г.Челябинск |
| м-н Продукты ул.Кирова 9Г г.Челябинск |
| м-н Продукты ул. Шоссе Металлургов 39А г.Челябинск |
| г.Челябинск Краснопольский проспект 15 |
| п-н Продукты г.Челябинск ул.Хлебозаводская ост.»Сад Строитель» |
| г.Челябинск ул.Лесопарковая 7 |
| м-н Продукты ул.Захаренко 9а г Челябинск |
| г.Челябинск ул.Индивидуальная ост.»Сад Слава» |
| г.Челябинск ул.Академика Короева 4 |
| г.Челябинск, пл. Мопра 2 |
| г.Челябинск,пл.Мопра,2 |
| г.Челябинск,ул.Аральская,д.38 Магазин |
| г. Челябинск, ул. Марченко, 37а, м-н «Продукты» |
| г. Челябинск, ул Северо-Крымская, 52, ост. павильон |
| Челябинск, ул. Молодогвардейцев, 39в, магазин |
| г.Челябинск, пр. Победы, 115, м-н Юрюзань |
| г. Челябинск, пересечение пр. Победы и ул. 40 лет победы, ост. павильон |
| Челябинская область, Красноармейский р-н, г. Копейск, п. Вахрушево |
| г.Челябинск, ул. Автоматики, 7, павильон |
| г. Челябинск, Сталеваров ул, д. 70, м-н «Продукты» |
| г.Челябинск, ул. Комаровского, д.10, м-н |
| г. Челябинск, ул. Сталеваров, 3а |
| г.Челябинск, ул. Чайковского, 54б, м-н |
| г.Челябинск, ул. Двинская, 11, м-н |
| г.Челябинск, ул. Аральская, 21 |
| г.Челябинск, Троицкий тракт, 72б, ост.павильон Купеческий рынок |
| Челябинская область, трасса Уфа-Челябинск 1779 км., кафе Светлана |
| г.Челябинск, ул.Каслинская, 21в, м-н Продукты |
| г. Челябинск, п. Керамический, м-н |
| г.Челябинск, ул 40 лет Победы, 29, кафе «Перчик» |
| г. Челябинск, ул. 250-летия Челябинска, 67 |
| г. Челябинск, ул. Плеханова, 14, м-н |
| г. Челябинск, пересечение Комсомольского проспекта и ул. Молодогвардейцев, ост. павильон «Продукты» |
| г.Челябинск, ул.Валдайская 1а, м-н Продукты |
| г. Челябинск, п. Новосинеглазово, ул. Лесная, 86, п-он Продукты |
| Челябинск, Троицкий тракт, д. 49, кафе Сигнал |
| г. Челябинск, ул. 250 лет Челябинску, 5В. |
| ул.Мехколонна 7,г.Челябинск,Терминал 5920001 |
| ул. Зальцмана 34,г.Челябинск,м-н Продукты |
| г. Челябинск, Тракторосад №3 |
| г.Челябинск,ул.Университетская набережная,д.90 детский сад №35 |
| г.Челябинск,ул.Ереванская д.16.4.№77 |
| г.Челябинск улВагнера д.70а. МБОУ СОШ 68 |
| г.Челябинск, ул.Шенкурская д.13 №109 , |
| г.Челябинск,ул.Академика Сахарова, д.24 №39 |
| г. Челябинск, ул. Тимирязева, д. 6, Лицей №11 |
| г. Челябинск, ул. Грибоедова, д. 2, школа №102 |
| г. Челябинск, ул. Кузнецова, д. 33, школа №56 |
| г. Челябинск, ул. Вагнера, 90, школа №128 |
| г. Челябинск, ул. Агалакова, 19, №113 |
| г. Челябинск, ул. Агалакова, 46, №51 |
| г. Челябинск, ул. Омская, 13, м-н Продукты |
| г. Челябинск, ул. 2-ая Эльтонская, 16А, №116 |
| г. Челябинск, ул. Бр. Кашириных 99а,ТК «Фрегат» |
| г. Челябинск, ул.Воровского, 17,м-н Мечта |
| г. Челябинск, Копейское шоссе, 1Г, ТК Светофор |
| г. Челябинск, ул. Гагарина, д. 4Б, ТК Андреевский |
| Кузнецова, 12, Проспект |
| Комсомольский пр-т, д. 74, Проспект |
| Новороссийская, 84, Пятерочка |
| ул. 250 лет Челябинска, 11, м-н Пятерочка |
| г. Челябинск, ул. Воровского д.40. магазин Продукты |
| г.Челябинск ул. Гагарина,д. 32 Магазин продукты |
5.2. Какую технологию подключения вы используете? Сеть «ГиперСеть» построена по технологии «оптика до дома» — это означает, что кабель по которому подается сигнал доходит до каждого дома, это позволяет передавать сигнал без помех, независимо от того, какую услугу вы потребляете: интернет, телевидение или домашний телефон. В отличие, например, от спутникового интернета, данная технология позволяет не только предоставлять более качественные услуги, но также снизить их стоимость и избежать использования дополнительного оборудования. 5.3. Что значит выделенная линия? Выделенная линия или «оптика до дома» означает, что оптоволоконный кабель доходит до каждого дома, а выделенная линия до каждой квартиры. Это позволяет передавать сигнал без помех, независимо от того, какую услугу вы потребляете. Выделенная линия представляет собой пару проводов, проложенную от ближайшего узла доступа, который расположен в вашем доме, до вашей квартиры. 5.4. Где можно получить консультацию по услугам? Полную информацию можно получить на сайте или обратившись в контакт-центр по телефону, который указан на сайте. 5.5. Мегабайт — это сколько? Один мегабайт — это 10-12 средних веб-страниц или около 200 страниц печатного текста. 5.6. Как проверить компьютер на вирусы? Для этого необходимо:
— скачать бесплатную утилиту Dr. Web CureIt! c сайта разработчика программы;
— запустить скаченный файл, дождаться окончания быстрой проверки, ознакомиться с результатами;
— в случае необходимости запустить полную/выборочную проверку. Данная утилита содержит в себе все вирусы базы Dr. Web на день скачивания, но не умеет обновляться через интернет. Поэтому рекомендуется либо приобрести и установить полноценный антивирус с возможностью автоматического обновления, либо периодически скачивать свежую версию CureIt! для очередной проверки компьютера.
5.7. Не поступил платеж. Для этого необходимо:
1. Выслать сканированную квитанцию на info@hypernet.ru или отправить ее по факсу +7(351)2399365
2. Позвонить в службу Технической поддержки по телефону (351) 2399300 и объяснить суть проблемы 5.8. Зачем нужен Личный Кабинет? Личный Кабинет – это место, где вы можете производить различные операции со своим счетом: проверять баланс, активировать бонусы, брать обещанный платеж, менять пароль и логин доступа к своему счету. Ссылка на него находится в правой верхней части сайта.
Детальный гайд по тренировке гиперсетей для Stable Diffusion
Я не уверен, в какое сообщество постить данный гайд, так как конкретно информационно-ориентированного сообщества на данный момент нет, то попробую запостить в арт. Я понимаю, что не совсем по теме, но вроде правилами не запрещено постить обучающие посты, ориентированные в большинстве своём на текстовую информацию.
Но картинки будут. В конце. Не бейте.
Данный гайд я ещё на ДТФ написал, и недавно на нём же мне и напомнили о существовании Пикабу. Проверил, как тут с постами по нейросеткам, а здесь даже меньше, чем там. Надо исправлять. Сейчас там творится полная уйня с обновлением сайта, так что возможно придётся переползти сюда, но собственно почему бы и нет.
Данный гайд это дополненная и обновлённая версия моего изначального гайда, который ставил целью донести, как более-менее правильно тренировать гиперсетки на русском языке, ибо такой информации в русскоязычном пространстве очень мало, а может и нет вовсе. По крайней мере на популярных платформах.
Данный гайд не будет включать в себя шаги по установке веб-интерфейса или специфики сбора и тегирования датасета и предназначен для тех, кто уже хоть что-то понимает и знаком с самым популярным веб интерфейсом AUTOMATIC1111.
Весь гайд будет базирован на AUTOMATIC1111, как вы могли понять.
Я ожидаю базовой нейро-грамотности, вы уже расставили базовые настройки, как выгрузка VAE и CLIP на время тренировки.
Сам гайд будет базирован в большой части на данном треде с гитхаба: https://github.com/AUTOMATIC1111/stable-diffusion-webui/disc. ?
И если вы спик инглиш, а так же не боитесь читать какие-то страшные технические тексты, то прошу так же заглянуть туда.
Для дочитавших до конца будут примеры вляния гиперсеток и маняме артов, сделанных мной.
Дисклеймер: автор гайда любит маняме девочек
Предисловие
Я не буду разбирать основы, как запустить веб интерфейс и какие функции в настройках вам нужно включить. Я буду ожидать, что все вы уже выгрузили ваши VAE и CLIPы, и готовы к базовым процессам тренировки. Xformers можно не выключать, они и так не работают при тренировке гиперсетей(возможно сейчас работают, не проверял, старая информация), даже если включены в настройках.
Так же я ожидаю, что вы уже поставили флажок —deepdanbooru и знаете для чего оно нужно, а так же приготовили датасет для обучения.
И вы знаете, что нужно использовать модель с полными весами(но можно и не).
А теперь можно приступать к основному.
Кто такая эта ваша н***й функция активации
Вот встречает нас такая хрень, ничего не понятно, кроме имени.
Давайте по порядку.
Модули — хер знает, Автоматик писал, что 768 — это база. А остальные дополнительные. Пока нет детальных тестов, которые показали бы разницу между этими галочками, поэтому оставляем всё включенным.
Для тренировки гиперсетей на базе моделей SD 2.X был добавлен пятый модуль — 1024.
Структууууура — это нам надо знать.
Вкратце — это то, сколько нейронов и на каких слоях вы размещаете.
Первый и последний слой всегда 1, это входной и выходной уровень гиперсети. А вот в середине между ними вы может разместить какое угодно количество слоёв с какой угодно широтой.
Широта и глубина
Это понятия, которые мы отнесём к структуре слоёв.
Широкие нейросети хороши для запоминания объектов, по типу 1 4 1, а глубокие — для стиля, по типу 1 1.5 1.5 1
Одновременно широкие и глубокие сети работают плохо, по словам Heathen. Частично с этим соглашусь, но подозреваю, что долгая тренировка сможет утилизировать таковые.
ВНИМАНИЕ — Структура гиперсети влияет на то, сколько она занимает места, в том числе в памяти видеокарты во время тренировки. Если у вас как и у меня нищенская 3070ти на 8 гигов, то нам не светит тренировка широких гиперсетей, по крайней мере под виндой, и если хочется посмотреть видосиков пока она тренится. 1 3 1 уже вызовет ООМ ошибку после нескольких шагов, по крайней мере у меня. В основном сейчас я тренирую 2.4 0.8 тип сетей, и результаты меня вполне устраивают, но так как я любитель больших и длинных… Тренировок, то материала на сравнение особо не предоставлю, особенно под новую модель.
UPD: если не генерировать картинки, то возможно тренировать и ширину в 4, но трудно, ООМ будет мешаться всё-равно, но как-то через раз.
А кто такая эта ваша функция?
А тут на наш вопрос ответят питон-программисты, ведь это их функции активации. А я не питон. И не программист. Возможно к сожалению. Но скорее нет, чем да.
Всё, что вам нужно знать, это то, что Linear — работает и является базой модели SD, поэтому это стабильный вариант для стандартных гиперсеток.
Так же хороши rrelu, gelu, swish, softsign и т.д. и. т.п.
Мой любимец — Gelu. Heathen, автор основного гайда, от которого я отталкиваюсь(+ свой опыт), тоже оценил его высоко.
Любимцы Heathen:
Tanh/Softsign для фото/ирл при Normal активации. Xavier для арта с нуля.
Gelu/RRelu как альтернатива вышеназванной паре, но более мягкая.
Mish — Ещё мягче, чем Gelu. На Normal или Xavier активации.
Так же он называет активации для разных медиумов, типа арта и т. д., но, честно скажу, у меня не получилось это проверить и выдавало шум. Возможно нужна более долгая тренировка, ибо указано, что для обучения с нуля, то есть рандомный вес = изначальный шум. Но об этом мы поговорим в следующей части.
UPD: разные активации работают, но менее стабильны как по мне, поэтому в этой обновлённой версии я их указал.
Нормально? Или не нормально.
Инициализация весов. Это рандомизация, или распределение весов нейронов. Это так же математика, поэтому конкретно мне сказать нечего.
Используйте Normal, что бы работать на базе того, что уже знает модель, на которой тренируете, что бы она двигала стиль/знание объектов в сторону того, что вы тренируете. Ксавьер и Кайминг — изначально будет лишь шум на первую тысячу-две шагов, но постепенно перейдёт в арт.(Но пока всё-таки это не точно)
А теперь нормально?
Нет, не нормально. Не добавляйте нормализацию слоёв.
Эта функция усредняет слои, делая гиперсеть слабее, хоть и помогает избежать некоторых проблем в тренировке, которые могут возникнуть с некоторыми функциями активации. О них подробно описано в гайде от Heathen, но мы не будем на них останавливаться, так как я не заметил этих проблем в нормальном процессе тренировки. Просто знайте, если картинки стали артефачить — гиперсеть потрачена. Возвращайтесь на несколько тысяч шагов назад и понижайте скорость обучения.
UPD: на monkeypatch при некоторых условиях артефакты могут проявляться и на правильной тренировке, например если включену cosine annealing warmup restart(или как-то так), так как оно ступенчато понижает и переинициализирует рейт тренировки, тем самым повышая шанс на то, что гиперсетка поджарится, если рейт окажется слишком высоким. Но в данном гайде мы не будет рассматривать Monkeypatch, это более продвинутая тренировка, пока оно вам не надо.
Dropout
Не выкидывайте свои нейроны, их иногда и так мало. На данный момент функция негативно влияет на тренировку.(Monkeypatch позволяет задать свои параметры дропаута)
Она отключает 30% ваших нейронов, то есть, условно поставили 1 3 1 — оно не будет использовать все 3, а будет только лишь чуть больше 2. По словам Heathen, данная функция бесполезна для небольших нейронных сетей, коей и является гиперсеть.
Не включать.
Пару слов о препроцессинге датасета
Если он маленький — пройдитесь ручками и расставьте теги самостоятельно в дополнение к deepdanbooru — упростите себе жизнь.
UPD: лушче используйте WD 1.4 Tagger, тогда не придётся ручками корректировать deepbooru по большей части.
Нейроны тоже тренируются
Я было хотел оставить старую картинку, но окно с тех пор обзавелось парой новых функций, поэтому я дополню информацию о них.
Ну вот оно нас встречает, а дальше что? Запускаем со стандартными настройками?
А вот х*р там.
Идём в \stable-diffusion-webui\textual_inversion_templates
и создаём файл, который в себе содержит только «[filewords]», если вы тренируете маняме. Если нет — оставляете стандартное(меняете subject или что-то там на hypernetworks).
Ну и соответственно вписываем путь на этот новый файл, или уже существующий, если тренируете обычную, не маняме модель.
Шаги — сколько хочется. Рекомендую для старта около 10000. Но тренировать, при правильном подходе, можно хоть до 100к.
Batch size — Если у вас 8 гигов, не трогайте, не хватит памяти на больше чем 1. Для остальных — больше лучше. Хотя буст скорости выше 2 уже не особо будет. Влияет на качество тренировки, но как именно — пока сказать трудно. Если учитывать наблюдения Dreambooth, которые я недавно читал, то больший размер позволит лучше работать с некторыми деталями, как например руки.
По умолчанию сетка будет сохраняться каждый 500 шагов, поэтому приготовьте пару десятков гигабайт места, либо увеличьте параметр сохранения. Уберите галочку с «save images with embedding in png chunks» — я вообще не понял, зачем оно надо, бесполезная штука, которая сохраняет картинки результатов, но с оверлеем названия сети и шагов, что она и так делает, но в названии самого файла.
Читать параметры — ставьте, если хочется контролированной генерации картинок при тренировке. Но не забудьте указать их во вкладке генерации.
А что по скорости обучения?
А вот тут мы остановимся. Нужно пояснить, что то, что у вас там написано — на самом деле не обязательно одно число.
5e-5:125, 5e-6:1500, 5e-7:8000, 5e-8:20000, 5e-9:-1
Такое — тоже работает, более того — вы обязаны использовать вариативную тренировку, если хотите тренировать долго и ради мощного результата.
Это один из небольших и общих примеров таких вариаций. Я использую другую, но вам оно не надо, ибо я использую более агрессивную стратегию и куда больше шагов.
Так же не забывайте на каждый слой вашей гиперсети поднимать рейт тренировки. Точно сказать не могу на сколько, но по моим экспериментам примерно на ступень. То есть не 0.00005, а уже 0.0005, если добавили ещё один слой. Но скорее всего это многовато и лучше обойтись повышением раз в 6-7 на каждый новый слой.
Апдейт по новым параметрам
Аккумуляция градиента
Важный новый параметр, который раньше был только через фиксы. Поставьте его на примерно 3-6, если уверены в качестве своего датасета. Он позволит аккумулировать градиенты картинок. Возможно сильно увеличить качество тренировки. Но, только если картинки хорошие, в одном стиле и т.д.
ВАЖНО: поменяйте рейт тренировки в соответствии с размером батча и градиента.
То есть, если у вас например батч 4 и градиент 4, то за один шаг у вас происходит тренировка на 16 картинках, ускоряйте рейт тренировки в 16 раз +-. Это работает для меня. То есть например 5е-5:160 превращается в 5е-5:10 и т.д.
Shuffle tags
Да — включайте, если хотите, что бы вводные данные могли быть перемешиваемыми, это улучшит возможности редактирования промпта при использовании тегов, включенных в датасет.
Drop out tags
Да — полезно, я ставлю на 10-20, это позволит рандомно выкидывать теги с картинок, дабы гиперсеть так же училась некондиционно дополнять некоторые детали.
Latent Sampling
Once — стандартный параметр, генерирует латентное пространство один раз. Не хорошо.
Deterministic — процесс не опишу, но автор утверждает, что это приносит результаты лучше, чем полный рандом.
Random — как должно быть изначально, но не было.
Я тренирую на детерминистичном.
Ну, это всё, что нужно знать в базе для правильной тренировки
А что не в базе? А не в базе идите читать англоязычные статьи. Очень интересно. Посмотрите глазами, как выглядят функции активации, я таким методом и выбрал Gelu как основу ещё до появления гайда по ним от Heathen.
Заключение Я уже месяца два изучаю всю эту хрень(на момент написания на ДТФ). Очень интересно, затягивает, а ещё я аниме люблю, поэтому провожу много тренировок гиперсеток для стиля. Показать не смогу сейчас, ибо тренирую стили заново на новую Anything3 модель, покажу только один.
Решил написать этот гайд, ибо увидел, что есть много неправильных, даже негативных заключений в текущих кратких руководствах, хоть и называют их дебрями.(Это про ДТФ)
На пикабу так вообще, всё, что есть это сравнение гиперсетей NAI, что, обучающим контентом по гиперсетям, считать даже с натяжкой невозможно.
Так меняет картинку моя основная гиперсеть, тренированная на 60000 шагов. По сути, полностью новая генерация.
НО. Это не лучший пример, так как тренировано по ошибке на модели с неполными весами.
Да и вообще я щас занялся тренировкой LORA, поэтому не перетренировывал.
Ну, как и обещал, подборочка артов из моих последних генераций :3(Отличных от подборки на ДТФ), все они сгенерированы с помощью гиперсетей.
Больше не покажу, учитесь сами 😀
P. S. Пишите, спрашивайте, отвечу.
Я планирую перенести и остальные свои записи с ДТФ на Пикабу с дополнениями, фидбэк приветствуется.
На очереди такие гайды как:
От NAI-сойжака до кастом гигачада
Гайд по правильному промпт-крафтингу универсальных стилей для Stable Diffusion
LORA, почему кажется, что не работает, и как не потратить день в пустую
Если вам интересна какая-та конкретная тема — пишите, перенесу её в первую очередь, или напишу гайдец, если знаком с ней.
«Наш разум — это гиперсеть»
Работа нашего мозга, как и много лет назад, остается самой большой загадкой в области наук о человеке. Тем не менее благодаря усилиям ученых в последние десятилетия представления о том, как устроена наша самая главная «библиотека», довольно сильно изменились. Своими знаниями с ведущей программы «Гамбургский счет» на Общественном телевидении России Ольгой Орловой делится член-корреспондент РАН Константин Анохин.
Об авторе
Константин Владимирович Анохин — родился в Москве в 1957 году. В 1980 году окончил лечебный факультет Первого московского медицинского института им. Сеченова. В 1984 году защитил кандидатскую диссертацию в НИИ нормальной физиологии им. Анохина. В 1992-м получил степень докт. мед. наук за диссертацию «Ранние гены в механизмах обучения и памяти».
С середины 1980-х годов исследует молекулярные, клеточные и нервные механизмы памяти, ее формирование, хранение и извлечение. В последние годы ведет исследование биологических основ сознания. В 2002 году избран членом-корреспондентом Российской академии медицинских наук, а в 2008-м стал членкором РАН. С 2011 года руководит отделением нейронаук в НИЦ «Курчатовский институт».
— Вы и Ваши коллеги, говоря об устройстве мозга, как правило, имеете в виду место, где хранится информация. Например, Вы неоднократно использовали метафору Вавилонской библиотеки из рассказа Борхеса. И в таких случаях людям, далеким от науки, легко понять, что где-то у нас в организме складываются какие-то кусочки информации. Но, с другой стороны, мы еще думаем, что наше сознание связано с такими вещами, как память чувств, в конце концов — душа. Как быть с этим? Такие вещи для Вас вне науки?
Ольга Орлова
— Нет, это ошибка. Во-первых, любая метафора имеет свои границы. Это всегда способ объяснить что-то. Это не модель. Метафора мозга как большой телефонной станции не означает, что наш мозг — это большая станция. Мы хотим понять мозг как мозг. Вавилонская библиотека тоже несет какую-то идею, которую нужно объяснить. И основная идея этой метафоры — Вавилонская библиотека безгранична, как считал Борхес. Энтузиасты посчитали, что она на невероятное гиперастрономическое число степеней превосходит видимую Вселенную.
И наш разум, наше сознание, наша душа, если хотите, имеет такое количество степеней свободы, она может создать такое количество миров в себе, которое нельзя сосчитать. В ней содержатся все образы того, что мы видели каждую секунду, она может генерировать то, что мы видим, это то, что создают эти клетки мозга. Все восходы и закаты, все кадры фильмов, которые мы когда-либо видели, все мелодии, которые мы когда-либо услышали, и, более того, все восходы и закаты, которые когда-либо человечество сможет увидеть, или все фильмы, которые когда-либо оно сможет увидеть, все книги и поэмы, которые когда-либо сможет прочитать. Это бесконечность.
Есть еще другая сторона, когда Вы сказали про память чувств, что Вавилонская библиотека (это может вводить в заблуждение) — это текст. Это что-то, что хранится. И наш разум и сознание — это первое, что мы способны в нем создать как некий образ, но и другая сторона — это то, что мы помним. Если я Вас попрошу: попытайтесь вспомнить какие-нибудь из закатов, которые Вы видели в своей жизни, — Вы, наверное, несколько вспомните, особенно красивых. На самом деле Вы видели сотни и тысячи закатов. То есть в Вашей памяти остаются далеко не все. Но и то, что создается в этой библиотеке, и то, что остается потом, — небольшая часть в виде текстов — это не только справочная информация. В Вашей или моей Вавилонской библиотеке и первый поцелуй, и рождение ребенка, и, может быть, смерть близкого человека, и все эмоции и чувства, которые мы испытывали. И «Тристан и Изольда», и «Ромео и Джульетта» — они все в этой Вавилонской библиотеке.
— Чуть раньше Вы употребили через запятую «разум, сознание, душа». В истории культуры, в истории искусств традиционно противопоставлялись разум и душа. А для нейробиолога это через запятую, это почти знак равенства?
— Я думаю, что мы разберемся с этим. То, что мы называем разумом, — это некоторая структура, которая есть у нас, и мы несем и храним ее в любое время, даже когда мы находимся без сознания. Например, во время глубокого сна без сновидений. Сознание — это процесс в этой структуре. Когда она активна и там что-то происходит, то наш разум бодрствует, мы находимся в сознании.
Душа, поскольку это очень древнее понятие, оно в себя очень многое включает, но более сложное. Когда мы говорим, что душа отлетает во время сна и возвращается, как древние греки, в момент пробуждения, то мы говорим, наверное, о сознании. С другой стороны, душа содержит всё наше «я». Нам трудно представить понятие души без этого внутреннего содержания. Я думаю, что на самом деле душа — это та часть нашего разума, которая не просто рациональна, она эмоциональна. Это всё, что накоплено нашим опытом. А наш субъективный опыт есть продукт работы нервных клеток. Я могу это сказать другим образом. Нет мозга — нет души, нет психики. Наш мозг умирает — душа не остается.
— Получается, что мы — это наш мозг?
— Это было бы слишком просто. С одной стороны, мы — это наш мозг. С другой стороны, это наш мозг, организованный определенным образом. В нем должна быть записана вся эта информация Вавилонской библиотеки. Она должна туда как-то попасть. Эти тексты должны возникнуть.
Представьте себе, что у вас есть эта библиотека, в которой огромное количество букв и слов, но которые не образуют смыслов. Можете ли вы себе представить ситуацию, что есть мозг, который не содержит развитого разума, интеллекта, души и чувств? Вполне может быть, есть трагические случаи, когда рождаются дети с интеллектуальным недоразвитием. Они не развиваются. Они имеют некоторые задатки, которые дала эволюция, но без большого глубокого содержания. Тогда, просто глядя на мозг, вы не увидите это, по сегодняшним понятиям. Вы должны понять, что за свойства организации, которые возникают в этом мозге.
Поэтому вещь, которую мне последние несколько лет кажется очень важным понять, — это то, как должен быть организован мозг, чтобы в нем появился разум. Разум — это некая надстройка над просто физической материей мозга.
Рис. В. Александрова
— А мы понимаем хотя бы какие-то базовые принципы, как рождается мысль на нейрофизиологическом уровне, именно на уровне клеток?
— Да, мы понимаем. Для меня сверхзадачей является создать такую теорию, которая позволит для самых разных видов нервной системы — человека, обезьяны — объяснить, как на основе работы нервных клеток появляется вся система разума. Я думаю, что эта теория достаточно простая. Она должна быть простой и красивой. Она должна объяснять, как в эволюции появлялся разум. Так же как глаз изобретался эволюцией много раз, судя по всему, разум, интеллект изобретался тоже очень много раз в самых разных таксонах, которые шли деревьями эволюции, не встречающимися друг с другом. Один, например, — это у моллюсков. И мы знаем сегодня, что осьминоги обладают очень развитым интеллектом. Другой — у птиц. Значит, эволюция, имея какие-то базовые принципы, изобретала разум и, возможно, создавала его не один раз.
Решение должно быть простым и красивым. Оно должно автоматически выводить из некоторых фундаментальных принципов свойства, которые мы знаем в отношении разума. Как он возникает? Откуда у ребенка, который родился таким же, как многие другие, имеет такой же эволюционный опыт, появляется всё богатство его индивидуального опыта? Как появляются эти новые элементы, как они связаны друг с другом?
Как одна мысль влечет за собой другие? Где они все хранятся? Как мы способны за несколько сот миллисекунд из этой огромной библиотеки мыслей, содержания нашего опыта, чувств, эмоций вытягивать нужное нам? Как организован этот поиск? Какова эта архитектура?
Я думаю, что простой ответ, короткий ответ заключается в следующем. Наш мозг — это огромная сеть. Она очень похожа на сеть огней в большом городе или сеть Интернета, социальную сеть.
— 86 млрд. огней?
— Да, 86 млрд. огней. Это больше, чем какой-либо город, который мы видим и знаем. И они связаны между собой. Они еще имеют провода. Это физически связанная сеть. Но наш разум автоматически не живет в этой сети, он должен там появиться. И он появляется как гиперсеть. Ключевое слово для понимания разума, на мой взгляд, теория, которая описывала бы то, что из себя представляет разум, — это тоже сеть. Это сеть, в которой элементами служат элементы нашего субъективного опыта. Они могут быть разными, они могут быть целостными воспоминаниями.
— Это сеть над сетью?
— Да, сеть над сетью. Когда вы говорите, что сеть, у вас сразу же возникает: первое — у сети должны быть какие-то узлы, единицы, которые должны быть как-то связаны.
— Динамика процесса должна быть.
— Вы можете потянуть за одну, узнать, какие активируются другие. Когда я вам скажу «Том Круз», вы вытащите из памяти фильмы, которые вы видели, может быть, девушек, с которыми он был знаком, эпизоды. Дальше можете вспомнить, когда вы смотрели эти фильмы, что с вами происходило, с кем вы в это время были. Это огромная сеть. Но сеть, обратите внимание, — это не просто нервные клетки, это ваш субъективный опыт. Каждый из элементов — глаза Тома Круза, его прическа, его рост — это какие-то элементы, которыми вы как целое, как личность соотносились с окружающим миром в каких-то контактах. Как образуются узлы и связи в этой сети? Термин «гиперсеть» объясняет математически или геометрически, как это происходит. Гиперсеть — это такая сеть, узлом которой является какая-то совокупность узлов ниже лежащей сети. Каждый из таких элементов нашего опыта — это много-много клеток. Но вместе они образуют что-то новое. У этой пирамиды есть вершина. И вершина несет иные свойства, чем много-много элементов. У вас есть хвост, шерсть, цвет, уши — они вместе образуют собаку. И она что-то для вас значит. Вещь, которую очень сложно понять и исследовать, — во-первых, откуда берется собака, а во-вторых, как собака связана с кошкой, с вами и так далее, то есть как образуются связи в этой гиперсети.
Это сложно метафорически, потому что если вы представите себе много-много разбросанных элементов, как собаку по вашему мозгу, то она связана с другими элементами, с кошкой или с вашим домом, хозяином и так далее — теми связями, которыми эти элементы связаны с теми элементами. То есть на самом деле существует мозг. Физически существуют только нервные клетки, которые связаны с другими нервными клетками. Но у них появляются свойства, которые образует эта гиперсеть. И эта гиперсеть — это и есть наше «я». Это и есть наша Вавилонская библиотека, в которой записан текст. Обратите внимание, что он записан непросто. Это не книжка, которая стоит на одной полочке. Вы не можете вынуть собаку из одного места в нашем мозге. У вас цвет ее шерсти хранится в одном месте, ее хвост и лапы хранятся в другом, ее свойства как друга хранятся в третьем, ее лай хранится в четвертом. Это много-много книг, где по одной фразе в самых разных частях библиотеки записано что-то о собаке. Они должны собраться вместе, чтобы создать это новое качество. И мозг умеет это делать.
— Однажды мой сын, будучи в классе пятом, когда осознал процесс развития человеческой цивилизации и понял, что в России примерно от петровских времен был потрясающий взрыв, а в обратную сторону тысячи, сотни тысяч лет медленное-медленное развитие, он был так потрясен, что заплакал. Я спросила: почему ты плачешь? Он сказал: почему так неравномерно?! Эту неравномерность развития нашей цивилизации действительно очень трудно осознать. А если говорить об эволюции мозга в нейрофизиологическом смысле, это как было?
— Это вопрос, которым сегодня очень активно занимаются нейробиологи и молекулярные биологи. Мы имеем некоторые летописи, по которым можем восстанавливать этот процесс, можем сравнивать себя с нашими относительно недавними предками, с которыми разошлись, знаем эти геномы, знаем, как в этих геномах закодированы гены, которые отвечают именно за развитие мозга, потому что они имеют специфическую экспрессию и нужны для того, чтобы наш мозг сформировался во время индивидуального развития. Тогда мы можем задать вопрос: сколько изменений произошло за то время, когда мы разошлись, например, с шимпанзе, и где они произошли? И что за счет этого возникло в мозге? То есть это исследование вопроса.
Черновой ответ, который сегодня существует: всё, что было создано на этапе человеческой цивилизации, было создано мозгом, таким же как у нас, т. е. мы уже десятки тысяч лет имеем тот же самый мозг. Всё, что происходит после этого, — это культурные вещи.
— То есть наши культурные, технологические, научные прорывы с эволюцией нашего мозга напрямую не связаны?
— Если бы оказалось, что за время развития человеческой цивилизации, например за несколько тысяч лет, какие-то вещи перешли в наше биологическое наследство и стали частью мозга, который создается теперь врожденно, то это был бы крупнейший переворот в понимании механизма биологической эволюции. Пока мы знаем, что биологическая эволюция не поспевает за темпами того, что возникает за счет культурного наследования. По крайней мере, сегодняшняя наука не знает никаких способов наследования культурных вещей так быстро. Это всегда десятки и сотни тысяч лет.
— Константин Владимирович, а как Вы объясняете абсолютно параллельные эволюции нашей цивилизации и человека как биологического вида? Вот когда-то люди начали сами себя описывать — от первых попыток осмыслить себя на уровне наскальных рисунков до развитых серьезных религиозных картин. Потом наступает новая эпоха, когда все эти религиозные картины мира рушатся и, собственно, начинается научное познание, которое заканчивается тем, что Вы сидите здесь и рассказываете о том, как устроен наш мозг. И при этом же Вы только что сказали, что в принципе это всё было создано тем мозгом, который мы уже имеем. Как это объяснить?
— А в чем проблема?
— А зачем всё это было?
— А ведь эволюция не имеет вопроса «зачем?». Она всегда движется вперед, так же как и научное познание. Помните, как у Гёте в «Фаусте»: «Что есть дорога? Дороги нет! Вперед, в неизвестное!» Вот как живет человеческий мозг и биологическая эволюция.
— Как Вы относитесь к религиозному опыту Ваших коллег, ученых-естественников? Некоторые физики, которые занимаются фундаментальными проблемами устройства Вселенной, говорят, что либо ты смотришь на это как физик и понимаешь, что всё намного сложнее, и тогда религиозный взгляд и опыт для тебя просто невозможен.
— Мне всегда казалось и продолжает казаться, что разделение на нетелесную божественную душу и мозг приводит к тому, что человек, занимающийся мозгом, долгое время исследует его, пытается понять (особенно это видно на многих западных ученых, великих нейрофизиологах XX века, которые были нобелевскими лауреатами, делали выдающиеся открытия), а в конце своего пути или даже в середине пути задается вопросом: а как все эти процессы, которые я очень хорошо изучил на уровне отдельных клеток, сигналов между ними, передатчиков и т. д., соотносятся с душой и как душа входит в мозг? А на самом деле вы с самого начала должны в теории мозга одновременно объяснить и разум. В русском языке — я недавно для себя открыл это — есть прекрасная возможность сказать, что то, что мы должны понять, — это МИР, МИР большими буквами — Мозг и Разум. Вы должны понять, что такое мозг, что такое разум, мы должны понять самое сложное: «А и Б сидят на трубе», — мы должны понять «и». И это описывается большими буквами «МИР».
Кстати, очень многие физики не принимают идею эволюции, то есть не понимают. Идея эволюции же ужасно сложная. Это идея часовщика как одна из метафор. Если вы находите камень, то ударяете и отбрасываете. Если находите часы, то у вас возникает вопрос: откуда возникла такая сложная вещь и где часовщик? Если у вас нет идеи эволюции, что это часовщик, который работал миллионы лет миллиардами проб и ошибок, и это собралось постепенно, то, конечно, весь мир выглядит чудом.
— Вы отмечали, что Ваш дедушка Пётр Кузьмич Анохин оказал довольно сильное влияние на ваше формирование как ученого. А его биография, в свою очередь, тоже была полна встреч с выдающимися людьми: Павлов, Ухтомский, Бурденко. Он был знаком с Луначарским, Вишневским. Из этой блестящей плеяды из научной биографии Вашего деда с кем Вам было бы интересно поговорить?
— Я бы назвал еще Бехтерева, потому что дед начинал работать у Бехтерева. Я попросил бы полчаса разговора со всеми ними, прежде чем ответить на Ваш вопрос, если нужно выбрать одного, и задал бы такие же вопросы, как Вы задаете мне. И по ним я смог бы определить, с кем мне интереснее всего продолжить этот разговор. Потому что ученые ведь хотят поговорить с теми, кто был до них, не только потому, что это мудрые люди. Они лелеют надежду, что, может быть, великие умы и личности предыдущих поколений знали ответы на некую загадку мира, тайну, которую они пытаются сами раскрыть, и что они им помогут.
— А если наоборот? Ваш дед слушал лекции нобелевского лауреата физиолога Павлова. У Вас сейчас есть какое-то знание, которое могло бы его поразить?
— Конечно! Столько всего произошло! Если бы мне захотелось сделать ему приятное и интересное, я рассказал бы о наших возможностях с условными рефлексами, которые его интересовали больше всего. А он говорил, что мы должны понять всю силу учения об условных рефлексах, если можем показать пальцем, где было возбуждение, куда оно перешло; он был сильным материалистом. Так вот, мы сегодня можем заставить условные рефлексы соединяться и устраиваться по нашему желанию, зная, как работают нервные клетки, и образуя искусственные условные рефлексы без внешних сочетаний. И это является, на мой взгляд, очень ярким воплощением его такого материалистического строгого взгляда на то, как работает нервная система.