Бионика: обучение "на лету" с использованием генетически по-разному предобученных искусственных нейронов

В статье рассказывается о возможности быстрого обучения нейросетей "на лету", с использованием данных предварительного генетического обобщения положительного опыта статистического анализа данных, полученных исследователями прошлого века.

Наши естественные мозги очень экономичны и очень эффективны. При энергопотреблении в 40 Вт они в реальном времени способны решать 10 000-мерные задачи. Это патологоанатомический факт, у каждого из нас есть пирамидальные естественные нейроны с 10 000 входов. При этом качество принимаемых нами решений много выше, чем у современных многослойных сетей искусственных нейронов. Глубокое обучение сетей, состоящих из сотен слоев искусственных нейронов, выполняется на миллионах примеров образов реальных лиц людей. Полное обучение длится несколько месяцев, даже если привлекать к вычислениям огромные вычислительные мощности облачных сервисов. При таком обучении новорожденный ребенок должен узнавать мать только через несколько месяцев. Это сомнительно.

Скорее всего, современные алгоритмы глубокого обучения – это эволюционный тупик. Человека или животное съедят хищники еще до окончания их глубокого обучения. Проблема снимается, если предположить, что у эмбриона генетически запрограммировано развитие не только правой и левой руки, если допустить, что часть естественных нейронов у эмбриона изначально (генетически) по-разному предобучены.

В этом случае все встает на свои места. Отдельные нейроны нет необходимости обучать, они сразу выращены и предобучены выполнять некоторую задачу. В этом случае возможно сверхбыстрое обучение "на лету". Тогда младенец должен узнавать мать почти сразу, как откроет глаза. Утенок должен всегда идти за уткой, цыпленок всегда должен идти за своей матерью-курицей или за таким же желтеньким братом-цыпленком. Кого первым увидел новорожденный, того и "на лету" запомнил.

Проблема использования классических статистических критериев для проверки гипотезы независимости на малых выборках

В прошлом веке англичанин Пирсон фактически совершил революцию в математической статистике. В 1900 г. он создал критерий "хи-квадрат", который стал сегодня классикой [1]. К сожалению, этот критерий хорошо работает только на больших выборках в 200 опытов и более [2]. На практике далеко не всегда возможно получить доступ к большим выборкам.

Аспирант-биолог вполне может самостоятельно вырастить группу из 16 кроликов и попытаться написать диссертацию на основе своих собственных экспериментальных данных, при этом он должен понимать, что члены диссертационного совета укажут ему на низкий уровень достоверности полученных им лично статистических выводов. Для того чтобы получить выборку в 200 кроликов по стандартным рекомендациям [2], нужна целая ферма, обслуживаемая несколькими специалистами. Эта печальная ситуация иллюстрируется рис. 1.

Рис. 1. Программная реализация и результаты численного моделирования "хи-квадрат" нейрона Пирсона, разделяющего малые выборки в 16 опытов с двумя разными законами распределения данных

В левой части рис. 1 дана программа из шести строк на языке MathCAD, воспроизводящая отклики хи-квадрат-критерия на выборку объемом в 16 опытов с нормальным распределением. Для того чтобы получить отклик хи-квадраткритерия на малую выборку равномерно распределенных данных, необходимо заменить первую строку программы. Нужно выполнить замену на строку x sort(runif(16,-1,1)).

В правой части рисунка даны распределения откликов хи-квадрат-критерия на малые выборки с нормальным и равномерным распределением. Очевидно, что мы можем достаточно легко создать искусственный нейрон Пирсона, изначально запрограммированный различать малые выборки. В этом случае сам критерий Пирсона (программа левой части рис. 1) должен использоваться как некоторый информационный обогатитель относительно бедных входных данных. Уже обогащенные данные подвергаются квантованию, порог квантования k = 5,9 выставлен в точке равновероятных ошибок первого и второго рода P1 ≈ P2 ≈ PEE ≈ 0,326. То есть на выборке в 16 опытов доверительная вероятность к решению одного нейрона Пирсона составит 0,674.

Естественно, что научные результаты со столь низкой достоверностью вызывают сомнения. Однако написать аспиранту программу в несколько строк не составляет труда. Студенты большинства специальностей сдают зачет или экзамен по программированию. Написать несколько программ, аналогичных программе на рис. 1, для аспиранта-биолога много проще, чем в одиночку прокормить и вырастить стаю кроликов в 200 особей на специальной ферме.

Нейросетевое объединение нескольких статистических критериев

В прошлом веке исследователи создали примерно 20 критериев для проверки гипотезы нормальности и 20 критериев для проверки гипотезы равномерности [1], однако все они создавались с предположением их применения поодиночке. Именно потому, что эти критерии используются поодиночке, аспирантам прошлого века приходилось каким-то образом получать достаточно большие выборки экспериментальных данных.

Выше было показано, что хи-квадрат-критерий легко трансформируется в эквивалентный ему искусственный нейрон. В работах [3, 4] было показано, что для всех известных на сегодняшний день статистических критериев может быть построен эквивалентный искусственный нейрон. Это означает, что мы можем использовать нейросеть, составленную как минимум из 40 нейронов, являющихся эквивалентами классических статистических критериев. Для простоты рассмотрим нейросеть, объединяющую нейрон Пирсона, нейрон четвертого статистического момента [4, 5] и нейрон Васичека [6]. Получается однослойная сеть искусственных нейронов, отображенная на рис. 2.

Рис. 2. Нейросетевое объединение трех статистических критериев

Рассматриваемая нейросеть дает выходные коды с трехкратной избыточностью.

Очевидно, что появление кода "000" позволяет с высокой достоверностью считать данные анализируемой выборки нормальными. Тот же вывод можно делать, когда один из разрядов кода примет единичное значение, например состояние "010", как это показано на рис. 2. Кодовая избыточность всегда может быть свернута какой-либо из многочисленных конструкций избыточных кодов, приспособленных к обнаружению и исправлению ошибок [7]. В нашем случае используется самый простой способ "голосования" по большинству присутствующих в коде разрядов.

Теория кодов с обнаружением и исправлением ошибок хорошо изучена и позволяет утверждать, что при одинаковых прочих условиях число обнаруживаемых и исправляемых ошибок растет по мере роста кодовой избыточности.

Прогнозирование необходимого числа используемых нейрокритериев для достижения заданной доверительной вероятности

Так как мы можем создать достаточно большие сети искусственных нейронов, нам нужно уметь предсказывать число нейронов в них по заранее заданному значению доверительной вероятности. Проще всего это сделать, опираясь на процедуру симметризации корреляционных связей выходных разрядов нейросети [4].

Изначально задача моделирования с учетом влияния корреляционных связей асимметрична. Входные обогатители трех использованных статистических критериев {x2, μ4, V} для малых выборок в 16 опытов имеют следующие значения парных коэффициентов корреляции: corr(x2,μ4) ≈x-0,081, corr(x2,V) ≈ 0,206, corr(μ4,V) ≈ -0,876.

Моделировать данные для воспроизведения асимметричных корреляционных матриц сложно. По этой причине выполняют симметризацию матрицы корреляционных связей через усреднение модулей всех коэффициентов корреляции, находящихся вне диагонали. В итоге мы получаем симметризованную корреляционную матрицу с одинаковыми коэффициентами корреляции, расположенными вне диагонали.

Для того чтобы получить симметрично коррелированные данные, достаточно вектор данных, полученных от одного программного генератора псевдослучайных чисел, умножить на симметричную связывающую матрицу. Связывающая симметричная матрица для рассматриваемой нами нейросети приведена в правой части рис. 3.

Рис. 3. Пример процедуры симметризации исходно асимметричной корреляционной матрицы для представленной на рис. 2 нейросети

Для симметричных матриц 3х3, 5х5, 9х9 достаточно просто выполнить моделирование, обеспечивая равные коэффициенты корреляции 0,388. Результаты такого моделирования и исправления ошибок представлены на рис. 4.

Рис. 4. Прогноз снижения вероятностей ошибок с ростом числа искусственных нейронов, предобученных разделять нормально распределенные и равномерно распределенные данные малых выборок

Из данных рис. 4 следует, что использование множества нейронов, каждый из которых ошибается с вероятностями P1 ≈ P2 ≈ PEE ≈ 0,326 (как нейрокритерий Пирсона, см. рис. 1), позволит добиться доверительной вероятности 0,9 только для нейросети из 2 000 нейронов.

В этом контексте крайне важно создавать новые статистические критерии с уровнем вероятностей ошибок P1 ≈ P2 ≈ PEE ≈ 0,1 [4, 8] и менее.

Если объединять в одну сеть искусственные нейроны, заранее предобученные принимать решения с вероятностью ошибок 0,1, то для принятия решений с доверительной вероятностью 0,99 потребуется совместно использовать примерно 40 искусственных нейронов. Именно по этой причине интерес к синтезу новых статистических критериев в XXI веке не угаснет.

Сверхбыстрое обучение "на лету" сетей из предобученных искусственных нейронов по предельно простым правилам

Алгоритмы глубокого обучения многослойных нейронных сетей [9, 10] сегодня следует рассматривать как пример возможного обучения с нуля. Задавшись структурой нейросети и имея миллионы примеров, распознаваемых образов, можно потратить несколько лет на глубокое обучение. Вполне реально, пользуясь технологией глубокого обучения, создать еще одну новую "Алису" или "Марусю". При этом велика вероятность того, что очередная "Алиса" в обычный телефон не поместится, все настоящие и будущие "Алисы" и "Маруси" должны будут гнездиться в каких-то облачных серверах, принадлежащих Яндексу или Googlе. Если отключить Интернет, то искусственный интеллект "Алисы" и "Маруси" испарится вместе с ним. Сколько занимает места искусственный интеллект "Алисы" и "Маруси" на облачных серверах, никто не знает, это коммерческая тайна их собственников.

Очевидно, что это все для естественной природы неприемлемо. В природе нет Интернета, в природе необходимо очень быстрое обучение "на лету". Первый стандарт по быстрому автоматическому обучению "на лету" ввела Россия в 2011 г. [11]. В 2022 г. ТК 164 ("Искусственный интеллект") провел публичное обсуждение первой редакции второго национального стандарта по быстрому автоматическому обучению "на лету" сетей корреляционных нейронов [12]. По планам ТК 164, окончательная редакция стандарта [12] может быть введена в действие в 2024 г.

Поясним на конкретном алгоритме преимущества быстрого обучения "на лету" сети искусственных нейронов, предобученных распознавать нормальные и равномерно распределенные данные.

Для определенности будем ориентироваться на данные свободно распространяемой среды моделирования "БиоНейроАвтограф" [13].
Среда моделирования специально создана прозрачной, можно посмотреть все операции, которые она выполняет над биометрическими данными динамики рукописного почерка. Она работает с любым графическим планшетом или с обычным манипулятором "мышь". Обучение нейросети в среде моделирования ведется по алгоритму ГОСТ Р 52633.5 [11] на выборках в восемь и более примеров рукописной буквы либо сочетания рукописных букв (рукописного пароля).

Предобработка данных в среде моделирования "БиоНейроАвтограф" выполняется вычислением 416 младших коэффициентов двухмерного преобразования Фурье. Обученная нейросеть выдает уникальный код аутентификации пользователя "свой" длиной 256 бит.

Отметим, что среда моделирования имеет 256 нейронов, каждый из которых имеет по 24 входа, случайно подключенных к вектору из 416 контролируемых биометрических параметров. Число 24 входа у нейронов выбрано потому, что биометрические параметры, полученные от манипулятора "мышь", имеют низкое качество. Если среда моделирования работает с графическим планшетом, то качество биометрических параметров улучшается и можно использовать по 16 входов у каждого искусственного нейрона.

Будем исходить из того, что предобученные нейроны имеют по 16 входов. Перед обучением необходимо задать код аутентификации длиной 256 бит. Алгоритм обучения сводится к псевдослучайному выбору 16 входных параметров для каждого нейрона.

Начало алгоритма сводится к упорядочиванию биометрических параметров по значению их математических ожиданий. Если нам нужно получить отклик одного нейрона (группы нейронов по рис. 2) с состоянием "0", то на его входы нужно подать биометрические параметры с рядом лежащими математическими ожиданиями. Эта ситуация отображена в верхней части рис. 5 (все 16 параметров выбраны случайно в интервале номеров от 0 до 50).

Если нам требуется обратная ситуация и нейрон должен откликаться состоянием "1", то нужно сформировать на его входах равномерно распределенные данные. Для этого следует "растянуть" данные по большому интервалу от 0 до 200 (нижняя часть рис. 5).

Рис. 5. Примеры выбора номеров входных данных у искусственных нейронов, откликающихся состоянием "0" (нормальное распределение) и состоянием "1" (равномерное распределение)

Алгоритм автоматического обучения оказывается очень быстрым и очень простым. Для всех нейронов с откликом "0" случайно выбирается целое число -k от 0 до 365. Далее из интервала от k до (k + 49) случайно выбирают 16 чисел.
В итоге мы получаем таблицу входных связей конкретного нейрона (группы нейронов). Таблица связей будет очень "компактной" по порядку значений 16 математических ожиданий. Расстояние между соседними номерами в такой таблице составит около трех.

Для всех нейронов с откликом "1" число -k выбирают случайно из интервала от 0 до 215. Далее 16 номеров связей выбирают случайно из чисел от k до (k + 199). В итоге мы получим "растянутую" таблицу связей с расстоянием между соседями примерно в 10 номеров. При обучении никаких сложных вычислений не выполняется. Алгоритм предельно быстрый и абсолютно устойчивый.

Заключение

Одно из глубоких заблуждений современной нейронауки состоит в том, что используемые искусственные нейроны должны быть однотипными и отличаться друг от друга только настройками. Такое теоретическое упрощение не является безобидным и приводит к тому, что искусственные мозги "Алисы" и "Маруси" оказываются огромными. Они не могут быть размещены в телефоне, их можно залить только в огромные серверы облачных сервисов, потребляющие не 40 Вт, а все 400 000 Вт. Более того, и "Алиса", и "Маруся" с медицинской точки зрения являются дебилками. Они не способны к быстрому обучению "на лету", их глубоко обучали очень, очень долго и только один раз в жизни. Последующие попытки дообучения практически ничего не дают.

Совершенно иную ситуацию мы наблюдаем в природе. Нейроны сетчатки глаза и слуховой улитки уха совершенно разные. Они генетически сформированы и генетически предобучены под решение разных функциональных задач.
Нейроны сетчатки глаза способны различать всего три цвета – RGB (красный, зеленый, синий), но их миллионы (решается двухмерная задача с учетом места положения нейронов). Нейроны улитки уха различают тысячи звуковых частот, но их мало (решается одномерная задача анализа спектра Фурье).

Нейроны в наших головах разные, и каждый из них генетически предобучен решать только свою задачу и генетически размещен только в нужном месте нашего естественного вычислителя. Нельзя считать нейроны сетчатки глаза и нейроны улитки уха одинаковыми и тасовать их в произвольном порядке. Если мы позволим себе так поступать, то получим дебильных монстров огромных размеров с огромным потреблением энергии.

В данной работе я попытался продемонстрировать возможность очень быстрого обучения "на лету", если мы будем располагать примерно 40 разными по структуре и по-разному предобученными искусственными нейронами. Фактически речь идет о предварительном генетическом обобщении положительного опыта статистического анализа данных, полученных исследователями прошлого века [1, 4]. Преобразовав множество статистических критериев проверки той или иной гипотезы в искусственные нейроны, мы фактически получаем некоторый нейробазис для очень быстрого обучения нейросетей "на лету".

Список литературы

1. Кобзарь А. Прикладная математическая статистика. Для инженеров и научных работников. М.: ФИЗМАТЛИТ, 2006.
2. Р 50.1.037–2002 Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа 2. Госстандарт России. М.: 2001.
3. Иванов А.П., Иванов А.И., Малыгин А., Безяев А., Куприянов Е., Банных А., Перфилов К., Лукин В., Савинов К., Полковникова С., Серикова Ю. Альбом из девяти классических статистических критериев для проверки гипотезы нормального или равномерного распределения данных малых выборок // Надежность и качество сложных систем. 2022. № 1. С. 20–29.
4. Иванов А.И. Нейросетевой многокритериальный статистический анализ малых выборок. Справочник / Пенза: издательство Пензенского государственного университета. 2022.
5. Pearson E. S. A further development of tests for normality // Biometrika. 1930. Vol. 22. P. 239–249.
6. Vasicek O. A test for normality based on sample entropy // Journal of the Royal Statistical Society. 1976. Vol. 38, № 1. P. 54–59.
7. Морелос-Сарагоса Р. Искусство помехоустойчивого кодирования Москва: Техносфера. 2007.
8. Иванов А.П., Иванов А.И., Безяев А., Куприянов Е., Банных А., Перфилов К., Лукин В., Савинов К., Полковникова С., Серикова Ю., Малыгин А. Обзор новых статистических критериев проверки гипотезы нормальности и равномерности распределения данных малых выборок // Надежность и качество сложных систем. 2022. № 2. С. 33–44.
9. Николенко С., Кудрин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. / СПб.: издательский дом "Питер". 2018.
10. Аггарвал Чару. Нейронные сети и глубокое обучение / СПб.: Диалектика. 2020.
11. ГОСТ Р 52633.5–2011 Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа.
12. Первая редакция стандарта "Искусственный интеллект. Нейросетевые алгоритмы в защищенном исполнении. Автоматическое обучение нейросетевых моделей на малых выборках в задачах классификации". Введение окончательной редакции нового стандарта в действие запланировано в 2024 г.
13. Иванов А.И., Захаров О. Среда моделирования "БиоНейроАвтограф". http://пниэи.рф/ activity/science/noc/bioneuroautograph.zip для свободного использования любым русскоязычным университетом.

Опубликовано в журнале "Системы безопасности" № 4/2023

Все статьи журнала "Системы безопасности"
доступны для скачивания в iMag >>

Фото: ru.freepik.com

Иллюстрации предоставлены автором