Обзор нейронной сети (2019 год)
Американский журнал нейронных
сетей и приложений 2019; 5(1): 7-11
doi: 10.11648/j.ajnna.20190501.12 ISSN:
2469-7400 (для печати); ISSN: 2469-7419 (онлайн)
Обзор нейронной сети
Мохайминул Ислам, Гуоронг Чен, Шанчжу Цзинь
Школа интеллектуальных технологий и инжиниринга, Чунцинский университет науки и технологий, Чунцин, Китай
Эл. адрес:
Процитируем эту статью:
Мохайминул Ислам, Гуоронг Чен, Шанчжу Джин. Обзор нейронной сети. Американский журнал нейронных сетей и приложений..
Том 5, № 1, 2019, стр. 7-11. doi: 10.11648/j.ajnna.20190501.12
Получено: 8 мая 2019 г.; Принято: 17 июня 2019 г.; Опубликовано: 29 июня 2019 г.
Аннотация:
Нейронные сети представляют собой метафору мозга для обработки информации. Эти модели основаны на биологических данных
, а не являются точной копией того, как на самом деле функционирует мозг. Было показано, что нейронные сети являются очень перспективными
системами во многих приложениях прогнозирования и бизнес-классификации благодаря их способности извлекать уроки из данных. Эта статья
призвана дать краткий обзор искусственной нейронной сети. Искусственная нейронная сеть обучается путем обновления
архитектуры сети и весов соединений, чтобы сеть могла эффективно выполнять задачу. Он может извлекать уроки либо из доступных обучающих
шаблонов, либо автоматически извлекать уроки из примеров или соотношений ввода-вывода. Модели на основе нейронных сетей продолжают
достигать впечатляющих результатов в решении давних задач машинного обучения, но установить их способность рассуждать об абстрактных
концепциях оказалось непросто. Основываясь на предыдущих попытках решить эту важную особенность обучающих систем общего назначения, в
нашей последней статье излагается подход к измерению абстрактных рассуждений в обучающих машинах и раскрываются некоторые важные
сведения о природе самого обобщения. Искусственные нейронные сети могут обучаться на примерах, как это делают люди. Искусственная
нейронная сеть настраивается для конкретного приложения, такого как распознавание образов, в процессе обучения. Обучение в биологических
системах состоит из корректировки синаптических связей, существующих между нейронами. Это верно и для искусственных нейронных сетей.
Искусственные нейронные сети могут применяться ко все большему числу реальных задач значительной сложности. Они
используются для решения задач, которые слишком сложны для традиционных технологий, или тех типов задач, которые не имеют
алгоритмического решения.
Ключевые слова: Искусственный интеллект, Нейронная сеть, Сигмовидная функция, Нейроны, Узлы
распознаваемые значения являются числовыми, содержатся в
1. Введение.
векторах, в которые должны быть переведены все реальные данные,
будь то изображения, звук, текст или временные ряды.
Нейронная сеть - это тип искусственного интеллекта, который
В своей простейшей форме биологический мозг представляет собой огромную
пытается имитировать то, как работает человеческий мозг.
коллекцию нейронов. Каждый нейрон принимает электрические и химические
Вместо использования цифровой модели, в которой все
сигналы в качестве входных данных через свои многочисленные дендриты и
вычисления манипулируют нулями и единицами, нейронная сеть
передает выходные сигналы через свой аксон (в более специализированном
работает путем создания связей между обрабатывающими
контексте существуют исключения из этого поведения, например, с
элементами, компьютерным эквивалентом нейронов. Организация
многополярными нейронами). Аксоны вступают в контакт с другими нейронами
и веса связей определяют результат [1].
через специализированные соединения, называемые синапсами, где они передают свои
Нейронные сети особенно эффективны для прогнозирования
выходные сигналы другим нейронам, чтобы повторить один и тот же процесс снова и
событий, когда у сетей есть большая база данных предыдущих
миллионы и миллионы раз [2].
примеров, на которых можно опираться. Строго говоря, нейронная
Вдохновленная мозгом, искусственная нейронная сеть представляет
сеть подразумевает нецифровой компьютер, но нейронные
собой совокупность соединенных блоков, также называемых
сети могут быть смоделированы на цифровых компьютерах.
нейронами. Связь между нейронами может передавать сигналы
Нейронные сети - это набор алгоритмов, в общих чертах смоделированных
между ними. Каждое соединение содержит действительное числовое
по образцу человеческого мозга, которые предназначены для распознавания паттернов. Они интерпретируют
значение , которое определяет вес / мощность сигнала [3].
сенсорные данные с помощью своего рода машины восприятия, маркировки
или кластеризации необработанных входных данных. Шаблоны, которые они
8
Мохайминул Ислам et al.:
Обзор Нейронной сети
Рисунок 1. Нейрон.
два или более изображения на основе ребер.
2. Типы искусственных нейронных сетей
2.2. Нейронная сеть с радиальной базисной функцией
Искусственные нейронные сети - это вычислительные модели,
Радиальные базовые функции учитывают расстояние точки
которые работают аналогично функционированию нервной
относительно центра. Функции RBF имеют два уровня, первый,
системы человека. Существует несколько видов искусственных
где объекты объединяются с функцией радиального базиса
нейронных сетей. Сети такого типа реализуются на основе
во внутреннем слое, а затем выходные данные этих объектов
математических операций и набора параметров, необходимых
учитываются при вычислении того же результата на следующем
для определения выходного сигнала [4].
временном шаге, который в основном представляет собой память.
Ниже приведена диаграмма, которая представляет расстояние,
2.1. Искусственный нейрон с прямой связью в нейронной сети.
вычисляемое от центра до точки на плоскости, аналогичной
Эта нейронная сеть является одной из простейших форм ANN,
радиусу окружности. Здесь может использоваться мера расстояния,
где данные или входные данные перемещаются в одном направлении. Данные
используемая в евклидове, также могут быть использованы другие
проходят через входные узлы и выходят на выходных узлах. Эта
меры расстояния. Модель зависит от максимальной досягаемости или
нейронная сеть может иметь скрытые слои, а может и не иметь их. Простыми
радиуса окружности при классификации точек по разным категориям.
словами, он имеет распространяющуюся спереди волну и не имеет обратного
Если точка находится внутри радиуса или вокруг него, высока вероятность
распространения, обычно используя классифицирующую функцию активации.
того, что новая точка будет отнесена к этому классу. Может происходить
переход при переходе из одной области в другую, и этим
Ниже приведена однослойная сеть прямой связи. Здесь вычисляется
можно управлять с помощью бета-функции.
сумма произведений входных данных и весов и подается на
выход. Выходной сигнал учитывается, если он превышает определенное
Эта нейронная сеть была применена в системах
значение, то есть порог (обычно 0), и нейрон срабатывает с
восстановления электроснабжения. Энергосистемы увеличились в размерах и
активированным выходным сигналом (обычно 1), а если он не
сложности. Оба фактора повышают риск крупных перебоев
срабатывает, выдается деактивированное значение (обычно -1) [5].
в подаче электроэнергии. После отключения электроэнергии необходимо восстановить
подачу электроэнергии как можно быстрее и надежнее. В этой статье описывается, как
RBFnn был реализован в этой области [6].
2.3. Самоорганизующаяся нейронная сеть Кохонена
Целью карты Кохонена является ввод векторов произвольной
размерности в дискретную карту, состоящую из нейронов.
Карту нужно обучить создавать собственную организацию
обучающих данных. Она состоит из одного или двух измерений.
При обучении карты местоположение нейрона остается постоянным,
Рисунок 2. ANN.
но веса различаются в зависимости от значения. Этот процесс
самоорганизации состоит из разных частей, на первом этапе
Применение нейронных сетей прямой связи можно найти в
значение каждого нейрона инициализируется небольшим весом и
компьютерном зрении и распознавании речи, где классификация
входным вектором. На втором этапе нейрон, ближайший к точке,
целевых классов сложна. Эти виды нейронных сетей реагируют на
является "нейроном-победителем", и нейроны, подключенные
зашумленные данные и просты в обслуживании. В этом документе объясняется
к нейрону-победителю, также будут двигаться к точке, как показано
использование нейронной сети с прямой связью . Объединение рентгеновских
на рисунке ниже. Расстояние между точкой и нейронами
изображений представляет собой процесс наложения друг на друга
Американский журнал нейронных сетей и приложений, 2019; 5 (1): 7-11
9
вычисляется по евклидову расстоянию, выигрывает нейрон с
сети друг с другом, что, в свою очередь, увеличит
наименьшим расстоянием. В ходе итераций все точки
скорость вычислений. Однако время обработки будет
кластеризуются, и каждый нейрон представляет каждый тип кластера.
зависеть от количества нейронов и их участия в вычислении
результатов.
Нейронная сеть Кохонена используется для распознавания закономерностей в
данных. Ее применение можно найти в медицинском анализе для
разделения данных на различные категории. Карта Кохонена позволила
3. Искусственная нейронная сеть (ANN)
с высокой точностью классифицировать пациентов
с гломерулярными или канальцевыми заболеваниями. Вот подробное
Работа алгоритма
объяснение того, как это классифицируется математически с использованием
алгоритма евклидова расстояния . Ниже приведено изображение, отображающее сравнение
Типичная нейронная сеть содержит от нескольких десятков до
между здоровым и больным клубочком [7].
сотен, тысяч или даже миллионов искусственных нейронов,
называемых блоками, расположенными в несколько слоев, каждый из
2.4. Рекуррентная нейронная сеть (РНН) - длинный короткий срок
которых соединяется со слоями по обе стороны. Некоторые из них, известные как
Память
единицы ввода, предназначены для получения различных форм
информации из внешнего мира, которую сеть будет
Рекуррентная нейронная сеть работает по принципу
пытаться изучить, распознать или иным образом обработать. Другие
сохранения выходных данных слоя и передачи их обратно на вход
блоки находятся на противоположной стороне сети и сигнализируют о том, как
, чтобы помочь в прогнозировании результата работы слоя.
она реагирует на полученную информацию; они известны как
Здесь первый слой формируется аналогично нейронной сети с прямой связью
блоки вывода. Между входными и выходными блоками находятся
один или несколько слоев скрытых блоков, которые вместе составляют
с произведением суммы весов и характеристик. Рекуррентный
большую часть искусственного мозга. Большинство нейронных сетей
процесс нейронной сети запускается после того, как это вычислено,
полностью подключены, что означает, что каждый скрытый блок и каждый
это означает, что от одного временного шага к следующему каждый нейрон
будет запоминать некоторую информацию, которая была у него на предыдущем
выходной блок подключены к каждому блоку в слоях с обеих сторон.
временном шаге. Это заставляет каждый нейрон действовать как ячейка памяти
Связи между одной единицей и другой представлены
при выполнении вычислений. В этом процессе нам нужно позволить
числом, называемым весом, которое может быть либо положительным (если
нейронной сети работать над фронтальным распространением и запомнить,
одна единица возбуждает другую), либо отрицательным (если одна единица
какая информация ей нужна для последующего использования. Здесь, если прогноз
подавляет или ингибирует другую). Чем выше вес, тем большее влияние
неверен, мы используем скорость обучения или исправление ошибок, чтобы
одна единица оказывает на другую. (Это соответствует тому, как фактическое
внести небольшие изменения, чтобы он постепенно работал в направлении
мозга клетки провоцируют друг с другом через крошечные зазоры, которые
называются синапсами [9].
создания правильного прогноза во время обратного распространения.
2.5. Сверточная нейронная сеть
3.1. Построение нейронной сети: Простую нейронную сеть
можно представить так,
Сверточные нейронные сети похожи на нейронные сети с
как показано на рисунке ниже
прямой связью , где нейроны имеют обучаемые веса
и смещения. Его применение было в обработке сигналов и
изображений, которая заменяет OpenCV в области
компьютерного зрения.
ConvNet применяются в таких методах, как обработка
сигналов и методы классификации изображений.
Компьютерное
зрение
в методах преобладают сверточные нейронные сети из-за
их точности классификации изображений. Внедряется техника
анализа и распознавания изображений, при которой данные
о сельском хозяйстве и погоде извлекаются из спутников с
открытым исходным кодом, таких как LSAT, для
прогнозирования будущего роста и урожайности конкретной земли [8].
Рисунок 3. Ввод - Скрытый слой - Вывод.
2.6. Модульная нейронная сеть
Связи между узлами являются наиболее важным открытием в
ANN. Мы вернемся к разделу "Как найти вес каждой
Модульные нейронные сети представляют собой набор различных
связи" после обсуждения общей структуры. Единственные
сетей, работающих независимо и вносящих свой вклад в результат.
известные значения на приведенной выше диаграмме - это
Каждая нейронная сеть имеет набор входных данных, которые
входные данные. Давайте назовем входы как I1, I2 и I3, скрытые состояния
уникальны по сравнению с другими сетями, создающими и
как H1, H2, H3 и H4, выходы как O1 и O2 [7]. Веса связей могут быть
выполняющими подзадачи. Эти сети не взаимодействуют и не
обозначены следующими обозначениями:
сигнализируют друг другу при выполнении поставленных задач. Преимущество
модульной нейронной сети заключается в том, что она
W (I1H1) - вес связи между узлами I1 и H1.
разбивает большой вычислительный процесс на более мелкие
Ниже приведена структура, в которой работают
искусственные нейронные сети (ANN):
компоненты, уменьшая сложность. Эта разбивка поможет уменьшить
количество соединений и сведет на нет их взаимодействие.
10
Мохайминул Ислам et al.:
Обзор нейронной сети
Рисунок 4. Рабочий процесс.
3.2. Несколько статистических сведений о фреймворке
связь между скрытыми узлами и входными узлами
аналогична . Представьте, что это вычисление выполняется несколько
Каждое вычисление связи в искусственной нейронной
раз для каждого наблюдения в обучающем наборе [10].
сети (ANN) аналогично. В общем случае мы предполагаем
сигмоидальную зависимость между входными переменными
4. Обратное распространение
и скоростью активации скрытых узлов или между скрытыми
узлами и скоростью активации выходных узлов. Давайте
Обратное распространение - это метод, используемый в искусственных
подготовим уравнение, чтобы найти скорость активации H1.
нейронных сетях для вычисления градиента, который необходим при
Логит (H1) = W (I1H1) * I1 W (I2H1) * I2 W (I3H1) * I3
вычислении весов, которые будут использоваться в сети. Обратное
распространение - это сокращение от "обратного распространения
Константа = f
ошибок", поскольку ошибка вычисляется на выходе и
= > P (H1) = 1 / (1 e ^ (-f))
распространяется в обратном направлении по уровням сети. Он
обычно используется для обучения глубоких нейронных сетей.
Ниже показано, как выглядит сигмоидальная зависимость:
Обратное распространение - это обобщение дельта-правила на многоуровневые
сети прямой связи, ставшее возможным благодаря использованию правила
цепочки для аллитеративного вычисления градиентов для каждого уровня.
Он тесно связан с алгоритмом Гаусса-Ньютона и является частью продолжающихся
исследований в области нейронного обратного распространения.
Обратное распространение является частным случаем более общего
метода, называемого автоматической дифференцировкой. В контексте
обучения обратное распространение обычно используется алгоритмом
оптимизации градиентного спуска для корректировки веса нейронов
путем вычисления градиента функции потерь [11].
4.1. Концепции ANN и DNN, относящиеся к обратному распространению
Рисунок 5. Сигмоидальная функция".
Вот несколько концепций нейронных сетей, которые важно
знать, прежде чем изучать обратное распространение:
3.3. Весовые коэффициенты повторно откалиброваны
Входные данные
Исходные данные подаются в нейронную сеть с целью
Повторная калибровка весов - простой, но длительный
принятия решения или прогнозирования относительно этих
процесс. Единственные узлы, где мы знаем частоту ошибок, -
данных. Данные разбиваются на двоичные сигналы, чтобы их
это выходные узлы. Повторная калибровка весов на связи
можно было обрабатывать отдельными нейронами - например,
между скрытым узлом и выходным узлом зависит от частоты
изображение вводится в виде отдельных пикселей.
ошибок на выходных узлах. Статистически можно доказать, что:
4.2. Обучающий набор
Ошибка @ H1 = W(H1O1)* Ошибка@ O1 W(H1O2) * Ошибка @ O2
Набор выходов, для которых известны правильные выходы, это
Используя эти ошибки, мы можем повторно откалибровать веса.
Американский журнал нейронных сетей и приложений, 2019; 5(1): 7-11
11
может использоваться для обучения нейронных сетей.
механизмы мозга.
Результаты
Возможно, самым захватывающим аспектом нейронных сетей
Результатом работы нейронной сети может быть
является возможность того, что когда-нибудь могут быть
реальное значение между 0 и 1, логическое значение или
созданы "сознательные" сети. Ряд ученых утверждают, что
дискретное значение (например, идентификатор категории).
осознанность - это "механическое" свойство и что
"сознательные" нейронные сети - реальная возможность [15].
4.3. Функция активации
В будущем, если кто-то захочет продолжить это
исследование, он может выбрать тему здесь. Эта статья представляет
Каждый нейрон принимает часть входных данных и передает их
собой обзор искусственной нейронной сети. Лучше выбрать
через функцию активации. Обычно используемые функции - это
небольшую тему и провести исследование по ней.
сигмовидная функция, tanh и ReLU. Современные функции
активации нормализуют выходные данные до заданного диапазона, чтобы
гарантировать, что модель имеет стабильную сходимость [12].
Список литературы
4.4. Весовое пространство
[1]
Нейронные сети в Тихоокеанской Северо-Западной национальной
Каждому нейрону присваивается числовой вес. Веса, применяемые
к функции активации, определяют выходные данные каждого нейрона. При
ge.html
обучении модели глубокого обучения, цель состоит в том, чтобы определить
Климасаускас, CC. (1989). Нейровычисления 1989 года [2]
веса, которые могут генерировать наиболее точные выходные данные.
Библиография. Хаммерстрем, Д. (1986).
Библиография коннекционистов / нейронных сетей.
4.5. Инициализация
[3]Мурата, С. Йошизава и С. Амари, "Кривые обучения,
Установка весов в начале, до того, как модель
выбор модели и сложность нейронных сетей", в
будет обучена, типичная стратегия в нейронных сетях
Advances in Neural Information Processing Systems 5, С.
заключается в случайной инициализации весов, а затем в начале
Хосе Хэнсон, Дж. Д. Коуэн и К. Ли Джайлс, изд. Сан-Матео,
оптимизации. Оптимизация по Xavier - это еще один подход,
Калифорния: Морган Кауфманн, 1993, стр. 607-614.
который гарантирует, что веса "в самый раз" для обеспечения достаточного
Брэдшоу, Дж. А., Карден, К. Дж., Риордан, Д., 1991. [4]
прохождения сигнала через все уровни сети13.
Экологические приложения с использованием новой экспертной системы
Shellǁ. Сост. Приложение. Biosci. 7, 79-83.
4.6. Прямая передача
[5]
Липпманн Р. П., 1987. Введение в вычисления с
Прямой проход проверяет модель, принимая входные данные, передавая
нейронными сетями. Обращение IEEE. Обработка речевых сигналов. Май,
их через сеть и позволяя каждому нейрону реагировать на часть
апрель: 4-22.
входных данных и, в конечном итоге, генерировать выходные данные.
Мерфи К. П. Машинное обучение: вероятностный взгляд [6] .
Кембридж, Массачусетс: Издательство Массачусетского
4.7. Градиентный спуск
[7]хнологического института, 2012. Хьюбел Х. Д. и Визель Т. Н. " Рецептивные
Математический метод, который изменяет параметры
поля одиночных нейронов в полосатой коре головного мозга кошки". Журнал
функции для перехода от высокого значения функции к низкому
физиологии. Том 148, стр. 574-591, 1959.
значению, просматривая производные функции по
Джаннет Лоуренс, Подготовка данных для нейронной сети [8] ,
каждому из ее параметров и определяя, какой шаг через какой
Специальный отчет по нейронным сетям: публикация Миллера Фримена,
параметр является следующим наилучшим шагом для минимизации
1992.
функции. Применение градиентного спуска к функции ошибки
Джин Былински, Компьютеры, которые учатся на практике, Fortune, [9]
помогает находить веса, которые достигают все меньших значений
6 сентября 1993г. [10] Деннис
ошибки, делая модель постепенно более точной [14].
Коллинз, Создатель мозга: Странный, увлекательный, простой в освоении
Use, California Computer News, июль 1990 г.
5. Заключение
[11] 1993
Читателей
Выбор
Награды
Создатель
Создатель
Профессионал, программное обеспечение: искусственное
мозгов: Интеллект,
Технический
Компьютерный мир может многое извлечь из нейронных сетей.
Анализ акций и сырьевых товаров, бонусный выпуск 1994 года.
Их способность учиться на собственном примере делает их очень
гибкими и мощными. Кроме того, нет необходимости разрабатывать
[12] Карлтон Ф. Фогт-младший, создатель мозга: Это научит ваш компьютер думать.
алгоритм для выполнения конкретной задачи; т. е. Нет
Новости дизайна, 3 декабря 1990 г.
необходимости понимать внутренние механизмы этой задачи. Они
[13] Джон Вестер, искусственный интеллект и реальная жизнь, Computor
также очень хорошо подходят для систем реального времени из-за
Edge, 22 октября 1993г.
их быстрого реагирования на вычислительные затраты, которые
обусловлены их параллельной архитектурой.
[14] Джордж В. Домби и Джаннетт Лоуренс, Анализ белка.
трансмембранные спиральные области с помощью
Нейронные сети также вносят вклад в другие области исследований,
нейронной сети, Наука о белках (1994), 3: 557-566.
такие как неврология и психология. Они регулярно используются для
моделирования частей живых организмов и исследования внутренних органов.
[15] Хенрик
Lundstedt,
Нейронных
Сетей
и
Прогнозы
от
Солнечно-земные эффекты, обсерватория Лунд, Лунд, Швеция, 1990.