Решение задач на тему: Диагностический анализ исследования алгоритмов обучения нейронных сетей с учителем

Введение

В последние несколько лет мы наблюдаем взрыв интереса к нейронным сетям <http://www.statsoft.ru/home/textbook/glossary/gloss_n.html>, которые успешно применяются в самых различных областях - бизнесе, медицине, технике, геологии , физике. Нейронные сети вошли в практику везде, где нужно решать задачи прогнозирования, классификации или управления. Такой впечатляющий успех определяется несколькими причинами:

. Богатые возможности. Нейронные сети <http://www.statsoft.ru/home/textbook/glossary/gloss_n.html>- исключительно мощный метод моделирования, позволяющий воспроизводить чрезвычайно сложные зависимости. В частности, нейронные сети нелинейны по свой природе (смысл этого понятия подробно разъясняется далее в этой главе). На протяжение многих лет линейное моделирование <http://www.statsoft.ru/home/textbook/glossary/gloss_l.html> было основным методом моделирования в большинстве областей, поскольку для него хорошо разработаны процедуры оптимизации. В задачах, где линейная аппроксимация неудовлетворительна (а таких достаточно много), линейные модели работают плохо. Кроме того, нейронные сети справляются с "проклятием размерности", которое не позволяет моделировать линейные зависимости в случае большого числа переменных

. Простота в использовании. Нейронные сети учатся на примерах. Пользователь нейронной сети подбирает представительные данные, а затем запускает алгоритм обучения, который автоматически воспринимает структуру данных. При этом от пользователя, конечно, требуется какой-то набор эвристических знаний о том, как следует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты, однако уровень знаний, необходимый для успешного применения нейронных сетей, гораздо скромнее, чем, например, при использовании традиционных методов статистики.

Нейронные сети привлекательны с интуитивной точки зрения, ибо они основаны на примитивной биологической модели нервных систем. В будущем развитие таких нейро-биологических моделей может привести к созданию действительно мыслящих компьютеров. Между тем уже "простые" нейронные сети <http://www.statsoft.ru/home/textbook/glossary/gloss_n.html>, которые строит система SТ Neural Networks , являются мощным оружием в арсенале специалиста по прикладной статистике.

Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга (Patterson, 1996). Основной областью исследований по искусственному интеллекту в 60-е - 80-е годы были экспертные системы. Такие системы основывались на высокоуровневом моделировании процесса мышления (в частности, на представлении, что процесс нашего мышления построен на манипуляциях с символами). Скоро стало ясно, что подобные системы, хотя и могут принести пользу в некоторых областях, не ухватывают некоторые ключевые аспекты человеческого интеллекта. Согласно одной из точек зрения, причина этого состоит в том, что они не в состоянии воспроизвести структуру мозга. Чтобы создать искусственный интеллект, необходимо построить систему с похожей архитектурой.

Мозг состоит из очень большого числа (приблизительно 10,000,000,000) нейронов, соединенных многочисленными связями (в среднем несколько тысяч связей на один нейрон <http://www.statsoft.ru/home/textbook/glossary/gloss_n.html>, однако это число может сильно колебаться). Нейроны - это специальная клетки, способные распространять электрохимические сигналы. Нейрон имеет разветвленную структуру ввода информации (дендриты), ядро и разветвляющийся выход (аксон). Аксоны клетки соединяются с дендритами других клеток с помощью синапсов. При активации нейрон посылает электрохимический сигнал по своему аксону. Через синапсы этот сигнал достигает других нейронов, которые могут в свою очередь активироваться. Нейрон <http://www.statsoft.ru/home/textbook/glossary/gloss_n.html> активируется тогда, когда суммарный уровень сигналов, пришедших в его ядро из дендритов, превысит определенный уровень (порог активации).

Интенсивность сигнала, получаемого нейроном (а следовательно и возможность его активации), сильно зависит от активности синапсов. Каждый синапс имеет протяженность, и специальные химические вещества передают сигнал вдоль него. Один из самых авторитетных исследователей нейросистем, Дональд Хебб, высказал постулат, что обучение заключается в первую очередь в изменениях "силы" синаптических связей. Например, в классическом опыте Павлова, каждый раз непосредственно перед кормлением собаки звонил колокольчик, и собака быстро научилась связывать звонок колокольчика с пищей. Синаптические связи между участками коры головного мозга, ответственными за слух, и слюнными железами усилились, и при возбуждении коры звуком колокольчика у собаки начиналось слюноотделение.

Таким образом, будучи построен из очень большого числа совсем простых элементов (каждый из которых берет взвешенную сумму входных сигналов и в случае, если суммарный вход превышает определенный уровень, передает дальше двоичный сигнал), мозг способен решать чрезвычайно сложные задачи. Разумеется, мы не затронули здесь многих сложных аспектов устройства мозга, однако интересно то, что искусственные нейронные сети <http://www.statsoft.ru/home/textbook/glossary/gloss_n.html> способны достичь замечательных результатов, используя модель, которая ненамного сложнее, чем описанная выше.

Оглавление

- Введение

- Диагностический анализ исследования алгоритмов обучения нейронных сетей с учителем

- Сбор данных для нейронной сети

- 1.2 Препост процессирование

- Обучение многослойного персептрона

- Алгоритм обратного распространения

- Переобучение и обобщение

- Как обучается многослойный персептрон

- Реализация алгоритмов обучения нейронных сетей с учителем Заключение

- Список использованных источников

- Приложение

Список литературы

1. Стюарт Рассел, Питер Норвиг Искусственный интеллект: современный подход (Artificial Intelligence: А Modern Approach). 2-е издание. Вильямс, 2006 г.

. Тархов Д.А. Нейронные сети. Модели и алгоритмы. Радиотехника, 2005 г.

3. Рутковская.Д. Нейронные сети, генетические алгоритмы и нечёткие системы, Горячая линия-Телеком, 2004 г.

. Усков А.А., Кузьмин А.В. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика, Горячая линия-Телеком,2004 г.

5. Иванов А.И. Нейросетевые алгоритмы биометрической идентификации- Радиотехника, 2004 г.

6. С.Хайкин <http://www.ozon.ru/context/detail/id/2476937/?partner=neuroproject>, Нейронные сети: полный курс. 2-е изд. М., "Вильямс", 2006. <http://www.ozon.ru/context/detail/id/2476937/?partner=neuroproject>

7. Л.Г.Комарцова, А.В.Максимов. Нейрокомпьютеры. М., Изд-во МГТУ им. Баумана, 2002 г.

. Круглов, Борисов - Искусственные нейронные сети. Теория и практика, 2002 г.

9. В.А.Головко. Нейронные сети: обучение, организация и применение. М., ИПРЖР, 2001 г. <http://www.ozon.ru/context/detail/id/1307273/?partner=neuroproject>

. В.А.Головко. Нейронные сети: обучение, организация и применение. М., ИПРЖР, 2001 г. <http://www.ozon.ru/context/detail/id/1307273/?partner=neuroproject>