Сколько слоев нейронной сети достаточно на практике.

Программирование, Хакинг, Безопасность, Софт, Железо, а также всё связанное с компьютерами
Аватара пользователя
BDK
Сообщения: 6835
Зарегистрирован: 17 май 2015, 23:27
Откуда: Беларусь
Благодарил (а): 196 раз
Поблагодарили: 1018 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение BDK »

Именно - мозг большой, но много ли в нем сознания и разума? У многих животных мозг не намного меньше. Однако у них нет интеллекта как у человека. Значит интеллект - это всё таки не количество нейронов а какая-то особенная организация этих нейронов.

На самом деле мудрость - это не количество познаний а достижение такого обобщения многочисленных познаний когда все они ужимаются в компактную универсальную формулу. Не количество а качество - вот что такое интеллект.
Аватара пользователя
Странник34
Посвященный
Посвященный
Сообщения: 404
Зарегистрирован: 01 мар 2018, 21:37
Откуда: от туда
Благодарил (а): 4 раза
Поблагодарили: 51 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение Странник34 »

BDK писал(а): Именно - мозг большой, но много ли в нем сознания и разума?
Вот, вот и Савельев тоже говорит об этом. Он говорит, что главная задача мозга как можно меньше думать. Ведь за многие миллионы лет эволюции, человеческий организм привык, что еды всегда не хватает (относительно сытый настоящий период длится сто-двести лет), а мозг при своей малой относительной массе потребляет 25% всего, что поступает в организм. А это очень накладно, так что мозг на полную включается только экстренных случаях.
А если мозг не думает, он получает поощрение в виде эндоморфинов разных.
Так, что мы почти всегда думаем через силу. :)
BDK писал(а): На самом деле мудрость - это не количество познаний а достижение такого обобщения многочисленных познаний когда все они ужимаются в компактную универсальную формулу. Не количество а качество - вот что такое интеллект.
Наверное в том числе и умение обхитрить свой мозг и сделать так, чтобы он все же работал.
Аватара пользователя
BDK
Сообщения: 6835
Зарегистрирован: 17 май 2015, 23:27
Откуда: Беларусь
Благодарил (а): 196 раз
Поблагодарили: 1018 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение BDK »

Мозг - это нагромождение эволюционной истории. Он вовсе не так совершенен как нам кажется. За интеллект в мозгу отвечают лобные доли - они образовались относительно не так давно. Вся же остальная часть мозга - это наследие оставшееся нам еще от животной эволюции и от еще более ранней от червей всяких и простейших.

Машина может быть эффективней нашего мозга в том плане что это может быть чистый интеллект - самая выжимка, только то что надо, без многочисленных атавизмов которые мы в себе несем в нагрузку к интеллекту.
Наверное в том числе и умение обхитрить свой мозг и сделать так, чтобы он все же работал.
Я думаю смысл нашего воплощения в физическое тело - мы учимся им управлять. Овладевать его механизмами и структурами и подчинять своей воле - как душе. Тело это имеет собственные автоматизмы - они стремятся жить по своей воле и не очень то стремятся подчиняться душе. Я думаю успешность жизни души на Земле заключается в том насколько она сумела объездить этого коня.
А если мозг не думает, он получает поощрение в виде эндоморфинов разных
Мне кажется эта теория далека от реалий. На самом деле мозг имеет склонность к лихорадочной постоянной деятельности которую не так то просто остановить. Это видимо имеет невротическую природу.

Мы думаем много думать и много работать это полезно. На самом деле я в своей программистской практике столкнулся с таким явлением - я долгое время был рьяный трудоголик. Я мог месяцами уперто двигаться к желанной цели и кодить тонны программного когда. Постепенно я понял что я увязаю в этих уже гигабайтах программного кода и уже не могу вспомнить как пользоваться процедурами и библиотеками которые написал когда-то. Часто стал ловить себя на том что работая над каким нибудь большим проектом я к его середине забывал то что было написано в начале, а к концу проекта в ужасе понимал что всё с самого начала нужно было делать по другому. Был у меня и период когда много раз переписывал уже почти законченный проект с нуля потому что не видел возможности его продолжить из-за увязании в его сложности. В общем постепенно я пришел к выводу что я тонув КОЛИЧЕСТВЕ потому что мне не хватает КАЧЕСТВА. И тогда я сел и конкретно задумался над тем как оптимизировать мое программирование, как повысить его качество и уменьшить количество. И кое что придумал. Целую теорию. Суть которой кратко можно сформулировать так - простота спасет мир :laugh: Или еще так - маленький код может быть эффективней большого если более продуманно организован. Не количество а организация.
Аватара пользователя
Андрей Карпишин
Архитектор
Сообщения: 9193
Зарегистрирован: 06 май 2015, 14:10
Откуда: Чехов, МО
Благодарил (а): 1214 раз
Поблагодарили: 556 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение Андрей Карпишин »

BDK писал(а): Мне кажется эта теория далека от реалий. На самом деле мозг имеет склонность к лихорадочной постоянной деятельности которую не так то просто остановить. Это видимо имеет невротическую природу.
Да, есть такое мнение. Оно отражено и подробно освещено в трудах буддийского наставника Ч. Трунгпа, в его книгах "Преодоление духовного материализма" и "Миф Свободы и путь медитации". Самое основное для понимания здесь: viewtopic.php?p=11765#p11765
Аватара пользователя
Странник34
Посвященный
Посвященный
Сообщения: 404
Зарегистрирован: 01 мар 2018, 21:37
Откуда: от туда
Благодарил (а): 4 раза
Поблагодарили: 51 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение Странник34 »

BDK писал(а): Мне кажется эта теория далека от реалий. На самом деле мозг имеет склонность к лихорадочной постоянной деятельности которую не так то просто остановить. Это видимо имеет невротическую природу.
Эта теория основана на микробиологических экспериментальных данных.
BDK писал(а): Мы думаем много думать и много работать это полезно. На самом деле я в своей программистской практике столкнулся с таким явлением - я долгое время был рьяный трудоголик.
С этим и я и автор того ролика полностью согласны. Те кто не напрягает свой мозг, тот меньше живет, причина - кровеносные сосуды снабжающие мозг атрофируются.
BDK писал(а): Я мог месяцами уперто двигаться к желанной цели и кодить тонны программного когда. Постепенно я понял что я увязаю в этих уже гигабайтах программного кода и уже не могу вспомнить как пользоваться процедурами и библиотеками которые написал когда-то. Часто стал ловить себя на том что работая над каким нибудь большим проектом я к его середине забывал то что было написано в начале, а к концу проекта в ужасе понимал что всё с самого начала нужно было делать по другому. Был у меня и период когда много раз переписывал уже почти законченный проект с нуля потому что не видел возможности его продолжить из-за увязании в его сложности.
Я тоже так, мы исключение из правил, потому как привыкли с самого детства думать. А вот у своих студентов, и у преподавателей тоже, наблюдаю противоположное. Им большого труда написать простейший цикл типа for k from 1 to N ..., не говоря уже о циклах типа while.
У большинства людей мозг устроен именно так, чтоб лениться.
BDK писал(а): Или еще так - маленький код может быть эффективней большого если более продуманно организован. Не количество а организация.
Да. Я тоже с этим согласен.
Аватара пользователя
Странник34
Посвященный
Посвященный
Сообщения: 404
Зарегистрирован: 01 мар 2018, 21:37
Откуда: от туда
Благодарил (а): 4 раза
Поблагодарили: 51 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение Странник34 »

BDK писал(а): Мозг - это нагромождение эволюционной истории. Он вовсе не так совершенен как нам кажется. За интеллект в мозгу отвечают лобные доли - они образовались относительно не так давно. Вся же остальная часть мозга - это наследие оставшееся нам еще от животной эволюции и от еще более ранней от червей всяких и простейших.
Вот в этом вы безусловно правы. Действительно мозг очень противоречивое образование. Разные его отделы, первоначально служившие для одних задач, в процессе необходимости были перенастроены на другие... и т.д...
В таком случае я вижу главную задачу программы ИИ в том, чтобы исправить матушку природу. Но это конечно же требует большого труда и наверное времени. Но, учитывая так называемую точку сингулярности, все может произойти в течение двух-трех десятилетий. :)
Аватара пользователя
BDK
Сообщения: 6835
Зарегистрирован: 17 май 2015, 23:27
Откуда: Беларусь
Благодарил (а): 196 раз
Поблагодарили: 1018 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение BDK »

BDK писал(а):
Источник цитаты Мне кажется эта теория далека от реалий. На самом деле мозг имеет склонность к лихорадочной постоянной деятельности которую не так то просто остановить. Это видимо имеет невротическую природу.
Эта теория основана на микробиологических экспериментальных данных.
Я думаю мозг сформировался таким чтобы обеспечвать необходимые функции минимальными затратами. То есть да - с одной стороны эволюция стремилась минимизировать затраты, но с другой стороны максимизировать эффективность. Эти направления во многом противоречат друг другу и тянут в разные стороны, поэтому в итоге эволюция находит некий компромисс который более менее удовлетворяет и "ваших и наших". То есть с одной стороны мозг не идет в разнос и не сжигает все ресурсы на свою деятельность, но в то же время и не скатывается до одноклеточного уровня и сохраняет достаточную сложность чтобы быть эффективным.

Но на самом деле эволюция никогда не прекращается и рано или поздно находятся еще лучшие решения. Еще более эффективные при еще большей экономичности. Хотя уже казалось что лучше уже невозможно. А всё потому я думаю что сама природа на фундаментальном уровне основана на некоем сверхкомпактном и сверхэффективном принципе - то есть он существует а значит эволюция будет к нему приближаться все ближе и ближе.
Аватара пользователя
Странник34
Посвященный
Посвященный
Сообщения: 404
Зарегистрирован: 01 мар 2018, 21:37
Откуда: от туда
Благодарил (а): 4 раза
Поблагодарили: 51 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение Странник34 »

BDK писал(а): но в то же время и не скатывается до одноклеточного уровня и сохраняет достаточную сложность чтобы быть эффективным.
Да, но сейчас эволюция мозга человека идет в сторону уменьшения его массы, а значит в конечном счете оглуплению человека. Эта эволюция, вернее деэволюция, есть следствие того, что в социуме не нужны умные люди. В социуме успешны не те кто умен, а те кто ну типа, хитер... :).
Аватара пользователя
BDK
Сообщения: 6835
Зарегистрирован: 17 май 2015, 23:27
Откуда: Беларусь
Благодарил (а): 196 раз
Поблагодарили: 1018 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение BDK »

Это локальная закономерность. В более же длительной перспективе это ведет к гибели общества в целом и выживанию отдельных особей которые смогут пройти обстоятельства которые не прошло общество и эти особи станут продолжателями вида. То есть в более долговременной перспективе побеждают всё таки более умные.

Вообще я моделировал эволюцию на компьютере. Там график прогресса имеет вид кривой изменяющейся скачкообразно, даже немного похоже на пилообразную кривую - то есть может быть довольно длительное локальное движение вниз но потом происходит резкий скачок вверх. Так повторяется раз за разом и на длительном масштабе в целом график движется вверх.

Локальное движение вниз обусловлено тем что упираясь в достигнутый локальный максимум популяция начинает плодить больше экспериментальных особей в попытках поиска обхода препятствия мешающего преодолеть локальный максимум. Большинство этих экспериментальных особей неудачны - 99% и больше. Поэтому по мере того как эти экспериментальные особи плодятся качество популяции в целом снижается. Но в какой-то момент находится очень удачная особь которая преодолевает достигнутый ранее локальный максимум - это приводит к тому что почти вся экспериментальная популяция быстро вырождается за неспособностью конкурировать с новым удачным вариантом, а он в свою очередь быстро размножается постепенно заполняя всю популяцию, и таким образом качество всей популяции быстро вырастает. Вслед за этим следует период когда популяция в целом довольно быстро последовательно улучшается - без особых резких скачков, в основном за счет мелких оптимизаций и адаптаций, пока опять не достигнет некоего предела в который упирается и не может его преодолеть. И затем всё повторяется снова как описано вначале. Эти периоды имеют нерегулярную длительность но тем не менее они повторяются снова и снова.
Аватара пользователя
BDK
Сообщения: 6835
Зарегистрирован: 17 май 2015, 23:27
Откуда: Беларусь
Благодарил (а): 196 раз
Поблагодарили: 1018 раз

Re: Сколько слоев нейронной сети достаточно на практике.

Сообщение BDK »

Я тоже так, мы исключение из правил, потому как привыкли с самого детства думать. А вот у своих студентов, и у преподавателей тоже, наблюдаю противоположное. Им большого труда написать простейший цикл типа for k from 1 to N ..., не говоря уже о циклах типа while.
У большинства людей мозг устроен именно так, чтоб лениться.
Вспоминая себя я понимаю что мне тоже в начале было очень трудно. Но мне повезло - я за счет упертости достиг некоторого успеха который дал мне мощный импульс вознаграждения и стал стимулом для того чтобы я не бросил это дурацкое занятие а продолжил им заниматься уже точно зная что успех в нем возможен. Те кто ленятся думать - просто не имеют успешного опыта и поэтому у них навсегда сформировался стереотип ( а на самом деле глубже чем только стереотип - психологический комплекс) невозможности ничего достичь усилиями в этом направлении - и направление забрасывается а к нему вырабатывается стойкая неприязнь.

Я думаю это связано с эволюционным опытом. У кого эволюционный опыт более длительный - они уже имеют в своем багаже память об успешном результате усилий. И вообще они имеют более сформированную систему приоритетов и ценностей.

Я имею ввиду опыт реинкарнаций.

Вообще всё в итоге приходит с опытом. Если кто-то быстро схватывает и быстро учится - это тоже результат опыта. Учиться тоже можно научиться. Тот кто имеет больше опыта извлекает из него уроки и улавливает как учиться быстрее. Если ребенок учится быстрее и успешней своих сверстников - значит он научился этому в прошлых жизнях.