Энтропия, хаос и "сложность"

Физмат, Биология, Психология, разные науки, новейшие открытия, околонаучные беседы

Модератор: Странник34

Аватара пользователя
Андрей
Архитектор
Сообщения: 7344
Зарегистрирован: 06 май 2015, 14:10
Откуда: Чехов
Благодарил (а): 516 раз
Поблагодарили: 462 раза

Энтропия, хаос и "сложность"

Сообщение Андрей »

Михаил 22:47

Насчёт энтропии у многих есть неясности, но я думаю, что ухватил правильное и доходчивое определение

Энтропия системы - это её информационная ёмкость

Грубо говоря, сколько гига- (тера, пета) байт в ней можно сохранить (без компрессии)

Закон же роста энтропии связан с законом неубывания информации. Раз информацию нельзя уничтожить, а новая образуется - то её надо где-то хранить, поэтому нужны новые гигабайты (т.е. энтропия должна возрасти)

А "уменьшение" энтропии в связи с компрессируемостью хранящейся информации - оно лишь потенциальное. Чтобы его реализовать, нужно реально информацию скомпрессировать. А до тех пор, пока это не сделано, она будет храниться в полном виде

Максимально достижимая степень сжатия называется "Колмогоровская сложность", и она в принципе невычислима

Далее, если пересчитать энтропию типичных макроскопических тел (например, куб. см воздуха при нормальной температуре и давлении) на байты - то получатся огромные, гигантские величины, на много порядков превышающие удельную ёмкость сегодняшних носителей информации. Но именно столько информации сохранено в этих телах, мы просто пока не умеем её считывать и записывать. А так это теоретический предел информационной ёмкости. Больше этого в телах данного объема сохранить будет нельзя.

Принципиальная конструкция "считывателя" такой информации, однако, была открыта давно. Это "демон Максвелла".

Также погугли на тему "Обратимые вычисления", хорошо прочищает моск.


Андрей 22:55

А что такое сложность системы?
И связано ли это с энтропией?


Михаил 22:57

Я не знаю универсального определения "сложности", только "Колмогоровской сложности"

Андрей 22:58

что-то связаное с реакциями
чем сложнее система - тем непредсказуемее она себя ведёт


Михаил 22:58

Это слишком туманное определение

Известны простые системы, которые ведут себя чрезвычайно непредсказуемо

Смотри по ключевому слову "Хаос"


Андрей 22:59

Гм. Не знал

Михаил 23:00

Но прямого отношения к энтропии это, на мой взгляд, не имеет, только косвенное

Пример такой простой системы - сдвиговый регистр с обратной связью


Андрей 23:01

как раз ещё не дошёл до этого

Михаил 23:01

Он генерирует весьма-таки "случайную" последовательность.

Андрей 23:02

мне КриоГен говорил что есть простые источники Хаоса, а я не мог понять как?

Михаил 23:02

Ну вот компьютерные датчики случайных чисел - это простой пример

Андрей 23:03

я думал, что для создания Хаоса нужны спец платы типа ГСЧ
серьёзные


Михаил 23:03

Тут ошибка в терминологии. Что есть "хаос"? Надо строго определить понятия

Андрей 23:05

"Думаю, что нет никакого энтропийного барьера. Это фикция. Просто для природы все состояния равноправны. Это для нас упорядоченность на макроуровне означает нечто особое.

Что же до информатики, то там вообще всё хмуро. Мы можем проксорить текстовый файл последовательностью псевдослучайных чисел от какого-нибудь генератора, программа которого умещается в 3 строчки. И мы получим полный хаос. Вопрос: куда делся порядок? На самом деле, беспорядок скорее отражает степень нашего незнания, чем реальную характеристику потока данных."


Михаил 23:06

Всё верно

Но есть одно но

Упорядоченность на макроуровне не только для нас означает нечто особое, но и для природы. Некоторые процессы происходят только при наличии такой упорядоченности

Вплоть до того, что возрастание энтропии в некотором объёме выше определённого предела приведёт к коллапсу этого объёма в чёрную дыру, хотя при этом массы и плотности содержащихся в нём тел будут обычными для нас

Т е никакие не ядерные плотности


Андрей 23:15

Ты имел в виду Хаос - это колмогоровская сложность

Михаил 23:15

Нет

Андрей 23:16

А как определить понятие?

Михаил 23:16

Гугли "задача трёх тел" на предмет хаоса

И ещё "Правило 110"


Андрей 23:18

Я слышал что нейросеть решила задачу трёх тел в миллионы раз быстрее людей

Михаил 23:19

Задача трёх тел давно как бы решена, но решения не соответствуют реальности. Погугли, почему

Есть ещё аналогичные электрические схемы, называется "хаотический осциллятор". Принципиально непредсказуемы на длинных отрезках времени


Андрей 23:21

Понятие хаоса близко к понятию сложности

Михаил 23:22

А как же определяются то и другое?



Андрей 23:23

смотри
есть такое поэтическое определение хаоса


Михаил 23:25

Я физик, я не лирик :)

Нужны точные определения, если мы хотим познавать природу


Андрей 23:26

Некоторые говорят, что хаос в сравнении с порядком — более совершенная степень организации материи — он содержит в себе неограниченное множество зачатков реальностей, явлений, событий, смыслов, виртуально связанных между собой всеми возможными и невозможными способами. Порядок, исходя из этого, кристаллизация лишь одного из вариантов. с человеческой точки зрения эти связи хаоса иногда кажутся невозможными, надуманными, запутанными, неочевидными.

Михаил 23:26

Никакой конкретики, к сожалению

Так вот, насчёт хаоса. Простые системы могут генерировать хаос (большие объёмы трудноинтерпретируемой информации)

Но это не имеет прямого отношения к энтропии (разве что с той точки зрения, что полученную абракадабру надо где-то хранить)


Андрей 23:32

ну примером сложности возможно может выступать нейронная сеть, мы не знаем как она работает
многоуровневая


Михаил 23:33

Ну, не важно. Главное - что это не энтропия. Энтропия - это "ёмкость диска". Не больше, но и не меньше.

Андрей 23:35

понял

Михаил 23:38

Насчёт "заксорить текстовый файл" это хороший пример

Такой файл обычным компрессором не сожмёшь, и его приходится хранить в полном виде. Допустим, для этого требуется 2 дискеты.

А вот если разобраться в природе ксорки, обратить её, а потом зажать файл - то он может влезть и на 1 дискету. Мы уменьшили энтропию


Андрей 23:40

а почему твоя специализация увеличивать энтропию? Обратное же интереснее

Михаил 23:41

Но природа сама по себе не жмёт информацию, и, если мы ей сами не покажем, как можно зажать этот файл - то она будет требовать для его хранения на общих основаниях 2 дискеты

Гыгы, ну, это каламбурчик такой. "Производство энтропии" - это явление, происходящее повсеместно, в том числе, с нашим участием.

В известном смысле, каждый из нас занимается таким производством.


Андрей 23:43

А я читал фантастику, там было написано, что жизнь противодействует энтропии
мы чиним дома
поддерживаем порядок


Михаил 23:43

Локально - противодействует. Глобально - способствует.

Андрей 23:44

можешь объяснить?

Михаил 23:44

"Чтобы что-то одно отчистить, нужно что-то другое запачкать" (c) закон Мерфи

Уменьшая энтропию локально (внутри нас и в ближайшем окружении), мы увеличиваем её глобально (в масштабах Вселенной)


Андрей 23:46

наверное это доказуемо строго из физики?

Михаил 23:46

Конечно

Андрей 23:46

что-то связанное с замкнутыми системами

Михаил 23:47

Неравенство Клаузиуса. Энтропия замкнутой системы не может уменьшаться, а только увеличиваться или сохраняться

Наше тело и наш дом - не замкнутые системы


Андрей 23:47

Да

Михаил 23:48

Ну вот, мы просто перекачиваем энтропию в окружающую среду

В целом суммарно она при этом уж точно не уменьшается (т.к. жизнь не нарушает второго закона термодинамики)

А то и увеличивается (так как мы, делая уборку в доме, используем множество необратимых процессов)

В этом смысле, суммарная энтропия Вселенной вырастет меньше, если ты не будешь делать уборку и лить для этого воду из водопровода и т д

Впрочем, мы во Вселенной с точки зрения энтропии - мелкие букашки

Процессы во Вселенной так сильно увеличивают общую энтропию, как нам и не снилось

Кроме того, Земля - тоже незамкнутая система

Она "сбрасывает" энтропию в виде теплового излучения

А взамен получает "свежую" энергию от Солнца

Так что можно не заморачиваться. Энтропии на наш век хватит.

Ещё что касается масштабов энтропии

Ты слышал такое "реликтовое излучение"?


Андрей 0:04

да, в книгах Головачёва

Михаил 0:07

Ну вот. Излучение образовалось вскоре после Большого взрыва и с тех пор существует

Так вот, суммарная энтропия всех звёзд, планет и вообще всего видимого и подразумеваемого межгалактического вещества, если мне память не изменяет, на 2 порядка меньше энтропии реликтового изоучения

И совсем на убой, энтропия всего реликтового излучения примерно равна энтропии одной сверхмассивной чёрной дыры в одной из галактик (например, нашей)

Так что почти вся энтропия Вселенной на данный момент содержится в чёрных дырах

Но так будет не всегда, дырки испаряются, так что в конце концов термодинамическое равновесие (состояние с максимальной энтропией) во Вселенной будет представлять из себя излучение с близкой к абсолютному нулю температурой при отсутствии твёрдых тел


Андрей 0:16

а тепловая смерть Вселенной это оно?

Михаил 0:17

Да

Но твёрдых тел с размерами более пылинки не останется
Аватара пользователя
BDK
Сообщения: 3665
Зарегистрирован: 17 май 2015, 23:27
Откуда: Беларусь
Благодарил (а): 152 раза
Поблагодарили: 388 раз

Re: Энтропия, хаос и "сложность"

Сообщение BDK »

Хаос это абсолютный ужас. И не нужно думать что в этом есть хоть что-то позитивное. Это настолько ужасно насколько мы не в состоянии представить.

Но есть надежда что мы всё такие ещё не всё знаем про механизмы природы и тепловая смерть вселенной возможно не единственный возможный сценарий.
=====

Насчет хаоса и сложности. Я лично эти вещи скорей противопоставляю а не отождествляю. Сложностью я называю сложную организованность. Хаосом я называю абсолютную бессистемность и неорганизованность. Сложная организованность, сложный порядок - это принципиальное иное нежели хаос. Но они действительно могут быть неотличимы. И я думаю ровно то же можно сказать про вселенную - мы на самом деле не знаем к чему всё придет. Вселенная упрощается или усложняется? Рост энтропии это усложнение? Возникновение жизни и эволюция форм жизни до разумных - это усложнение или упрощение? Это рост или снижение энтропии?