Информация и энтропия

Понятие "информация" давно и успешно используется в физике и других науках. Однако до сих пор у некоторых участников сообщества "Физика" появляются сомнения на эту тему. Например, Хаим Брейтерман  написал комментарий 4 апреля 2014, 09:55 Какую реальность не учитывает физика? Информацию.В формулах физики информации нет, но в действительности она есть и влияет на все процессы, происходящие в природе.Я специально публикую статью о работах Шэннона, в которых эти понятия (информация и физика) были давно и успешно связаны между собой.

Но статья сама по себе интерсена и не утратила актуальности. Цитируемые в тексте классические работы (Бриллюэна, Шэннона и др) работы можно найти по фамилии авторов (в поиске) или пройти по ссылке на публикуемый материал.?

Обсуждая понятие информация, невозможно не затронуть другое смежное понятие – энтропия. Впервые понятия энтропия и информация связал К.Шеннон в 1948 [299]. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. К.Шеннон и его последователи стояли на позициях функционалистов (см. раздел 2.1). Если сигнал на выходе канала связи является точной копией сигнала на входе то, с точки зрения теории информации, это означает отсутствие энтропии. Отсутствие шума означает максимум информации. Взаимосвязь энтропии и информации нашло отражение в формуле:

H + Y = 1,

где Н – энтропия, Y – информация. Этот вывод количественно был обоснован Бриллюэном [41,42].

Для расчета энтропии Шеннон предложил уравнение, напоминающее классическое выражение энтропии, найденное Больцманом.

H = ?Pi log2 1/Pi = -?Pi log2 Pi,

где Н – энтропия Шеннона, Pi - вероятность некоторого события.

Назвав свою функцию энтропией, Шеннон, тем не менее, предостерегал последователей от чрезмерного расширения области применения этого понятия. Более подробно о теории информации можно прочитать в специальной литературе [126, 127]. Попытаемся разобраться, что такое энтропия Шеннона и как она относится к термодинамическому понятию энтропии Клаузиуса и Больцмана.

Впервые понятие энтропии было введено Клаузиусом в 1865 г. как функция термодинамического состояния системы [230]. Эта функция имеет вид S = Q/T (Q – теплота, T - температура). Классики не связывали энтропию с информацией.

Анализ этой функции показал, что физический смысл энтропии проявляется, как часть внутренней энергии системы, которая не может быть превращена в работу. Клаузиус эмпирически получил эту функцию, экспериментируя с газами.

Л.Больцман (1872г.) методами статистической физики вывел теоретическое выражение энтропии S = K lnW , где К – константа; W – термодинамическая вероятность (количество перестановок молекул идеального газа, не влияющее на макросостояние системы). Энтропия Больцмана выведена для идеального газа и трактуется как мера беспорядка, мера хаоса системы. Для идеального газа энтропии Больцмана и Клаузиуса тождественны [230], поэтому и эмпирическая функция Клаузиуса стала объясняться как мера вероятности состояния молекулярной системы.

Формула Больцмана стала настолько знаменитой, что начертана в качестве эпитафии на его могиле. Сложилось мнение, что энтропия и беспорядок есть одно и тоже [199]. Несмотря на то, что энтропия описывает очень узкий класс объектов Мира (идеальные газы), ее не критично стали привлекать для описания более сложных объектов.

Сам Больцман в 1886г. попытался с помощью энтропии объяснить, что такое жизнь. По мнению Больцмана, жизнь это явление, способное уменьшать свою энтропию. «Всеобщая борьба за существование это борьба против энтропии» [137]. Согласно Больцману и его последователям, все процессы во Вселенной изменяются в направлении хаоса. Вселенная идет к тепловой смерти. Этот мрачный прогноз долго господствовал в науке. Однако углубление знаний об окружающем Мире постепенно расшатали эту догму.

Антитезой Больцману выступали эволюционисты. В частности Ч.Дарвин показал, что процессы жизни не только не деградируют, но все время усложняются [76, 70]. И если прав Больцман, то почему мы до сих пор еще живем [119,120].

Первая половина XX века принесла человечеству модель рождения и эволюции Вселенной, где над деструктивными процессами преобладали процессы самоорганизации материи. Вселенная всегда самоусложнялась и этот процесс, начавшийся 15-20 млрд. лет назад, продолжается до сих пор [273]. Таким образом, считается, что в природе существуют два перехода порядок>хаос и его противоположность хаос>порядок. В изолированных системах (но не всегда [305, 306]) идет процесс перевода порядка в хаос. В открытых системах, через которые проходят созидательные потоки энергии, могут идти процессы самоорганизации и на фоне хаоса рождается порядок. Существует и альтернативное мнение утверждающее, что порядок рождается только из предшествующего порядка [82].

Больцман упростил Мир до предела, представив его идеальным газом, не учитывая того, что все молекулы обладают своей внутренней структурой, взаимодействуют друг с другом, находятся в поле тяжести, совершают колебательные движения и т.д.

В расширяющейся Вселенной наблюдается тенденция не к выравниванию градиентов и потенциалов, а к расслоению. Из однородного первичного гелий-водородного облака путем гравитационного сжатия стали образовываться плотные сгустки материи: звезды, планеты. Вселенная становилась неоднородной, как по плотности, так и по температуре. Химический состав ее усложнялся. Кроме простых атомов водорода и гелия возникли в недрах звезд все элементы таблицы Менделеева. Появилась жизнь. Разве это деградация?

Когда говорят о неоднородности какой – либо среды, имеют в виду то, что в каждой единице объема содержится одинаковое количество каких-либо элементов. Считается, что газ - это однородная среда, если рассматривать 1см объема. Но если рассматривать и сравнивать микрообъемы, соизмеримые с размерами молекул, то окажется, что среда очень неоднородная. В одной такой единице объема может находиться одна молекула, а в другой - ни одной. Вселенная однородна в мегамасштабах, но в размерах галактик очень неоднородна.

Как совместить рост энтропии при понижении температуры Вселенной (S=Q/T) c нарисованной картиной усложнения. Надо думать, что в погоне за математической простотой Больцман так упростил модель своего исследования, что область применения выводов осталась справедливой только в изолированных системах (для идеальных газов