Закон обратной связи

Любой природный, физический закон основан на принципе обратной связи. Это принцип, который связывает, казалось бы, параллельные, независимые процессы воедино. Например, электрическое и магнитное поле, материю и энергию, движение и покой.

Принято делить обратную связь на два вида: положительную и отрицательную. Что это такое? Представим систему, у которой имеется вход (входы) и выход. Если увеличение значения на входе способствует увеличению значения на входе и наоборот, то такая связь называется положительной. Если же увеличение сигнала на входе способствует уменьшению сигнала на выходе и наоборот, то такая связь называется отрицательной.

Одним из методов машинного обучения (или обучения нейронной сети) является метод обратного распространения градиента. Он заключается в том, что каждый узел сети (нейрон), получив данные, вычисляет не только значение функции, но и её дифференциал. И когда вычислено значение системы на выходе, по найденным частным градиентам вычисляется общий градиент, который показывает, насколько и в какую сторону надо изменить значение каждого параметра сети, чтобы улучшить выходное значение.

Самым интересным является дифференциал умножения. Например, два значения (x и y) перемножаются, получается одно выходное значение функции f(x,y). Дифференциал этой функции по x равен y, а дифференциал по y равен x. Получается перекрестная обратная связь. И если мы будем считать одно значение положительным, а другое — отрицательным, то связь получится наполовину отрицательной, а наполовину — положительной.

То есть для того, чтобы «улучшить» выходное значение, мы должны один вход уменьшить, а другой — увеличить.  Из-за этого в нейронной сети получается ситуация, когда несмотря на то, что собственный частный градиент положительный, нейрон должен уменьшить свой сигнал только из-за того, что вышестоящий градиент имеет отрицательное значение. Как пишет об этом программист Андрей Карпатчи: «И если данный контур хочет внести свой вклад в увеличение конечного выходного значения цепи, ему нужно прислушаться к сигналу градиента, идущего сверху».

Заметьте, что это происходит только в том случае, когда мы делим значения на положительные и отрицательные. Тем самым мы формируем отрицательные обратные связи, которые ведут к конфликту интересов (личных и общественных, например).

Если же мы полностью откажемся от деления явлений на положительные и отрицательные, и будем рассматривать систему целостно, как единый организм, то мы сформируем положительную обратную связь, при которой выигрыш каждого элемента системы означает выигрыш всей системы в целом. Именно такая обратная связь всегда способствует оптимальному развитию системы.

Закон отрицательной обратной связи гласит, что надо во всем ограничивать себя и других, чтобы было хорошо. Но от этого никому и никогда не бывает хорошо. Все следят друг за другом — как бы другой не нарушил запреты и ограничения. Закон положительной обратной связи гласит, что надо любить ближних, как самого себя, и тогда всем будет лучше.