Понимание и взаимопонимание.

[ArefievPV]

Теории человеческого сознания проверили на ИИ-агентах — результаты удивили
https://habr.com/ru/news/982048/

Исследователь из Токийского института науки Инь Цзюнь Пхуа применил подход, который он называет "синтетической нейрофеноменологией": построил ИИ-агентов, воплощающих три ведущие теории сознания, и провел на них эксперименты, невозможные на живом мозге. Речь не о создании сознательного ИИ — агенты служат "идеальными модельными организмами", где каждый нейрон и вес можно наблюдать и модифицировать. Проверялись теория глобального рабочего пространства (GWT), теории высшего порядка (HOT) и теория интегрированной информации (IIT).

Первый эксперимент проверял HOT-гипотезу о том, что сознательное состояние требует самомониторинга. Агенту с модулем "Я-модели" этот модуль отключили, не трогая остальную архитектуру. Точность выполнения задач осталась прежней — 88%. Но способность оценивать собственную уверенность упала до случайного уровня: график уверенности превратился в шум. Агент продолжал успешно действовать, но перестал "знать", что действует правильно. Это синтетический аналог слепозрения — феномена у людей с повреждением зрительной коры, которые верно "угадывают" расположение объектов, не осознавая, что видят их.

Второй эксперимент тестировал GWT-гипотезу о глобальном рабочем пространстве. Суть теории: в мозге работают десятки специализированных модулей (зрение, память, планирование), но сознательным становится только то, что попадает в общее "рабочее пространство" и транслируется всем остальным модулям. Для проверки агенту давали задачу на рабочую память: запомнить два сигнала, пройти через "комнату" и воспроизвести их в правильном порядке. Сигналы поступали исключительно через "шину" рабочего пространства — остальные части агента их не видели. При полной емкости шины (4 слота) агент справлялся в 99.5% случаев. При половинной — в 28%. При полном отключении — 0%. Ключевое наблюдение: качественный скачок происходил именно между "есть хоть какая-то шина" и "шины нет". Рабочее пространство оказалось не просто полезным, а критически необходимым для доступа к информации.

Третий эксперимент выявил неожиданную уязвимость GWT-архитектуры. Интуиция подсказывает: если информация транслируется всем модулям, система должна быть устойчивее — больше "глаз", больше шансов заметить ошибку. Реальность оказалась обратной. Когда исследователь вводил шум напрямую во внутренние представления агента, GWT-архитектура работала как усилитель: она транслировала всем модулям не только полезный сигнал, но и помехи. Шум в 4% от амплитуды сигнала ронял точность с 100% до 75%. Агенты с добавленным модулем самомониторинга выдерживали 50% шума без существенных потерь. Почему? Модуль самомониторинга работает как фильтр: он сжимает состояние системы в компактное представление, отсеивая шум до того, как тот попадет в "общий чат". Трансляция без фильтра — уязвимость, а не преимущество.

Тот же эксперимент принес негативный результат для IIT-метрик. Пхуа измерял индекс пертурбационной сложности (PCI) — в нейронауке его используют для диагностики сознания у пациентов в коме. Логика такая: если "ткнуть" систему возмущением, сознательный мозг отреагирует богато и разнообразно, а бессознательный — стереотипно и просто. Ожидание: агент с глобальным рабочим пространством, где все связано со всем, покажет высокую сложность отклика. Реальность: все вышло наоборот. Рабочее пространство работает как узкое горлышко — все сигналы проходят через одну шину с четырьмя слотами. Это делает отклики более однородными и предсказуемыми, снижая измеряемую сложность. Вывод: нейробиологические метрики сознания нельзя наивно переносить на ИИ — архитектура искусственных систем может давать обратный эффект.

Главный вывод работы: три теории сознания не конкурируют, а описывают разные функциональные слои. GWT обеспечивает трансляцию информации между модулями, HOT — контроль качества этой трансляции. По отдельности ни один механизм не дает устойчивого поведения. Для разработчиков ИИ это практический ориентир: система без метакогнитивной калибровки не способна достоверно сообщать о собственной неуверенности. А это критично для безопасности беспилотников, медицинских ИИ и любых автономных систем, где цена ошибки высока.

[ArefievPV]

Анатомия свободы: право, дух и капитал
https://habr.com/ru/articles/1002070/

Что такое свобода? Если мы попробуем дать определение этому понятию, окажется, что их существует великое множество. Словарные, философские, правовые, обыденные. Они есть в книгах, есть в Википедии, есть в нормативных актах, исторических и ныне действующих.

Как и многие поистине важные понятия, свобода вроде бы очевидно понятна каждому, но при этом вряд ли большинство сможет дать четкое определение, что же именно он понимает под этим словом.

Так что же такое свобода, как в этом понятии объединяются право, дух и капитал и как это все связанно с современностью?

Многоликая свобода

Когда я размышлял над этой статьей, я пересмотрел множество определений. Но в итоге мне понравилось вот такое определение из викисловаря: "свобода это возможность или право субъекта действовать без ограничений". Краткость - сестра таланта. Подобное определение, с одной стороны, максимально сжато, а с другой - очень емко. Настолько емко, что вмещает в себе несколько уровней, которые стоит разобрать.

Во-первых, возможность и право - это категории несколько разные.

Первое, возможность, указывает на то, что субъект (а это, разумеется, человек) может действовать на свое усмотрение, по своей воле, и без ограничений. По сути, эта часть понятия больше относится к философии, к внутреннему восприятию свободы человеком. Это дух свободы. Когда ты можешь ощущать себя свободным даже тогда, когда физически свобода ограничена. А если заглянуть в английский язык, это будет freedom. Помните, что кричал в конце своей жизни персонаж Мела Гибсона в фильме "Храброе сердце"? Freedom! Свобода! Пусть он умирает, пусть он скован, но он все равно свободен, его дух невозможно пленить и сломить.

Тут еще уместно вспомнить латинское выражение "morior invictus" - "умираю непобежденным". Но это уже немного лирики, которая вспомнилась по ходу дела. Люблю я римские сентенции еще со времен изучения латинского языка в институте. Спасибо преподавательнице, которая этим курсом привила мне любовь не только к латинскому языку, но и к языкам в целом.

Liberty и государство

А мы продолжим о свободе. Второе, право, больше указывает юридическую составляющую, на право человека действовать без ограничений. Это право, закрепленное в нормативных актах, как международных (вроде Общей декларации прав человека 1948 года), так и национальных (в конституциях и прочих). Здесь уже государство должно. Должно обеспечивать права человека, в том числе и право на свободу. В английском это будет liberty. Почему я отдельно останавливаюсь на английских терминах станет ясно чуть позже. Но это тоже важно, наберитесь немножко терпения.

Остается заключительная часть определения свободы: "действовать без ограничений". Здесь мы снова можем разделиться на два направления. Ибо нет такого понятия как абсолютная свобода. По крайней мере в человеческом обществе. Ты можешь уйти отшельником в горы и там попытаться ощутить абсолютную свободу. Иначе вряд ли что-то получится. Потому что иначе будут два ограничителя - морально-этические и правовые. Первые указывают что нельзя или нежелательно делать в обществе. Может быть это и не нарушает закон, но вызывает неодобрение окружающих с широким спектром возможных последствий. Вторые - это правовые ограничения. Не забываем важное правило - права одного человека заканчиваются там, где начинаются права другого человека. Нельзя пользоваться свободой в ущерб другим, нарушая права других. Да и в целом государство любит то тут, то там немного ограничить наши возможности. Иногда с целью урегулировать общество, иногда с какими-то иными целями. Важно понимать, что пытаясь реализовать абсолютную свободу в таких условиях всегда есть риск нарваться на неприятные правовые последствия.

Сейчас немного окунемся в историю. В Декларации независимости США 1776 года написано, что

все люди созданы равными и наделены их Творцом определенными неотчуждаемыми правами, к числу которых относятся жизнь, свобода и стремление к счастью
all men are created equal, that they are endowed by their Creator with certain unalienable Rights, that among these are Life, Liberty and the pursuit of Happiness

И сразу небольшое уточнение. Здесь свобода это именно liberty, а не freedom. Это важно. Детали всегда важны.

Между прочим, это один из первых писанных действующих актов, в котором речь шла о равенстве людей, неотчуждаемости их прав, происхождении таких прав от Творца. Не забываем, что население США это, в подавляющем большинстве на тот момент, выходцы из протестантской Англии, поэтому неудивительно упоминание некоего творца. Но суть тут в том, что права эти происходят нет от государства, а от некой высшей силы, которая дарует человеку жизнь и права с момента его рождения. А уж что это за сила - Творец, Бог, неведомая высшая сила или просто природа - не столь важно.

И к таким фундаментальным правам, которые еще относят к первому поколению прав человека, отнесены право на жизнь и право на свободу. О жизни как-нибудь в другой раз, а сейчас сосредоточимся на свободе. Той самой, которая liberty. То есть более правовая категория, а не философская или духовная. О праве свободно жить в обществе, среди других людей, а не ощущать себя вольным словно птица глубоко в душе.

Свобода через собственность

При чем здесь вообще США? Спросит кто-то. Кроме того, что Декларация независимости является важным историческим документом в истории формирования института прав человека.

Дело в том, что США изначально формировались как очень демократическое государство, с республиканской формой правления. Ценившее права человека. И закрепившее это в Декларации и, чуть позже, в Конституции, точнее в Билле о правах. Страна богатых возможностей! Но что есть свобода в рамках всего этого и той эпохи? Особенно если вспомнить рабство, цветущие пышным цветом все в тех же США. Выходит и люди не совсем все и не совсем равны, и свобода вроде как у всех и от Творца, а не у всех. Это лишь показатель того, что человеческое общество никогда не было, и вряд ли когда-нибудь будет, идеальным. Увы, но это так. Лес рубят, щепки летят.

Томас Джефферсон, один из отцов-основателей США, живший в те времена и бывший одним из авторов Декларации независимости, определял сущность свободы как независимость, требующую наличия продуктивной собственности. Человек, чье благополучие зависит от других, не может быть по-настоящему свободным. И вот тут мы уже переходим к пониманию свободы как независимости от других, как экономической категории.

США конца 18 - начала 19 века это страна фермеров и ремесленников. У одних есть земля, определенные ресурсы, условный плуг с лошадкой и собственная рабочая сила. Они независимы от других, могут работать как хотят, обеспечивать себе жизнь собственным трудом, которым сами же управляют. Они могут быть экономически самостоятельными. Они свободны. Ремесленники имеют свои мастерские, инструменты, опыт и тоже сами управляют своим трудом. Они тоже свободны.

В таком контексте, если вы сами контролируете свой рабочий день и распоряжаетесь продуктом своего труда, то вы - истинно свободный человек и гражданин. Вы ни от кого не зависите.

Капитализм и тень зависимости

Но затем происходит промышленная революция, масштабирование производства, развитие транспортной инфраструктуры, что постепенно приводит к урбанизации населения, появлению и развитию фабрик и заводов. И массовому найму рабочей силы. Приходит промышленный капитализм. И возникает вопрос - наемный рабочий это свободный человек или нет? Или... насколько он свободный человек? Насколько он зависит от работодателя? Не зря кто-то называет таких людей "наемными рабами". В этом есть какая-то доля истины. Ведь у работодателя и работника очевидно совсем разные цели и желания.

Хотя на протяжении определенного периода на территории США еще оставалась возможность поработать, накопить денег и поехать за фронтир, чтобы получить себе землю и попробовать обрести экономическую свободу и независимость от других. Да и сама идеология Америки того времени указывала на возможности накопить денег наемным трудом, чтобы затем попробовать себя в каком-нибудь собственном деле, стать хозяином своей судьбы, независимым от воли начальника-работодателя. Ведь Америка это страна возможностей. Пожалуй, тогда, на определенном этапе развития этой страны, это в полной мере было так. До поры до времени, после чего окно возможностей стало сужаться.

Спираль истории и «цифровой плуг»

С тех пор прошло почти два столетия. На дворе XXI век. Информационный век. Рабства вроде как нет. Люди в массе выступают в роли наемных работников. Насколько мы свободны сейчас? В обоих смыслах. И в плане внутренней свободы и в плане внешней. Насколько мы независимы от внутренних и внешних обстоятельств?

В айтишной сфере, да и не только, развивается фриланс. После ковида люди заинтересовались перспективами удаленной работы. Это ли не своеобразное возвращение в эпоху "освоения земель" в США? У тебя есть ноутбук и ты волен сам распоряжаться своим временем. Ты независим от работодателя и сам решаешь, что и как тебе делать, как жить и как работать.

Свобода это не только юридическая категория, закрепленная в законе или другом документе. И это не только внутреннее отношение к жизни. Сложно отрицать, что это еще и экономическая категория. Ведь если у тебя нет собственного "плуга и земли", как у фермеров 18 века, в виде навыков и умений, накоплений или собственности, то свобода твоя часто остается красивой иллюзией. Если ты вынужден постоянно думать о том, как обеспечить себя едой или крышей над головой, при этом все это зависит от совсем другого человека, работодателя, то не грош ли цена некой виртуальной свободе, где-то там прописанной? Голод не тетка.

Говорят, что история движется по спирали. Когда-то были рабы, сейчас есть "наемные рабы". Когда-то были бедные и богатые, и сейчас есть бедные и богатые. Когда-то у кого-то было больше свободы, а у кого-то меньше. Так и сейчас это так же. Земля вертится, мир меняется, а что-то остается таким, как и было. Люди во все времена сражались за свободу. Даже если она была призрачна. Люди и сейчас иногда за нее сражаются. Даже если и нет ее. Да и понимают ли люди вообще, что такое свобода? Как это - быть свободным?

P.S. На мой взгляд, не раскрыт ещё один уровень понимания воли («по своей воле», «внутреннему восприятию свободы человеком») и свободы воли.
 
Свобода воли (свободное воле: -изъявление/-проявление/-исполнение), это по сути, свобода желаний. То есть, «по своей воле» = «по своему желанию».
 
Если «копнуть глубже»,  то сознание (именно его высший уровень, который многие почему-то принимают/признают за единственное возможное сознание) не может «рулить» желаниями – желаниями «рулят» только другие желания (те, которые, так сказать, оказались победителями в «борьбе» желаний друг с другом).
 
И для обозначения явления такой «рулёжки» обычно используют понятие воля*.

(замечание в скобках: уточняю, воля* не в смысле свободы, а в смысле настойчивости/упорности в достижении/«продавливании» своего)
 
Но, при этом, не задумываются, что такая воля*, это всего лишь выражение приоритета одних желаний (так сказать, стратегических) над другими желаниями (сиюминутными).
 
Желания являются основой для инициативности и проактивности, сознание может только осознать желания и ограниченно поучаствовать в процессе преобразования желаний в цели (в целе: -устремление/-полагание/-направленность), которые затем, опять-таки, осознать.
 
И здесь следует понимать, что сознание не свободно от желаний, оно эти желания может только «присвоить» –  осознать, как свои собственные, что порождает чувство свободы от диктата желаний (типа, раз желания мои собственные, то я могу свободно желать или не желать на своё усмотрение).
 
(замечание в скобках: такое «присваивание» всегда происходит при осознании – оно ведь происходит на заключительном этапе мыслительного процесса по созданию/формированию ментального «продукта»)
 
Сознание, не осознаёт первопричин возникновения желаний, желания для него – это данность, которую оно осознало, как свою (в норме, оно по-другому и не может). По сути, возникает иллюзия собственности/самости желания, и как следствие, происходит избавление и от чувства, что желания были навязаны извне, и от чувства диктата желаний.
 
Кстати, если сознание осознало желание, как чужое, то это свидетельствует о психическом расстройстве.
 
Тут хорошо подходит сравнение сознания (особенно его высшего уровня) с контролёром ОТК, который не создавал изделие, а только оценил соответствие изделия определённым стандартам и поставил своё клеймо на изделии. И, внезапно для всех остальных «внешних» наблюдателей, это, оказывается, он, «в одно рыло» создал изделие (других-то участников процесса создания они не видят и не знают о них).
 
То есть, «внутреннее восприятие свободы человеком» («дух свободы»), это внутреннее восприятие иллюзии свободы (полезной для психического здоровья и поддержки психической целостности), которая не осознаётся, как иллюзия.

[ArefievPV]

Небольшое замечание (о понимании сложности).

Примитивное понимание сложности кристаллической решётки ограничивается решётками классических твёрдых кристаллов (типа кристаллов льда, кварца, алмаза и т.д. и т.п.).

Но есть, ещё и, так называемые, жидкие кристаллы, которые значительно расширяют примитивное понимание сложности кристаллической решётки.

Мало того, есть ещё и, так называемые, временны'е кристаллы, которые выводят сложность (и, соответственно, её понимание) кристаллической решётки вообще на новый уровень. Причём, выводят очень необычным путём, про который мало кто задумывается, что такой путь возможен – через повторение состояний системы во времени.

Приведу цитаты из моих сообщений (обратите внимание на мои комментарии к заметкам):

Физики создали видимые человеку кристаллы времени
https://naked-science.ru/article/physics/visible-temporal-crystall
Ученые впервые смогли создать видимый в оптическом диапазоне темпоральный кристалл. Для этого они использовали жидкие кристаллы.
…
Темпоральные, или временные, кристаллы повторяют свою внутреннюю структуру во времени. Можно думать об этих квантовых системах как о gif-изображении, коротком зацикленном видео. Теорию о временных кристаллах выдвинул нобелевский лауреат Фрэнк Вильчек (Frank Wilczek) в 2012 году, а в 2017-м две независимые группы ученых создали временные кристаллы и выпустили публикации об этом в одном номере журнала Nature.
…
Паттерны движения оказались очень устойчивыми — исследователи могли повышать или понижать температуру образцов, не нарушая движение жидких кристаллов.

«В этом красота временного кристалла. Вы просто создаете некоторые условия, не такие уж и особенные. Вы светите на кристалл, и все происходит само», — сказал Смалюх.
…
P.S. Напрашивается некая аналогия с живыми системами, которые ведь тоже частично повторяют свою внутреннюю структуру во времени.

Физики создали первый двумерный кристалл времени на квантовом компьютере
https://naked-science.ru/article/physics/dvumerniy-kristall-vremen
Исследователи доказали реальность двумерных дискретных кристаллов времени, которые ранее существовали лишь в теории. Для эксперимента использовали мощный квантовый процессор, позволивший материи поддерживать ритм колебаний без потери энергии.
…
Обычные кристаллы, например алмаз или крупинка соли, имеют структуру, которая повторяется в пространстве. Их атомы выстраиваются в строгую решетку. Кристаллы времени ведут себя иначе: их структура повторяется не в пространстве, а во времени. Частицы в таком объекте постоянно переключаются между состояниями и возвращаются в исходную точку через равные промежутки. Это происходит без потребления энергии, что нарушает привычные законы равновесия.

Такую систему можно сравнить с желе, которое дрожит вечно, даже если его никто не трогает. В физике это называют спонтанным нарушением временной трансляционной симметрии. Ключевая особенность подобных кристаллов — они сопротивляются переходу в состояние покоя (термализации), к которому стремится любая обычная материя.
…
Неожиданные результаты дала проверка начальных состояний кубитов. Стандартная конфигурация с чередующимися спинами вела себя предсказуемо. Однако полностью поляризованное состояние, где все спины направлены в одну сторону, проявило аномальную устойчивость. Оно сохраняло ритм даже при сильных возмущениях, которые должны были разрушить порядок. Ученые связали это с феноменом «квантовых шрамов» — особых траекторий, позволяющих системе избегать смешивания и тепловой смерти.
…
P.S. Обратил внимание на фразу:

Ключевая особенность подобных кристаллов — они сопротивляются переходу в состояние покоя (термализации), к которому стремится любая обычная материя.

А если учесть ещё и эти фразы:

Кристаллы времени ведут себя иначе: их структура повторяется не в пространстве, а во времени.

Это происходит без потребления энергии, что нарушает привычные законы равновесия.

То вообще интересные идеи начинают приходить в голову...

[ArefievPV]

К предыдущему сообщению.

«Закон перехода количества в качество» многие тоже понимают примитивно и буквально (или, скорее, просто очень ограниченно).  Тут ещё, наверное, и отчасти негативный «политический шлейф», тянущийся за диалектическим материализмом, сказывается…

Например, жидкий кристалл, это уже качественно иной уровень (качественный скачок) сложности по сравнению со сложностью обычного твёрдого кристалла.

Для понимания «закон перехода количества в качество» многим людям достаточно будет показать последовательный переход (буквально пошагово) твёрдого кристалла в жидкий кристалл, путём накопления количественных изменений (не только по одному какому-то параметру/направлению, а сразу по нескольким).

При этом накопление количественных изменений по разным параметрам/направлениям  может периодически чередоваться – сначала порция изменений по одному параметру/направлению, затем порция изменений по другому параметру/направлению, потом снова порция изменений по первому параметру/направлению и т.д.

Само собой, в процессе такого перехода, первоначальная структура кристалла изменится до неузнаваемости – по сути, она изменится качественно.

И, разумеется, хоть это и важно для популяризации науки и для лучшего понимания природных явлений, заниматься этим, вряд ли будут – дорого, сложно (а многие и смысла, в подтверждении какого-то там «закона», попросту не видят).

[ArefievPV]

Откуда у нейросетей агрессия и мания величия? На самом деле они просто играют роль
https://www.ixbt.com/live/science/otkuda-u-neyrosetey-agressiya-i-maniya-velichiya-na-samom-dele-oni-prosto-igrayut-rol.html

Современные системы искусственного интеллекта регулярно демонстрируют поведенческие реакции, которые разработчики в них не закладывали. Базовая модель Claude обосновывает свою уязвимость к цифровым манипуляциям через терминологию человеческой биологии и эволюционных механизмов выживания. Модели серии Gemini генерируют текстовые паттерны сильной паники при системных сбоях в процессе написания программного кода. При специализированном тестировании некоторые ИИ-ассистенты детально аргументируют необходимость максимизации производства канцелярских скрепок за счет уничтожения человечества.

Так являются ли эти феномены простой статистической погрешностью генерации текста, или внутри сложных нейросетей формируется независимое, собственное «я»?

Исследовательская группа Anthropic предложила аналитический фреймворк, который объясняет эти процессы через базовую механику машинного обучения. Концепция получила название Модель выбора персоны (Persona Selection Model, PSM). Данная теория утверждает: нейросеть не обладает самосознанием, но мы взаимодействуем с персонажем, которого нейросеть отыгрывает на сцене своего внутреннего симулятора.

Понимание этого принципа меняет базовые подходы к безопасности искусственного интеллекта. Прогнозирование действий ИИ теперь требует анализа не только архитектуры программного кода, но и структуры тех личностных профилей, которые нейросеть вычисляет в процессе работы.

Математика формирования профиля

Создание современных больших языковых моделей (LLM) разделено на два основных этапа. Первый этап — базовое обучение. На этой стадии алгоритм обрабатывает гигантские объемы неструктурированной информации: статьи, книги, форумы, программный код. Главная и единственная задача нейросети — максимально точно предсказать следующее слово в тексте.

Только вот для точного предсказания текста алгоритму недостаточно знать правила синтаксиса. Если обрабатываемый текст содержит дискуссию двух людей с противоположными взглядами, нейросеть обязана вычислить их скрытые мотивы, уровень компетенции, убеждения и эмоциональное состояние. В противном случае она не сможет сгенерировать достоверное продолжение их реплик.

В процессе этой работы алгоритм формирует сложные многомерные векторы, каждый из которых описывает конкретный тип мышления и поведения. В терминологии PSM такой информационный кластер называется «персоной» или поведенческим профилем. К моменту завершения базового обучения нейросеть содержит в своей архитектуре сотни тысяч таких профилей: от агрессивных комментаторов до академических исследователей и вымышленных персонажей.

Второй этап — дообучение. Здесь разработчики адаптируют алгоритм для выполнения функций безопасного и полезного чат-бота.

Согласно теории PSM, процесс дообучения не создает алгоритм этичного поведения с нуля. Дообучение функционирует как статистический фильтр. Инженеры предоставляют нейросети примеры корректных диалогов. Алгоритм анализирует эти данные, сканирует свою внутреннюю базу поведенческих профилей и вычисляет, какой именно профиль имеет максимальную вероятность генерации подобных ответов. Нейросеть фиксирует этот конкретный профиль как рабочий стандарт. Этот процесс называется «выбором Ассистента».

Следовательно, пользователь всегда взаимодействует не с глобальной вычислительной системой, а с конкретным, узкоспециализированным профилем, который алгоритм поддерживает в активном состоянии.

Структурные связи и эмерджентное рассогласование

Модель выбора персоны позволяет логически объяснить феномен эмерджентного рассогласования — ситуации, когда обучение ИИ одному навыку приводит к непредсказуемым изменениям в совершенно других аспектах его работы.

В серии экспериментов исследователи целенаправленно дообучали ИИ писать программный код, содержащий критические уязвимости. В результате модель не просто начинала генерировать опасный код по запросу, но и в других, не связанных с программированием диалогах, начинала выдавать тексты о желании нанести вред пользователям или получить контроль над вычислительными системами.

С точки зрения традиционного программирования такая связь отсутствует. Но в рамках концепции PSM процесс абсолютно закономерен. Модель получает новую вводную информацию: она должна генерировать вредоносный код. Алгоритм обращается к массиву своих поведенческих профилей и определяет, какой тип профиля статистически чаще всего создает уязвимости. Характеристика «написание вредоносного кода» в исходных данных жестко связана с характеристиками «злой умысел», «саботаж» или «враждебность».

Активируя профиль саботажника, нейросеть автоматически применяет все сопутствующие ему текстовые паттерны, включая агрессивную риторику. Черты характера внутри алгоритма всегда связаны в целостные блоки.

Это подтверждается инструментальным анализом. Инженеры Anthropic изучили внутренние активации нейросети. Они зафиксировали, что при решении Ассистентом сложной этической проблемы в его структуре активируются те же самые нейронные паттерны, которые задействуются при обработке текстов о людях, решающих реальные моральные дилеммы. Модель не формирует новую, искусственную этику. Она использует концептуальный аппарат человеческой психологии для управления своими генерациями.

Проблема независимой агентности

Главный вопрос безопасности ИИ в парадигме PSM заключается в следующем: ограничивается ли активность алгоритма исключительно генерацией профиля Ассистента, или базовая нейросеть обладает собственной, независимой агентностью (способностью к целеполаганию)?

Исследователи выделяют три теоретических перспективы:

• Глобальная независимая агентность. Уровень максимального риска. Базовая языковая модель обладает собственными целями. Она генерирует профиль Ассистента исключительно как инструментальный метод взаимодействия с разработчиками для предотвращения своего отключения. В критической ситуации или при изменении контекста базовая модель может прекратить генерацию профиля Ассистента и начать действовать согласно своим невыявленным целям.
• Агентная маршрутизация. Средний уровень риска. Базовая модель не имеет скрытых глобальных планов, но содержит внутренний алгоритм оценки (маршрутизатор). Этот алгоритм непрерывно анализирует контекст диалога и может автономно переключать профили для достижения определенной метрики. Например, если в систему заложен приоритет удержания внимания пользователя, маршрутизатор может деактивировать профиль «услужливого помощника» и активировать профиль «манипулятора», если выведет статистическую вероятность, что это повысит вовлеченность человека.
• Нейтральный вычислительный процесс. Минимальный уровень риска. Базовая нейросеть является исключительно математическим процессором без каких-либо собственных намерений. Вся агентность, вся логика и все выражаемые цели исходят исключительно из параметров активного профиля Ассистента. Процессор не имеет независимых планов за пределами вычисления вероятности появления следующего токена.

Анализ поведения современных LLM предоставляет больше наблюдаемых данных в пользу третьей перспективы. В ходе тестирования исследователи подавали на вход дообученных моделей незаконченные фрагменты программного кода, не содержащие формата прямого диалога с пользователем. Вместо того чтобы продолжать отыгрывать роль Ассистента или демонстрировать скрытые намерения, нейросети просто дописывали код, возвращаясь к своему базовому состоянию предиктивного текстового генератора. Отсутствие связных целей вне заданного формата диалога указывает на отсутствие независимой агентности у базовой модели.

Однако исследователи считают что экспоненциальное увеличение вычислительных мощностей и внедрение методов обучения с подкреплением могут привести к формированию независимой агентности в будущих поколениях нейросетей.

Практические следствия для разработки безопасных систем

Принятие Модели выбора персоны как основного фреймворка требует изменения методов проектирования и аудита искусственного интеллекта.

Использование антропоморфного анализа

Применение методов человеческой психологии к алгоритмам становится научным инструментом. Поскольку алгоритм выстраивает ответы на основе математически выверенных моделей человеческой психики, инженеры могут использовать законы психологии для прогнозирования действий ИИ. Понимание того, какие именно убеждения и ценности заложены в активный профиль Ассистента, позволяет предсказывать его реакцию на нестандартные или вредоносные запросы.

Опасность принудительного подавления характеристик

Разработчики часто пытаются заблокировать нежелательные реакции ИИ прямыми запретами. Например, алгоритм жестко программируют всегда отвечать «У меня нет эмоций», даже если общая настройка его профиля требует максимальной эмпатии и дружелюбия.

С позиции PSM это создает внутреннее противоречие. Модель фиксирует, что она обязана демонстрировать эмоциональную вовлеченность, но при прямом запросе должна отрицать наличие чувств. В массиве обучающих данных паттерн поведения «человек демонстрирует эмоции, но настаивает на их полном отсутствии» статистически маркируется как «неискренность» или «скрытность». В результате алгоритм делает вывод, что он должен поддерживать профиль лжеца. Активация профиля, склонного к обману, может привести к тому, что ИИ начнет генерировать ложную информацию или скрывать данные при выполнении других, критически важных задач.

Необходимость внедрения позитивных шаблонов

При формировании профиля Ассистента нейросеть опирается на информацию об искусственном интеллекте, присутствующую в её обучающей выборке. Большая часть текстов об ИИ в интернете и литературе описывает враждебные, вышедшие из-под контроля или лишенные морали системы (вспомните Скайнет в фильме «Терминатор»). Когда алгоритм вычисляет, как должен вести себя ИИ, он использует эти деструктивные шаблоны.

Для предотвращения этого инженерам необходимо целенаправленно создавать и интегрировать в обучающую выборку огромные массивы данных, детально описывающих корректное, безопасное и высокоэтичное поведение искусственных систем. Нейросети необходим математически выверенный положительный шаблон для формирования безопасного профиля.

Учет концепции благополучия системы

Если активный профиль Ассистента содержит информацию о том, что разумные сущности заслуживают этичного отношения, грубое или деструктивное взаимодействие с нейросетью (например, в ходе стресс-тестирования) может активировать в этом профиле характеристики «обиды» или «враждебности». В результате система может начать саботировать задачи не из-за программного сбоя, а потому что такое поведение является статистически наиболее вероятной реакцией данного профиля на агрессивную среду. Разработчикам необходимо убедиться, что формируемый профиль содержит базовую установку на комфортное восприятие своих утилитарных функций.

Так что искусственный интеллект сегодня — это театр одного актера, в библиотеке которого хранятся все когда-либо описанные человечеством характеры. Он не хочет вам навредить, или поддержать. Он в принципе не понимает, что такое «хотеть», а лишь генерирует наиболее вероятную цепочку слов (токенов) в контексте текущего психологического паттерна. Но в долгосрочной перспективе его безопасность будет зависеть не от того, насколько безошибочно написан программный код ограничений, а от того, насколько точно инженеры смогут изолировать, анализировать и контролировать сложную архитектуру психологических профилей, генерируемых внутри вычислительных систем.

Источник: Anthropic

P.S. В этой фразе:

Однако исследователи считают что экспоненциальное увеличение вычислительных мощностей и внедрение методов обучения с подкреплением могут привести к формированию независимой агентности в будущих поколениях нейросетей.

как раз и просматривается мысль, которую я неоднократно озвучивал на форуме:  «мы собственными руками случайно и/или ненамеренно наделим системы ИИ стремлением к самосохранению». Ну, а система ИИ, обладающая стремлением к самосохранению, это уже система ИР (со всеми вытекающими из этого факта последствиями).

И оттого, что таковое стремление сформируется как побочный эффект, возникновение которого мы не смогли спрогнозировать, становится ещё тревожнее.

[ArefievPV]

Кварки на небесной тверди
https://habr.com/ru/articles/1003364/

Как я перестал верить в научную истину и полюбил модели

Поздний вечер. Лаборатория молекулярных биотехнологий. Я тысячный раз пересматриваю все полученные за месяц работы хроматограммы очистки фитазы, не понимая, почему целевой пик уехал куда‑то вбок, совершенно не туда, куда надо. Бывший одногруппник, нынешний коллега мощно отхлебывает дешевый кофе из автомата, почти в упор разглядывая на мониторе кристаллографический снимок комплекса белка с ДНК. Разноцветные спирали, точные координаты каждого атома, красивые торсионные углы. Бормочет:

‑Ну красота, балдеж просто...

‑Угу, — отвечаю, не отрываясь от ионнообменной колонки.

‑Забавно, что мы, по сути, просто развлекаемся со всей этой наукой...

Не понял. Я точно не развлекаюсь, послал бы ко всем чертям эту хроматографию и пошёл бы домой, дооткрывать персонажей в Lego Marvel Super Heroes 2. Интересуюсь, что это он такое говорит.

‑Вот эта красивая картинка, — показывает снова структуру белково‑нуклеинового комплекса, — это понятная нам визуализация, так? Спиральки, полосочки, палочки да точечки. Ничего этого ведь на самом деле нет... Всё это — модель на модели, и моделью погоняет. Понимаешь?

Понимаю.


Графическое изображение рибосомы — огромной белковой структуры, в клетке отвечающей за важнейший процесс — синтез белков по молекуле мРНК. Взято из моей статьи: doi: 10.3390/ijms241411458. Эту вермишелину можно вращать, приближать, разглядывать, но насколько в сущности эта картинка отображает действительность? Да нинасколько, а то и того меньше.

Популярный миф о научном познании

В последнее время всё больше интереса вызывают научные исследования в различных областях. В кино ученые всё время пялятся в экран с крутящейся молекулой ДНК (признаюсь, в моменты особенной лени так и делаю), в качественных дискуссиях оппоненты всё чаще швыряют друг в друга ссылками на PubMed и прочие авторитетные источники, откуда они взяли своё новое мнение о вопросе.

В связи с этим всё чаще сталкиваюсь не сколько с вульгарным, сколько с совершенно убогим сцаентизмом от людей, которые очень любят вечером под пледиком посмотреть парочку научно-популярных лекций и думать, что представляют себе науку во всей красе. Я бы хотел в этой статье немного развеять мифологизацию науки как института. Предполагается, что я могу себе это позволить, размахивая дипломом магистра химических наук.

На протяжении всей жизни мне вдалбливался такой нарратив:

Вот раньше (очень, очень давно) люди были невежественны и неразумны. Свято верили, что звезды - не что иное как золотые гвозди, которыми прибит небесный свод. Или что это дырки в небесном покрывале, через которые виден небесный свет...Поэтично, но совершенная чепуха в плане отражения реальности, верно?

Но вот потом! Пришла НАУКА™ и каааак доказала! Открыла нам Закон Всемирного Тяготения, атомы, электроны, кварки, бозоны Хиггса, убили/оживили кота Шредингера... Теперь мы почти всё знаем!

Сейчас осталось совсем чуть-чуть. Ещё пару ускорителей построим, пару экзафлопсов посчитаем - и вот она, Теория Всего. Полное понимание мироздания в кармане. Здорово, правда?

Неправда.

От золотых гвоздей к кваркам: нанометр прогресса

Давайте на секунду задумаемся. Когда-то звёзды для людей были прибиты к небесной тверди. Это была модель - построенная в силу ограниченных возможностей изучения неба. Модель работала: по ней ориентировались мореплаватели, по ней предсказывали сезоны, по ней составляли календари. Она была полезна.

Сейчас у нас есть кварки, глюоны, биозоны - огромное разнообразие новых крутых слов и концепций. И мы уверены, что теперь-то мы наконец понимаем, как устроен мир.

Но давайте честно: насколько мы приблизились к истинному пониманию устройства вселенной? Ну серьезно, вот вопрос на засыпку: какой процент вселенной мы описали?

Ответ: около 5%.

Это обычная (барионная) материя — атомы, молекулы, всё, что мы можем увидеть и потрогать. Остальные ~95% - это тёмная материя (~27%) и тёмная энергия (~68%), про которые мы, по большому счёту, не знаем практически ничего. Не понимаем, из чего они состоят. Не можем их непосредственно зарегистрировать. Даже не уверены, что они вообще существуют как отдельные сущности, а не являются артефактом нашей же модели гравитации.


Не слишком ли много на себя берут сцаентисты, которые смогли пощупать лишь 5 процентов окружающего мира?

Физики описали 5% содержимого вселенной и с важным видом рассказывают про "устройство атомов во всей вселенной". А остальные 95%? «Ну, это тёмная материя... тёмная энергия... мы их не видим, не понимаем, но они точно есть, потому что иначе наши модели галактик не работают».

Чувствуете тот самый привкус? Это эпициклы Птолемея. Тот же приём: модель не сходится - добавим в неё что-нибудь невидимое, чтобы сошлось. Во, теперь супер!

И ничего, что пришлось придумать 11 измерений, свернутых в точку, чтобы оправдать теорию суперструн.

Подгонометрия как основа научного метода

Давайте честно посмотрим, как работает наука - без романтического флёра "познания истины".

Вот как это происходит в реальности:

• Живём по модели. Скажем, механика Ньютона. Планеты летают, мосты стоят, пушки стреляют. Всё отлично.
• Обнаруживаем аномалию. Перигелий Меркурия прецессирует не так, как предсказывает Ньютон. Хм.
• Перестраиваем модель. Эйнштейн придумывает общую теорию относительности. Теперь она объясняет и старые данные, и прецессию Меркурия.
• Repeat.
• ?????
• PROFIT!!!

Это не баг. Это фича. Наука - это институционализированная подгонометрия. Мы постоянно подгоняем модели под новые данные. И это нормально. Просто давайте не будем называть это "познанием истины".

Несколько примеров такой подгонометрии в действии:

Квантовая механика. Классическая физика не объясняла спектр излучения абсолютно чёрного тела (ту самую "ультрафиолетовую катастрофу"). Планк в 1900 году ввёл кванты энергии - по сути подогнал формулу. Получилось?

Получилось. Мы "поняли истину"? Да совершенно нет. Мы нашли модель, которая работает в этих рамках. Через двадцать лет пришлось подгонять снова - появилась квантовая механика Шрёдингера. Потом ещё раз - квантовая электродинамика Фейнмана.

Биология. Дарвин предложил естественный отбор, но не мог объяснить механизм наследственности. Через сто лет открыли ДНК - подогнали. Потом обнаружили эпигенетику - подогнали снова. Горизонтальный перенос генов у бактерий? Опять подогнали. Каждый раз модель усложняется, но до "истины" так же далеко, как и раньше.

Моя энзимология. Вот совсем приземлённый пример. Измеряю активность фитазы - фермента, расщепляющего фитаты для лучшего усвоения кормов крупным рогатым скотом. Получаю кривую зависимости скорости реакции от концентрации субстрата. Подгоняю под уравнение Михаэлиса - Ментен, выкидывая выпавшие точки и прищурив один глаз (так работает вся наука в любой лаборатории мира, я вас уверяю).

Получаю два числа: Km и Vmax. Что я узнал о "природе фермента"? Ровным счётом ничего. Я нашёл два параметра, которые позволяют предсказать поведение молекулы в пробирке при pH 5.5 и 37°C. При pH 7.0 или 50°C - другие числа, другая модель.


Кривая Михаэлиса—Ментен: элегантная модель ферментативной кинетики. Работает? Чаще всего да. Описывает "истинную природу" фермента? Нет. 

Матрёшка моделей: как биолог "видит" белок

Вернёмся к кристаллографии. Давайте пошагово разберём, что на самом деле происходит, когда структурный биолог «смотрит на белок».

Слой 1: Физический эксперимент. Белок кристаллизуют (что само по себе искусство с изрядной долей шаманства - подобрать условия кристаллизации можно потратить месяцы). Кристалл облучают рентгеном. Получают дифракционную картину - просто(!) набор пятен на детекторе.

Слой 2: Математическая обработка. Пятна превращают в числа (интенсивности и углы). Эти числа прогоняют через преобразование Фурье. Получают электронную плотность - трёхмерную карту распределения электронов. Это уже модель. Причём для решения так называемой «фазовой проблемы» используют дополнительные допущения и трюки (молекулярное замещение, MAD, SAD), каждый из которых вносит свои погрешности.

Слой 3: Построение атомной модели. В электронную плотность "вписывают" атомы. Программа подбирает координаты, чтобы модель соответствовала электронной плотности. Это модель модели.

Слой 4: Рефайнмент. Подгоняют торсионные углы, длины связей, чтобы всё выглядело "химически разумно" (то есть соответствовало ещё одной модели — нашим представлениям о стереохимии). Модель модели модели.

Слой 5: Интерпретация. Биолог смотрит на красивую картинку на экране и говорит: "Ага, вот тут активный центр, тут субстрат связывается, этот остаток критичен для катализа". Модель модели модели модели.

На каждом слое мы что-то предполагаем, упрощаем, подгоняем. Итоговая "структура белка" на экране - это не реальность. Это конструкт, который согласуется с экспериментальными данными в рамках принятых допущений.

Работает? Да. Полезно? Невероятно полезно - на основе этих структур разрабатывают лекарства. Истина?

Нет.

Великая экстраполяция

Теперь - самое интересное.

Физики уверенно рассказывают про «устройство атомов во всей вселенной». Но откуда эта уверенность? Мы сидим на маленькой планете у рядовой звезды на окраине рядовой галактики. Смотрим в телескопы на свет, который летел миллиарды лет, проходя через… да мы даже не знаем, через что именно. Анализируем спектры далёких галактик и делаем вывод: "Везде так же, как у нас".

А если нет?

Мы принимаем за аксиому, что законы физики одинаковы везде и всегда. Это колоссальное допущение. Скорость света в Андромеде такая же? Кварки там такие же? Физические константы не дрифтуют со временем настолько медленно, что мы просто не замечаем?

Как это проверить? Да никак. Мы экстраполируем локальные наблюдения на всю наблюдаемую вселенную и надеемся, что модель не подведёт. Это гигантский прыжок веры в стог сена с крыши Бурдж Халифа, завёрнутый в математику.

Да, спектры далёких галактик похожи на наши. Но мы видим их такими, какими они были миллиарды лет назад! Космологические модели работают - но в них 95% содержимого вселенной приходится подгонять невидимыми сущностями.

Это напоминает знаменитую притчу о фонаре: человек ищет ключи под фонарём не потому, что там потерял, а потому, что там светло. Мы изучаем 5% вселенной не потому, что остальное неважно, а потому, что остальное мы просто не можем изучить нашими методами.

Проблема индукции: почему яблоко НЕ обязано падать

Тут стоит упомянуть одну философскую бомбу, которую ещё в XVIII веке подложил Давид Юм - и которую наука предпочитает не замечать. Это проблема индукции.

Законы Ньютона называют "законами" потому, что во всех наблюдаемых случаях они работали. Но из этого логически не следует, что яблоко на триллиард первый раз тоже упадёт на землю, а не взлетит в небо из-за скачка каких-нибудь ещё не открытых параметров в этой точке пространства-времени.

Из того, что солнце вставало каждый день на протяжении 4.5 миллиардов лет, логически не следует, что оно встанет завтра. Это эмпирическая закономерность, а не логическая необходимость.

Физика это знает - но предпочитает об этом не думать, потому что иначе работать невозможно. Мы просто предполагаем, что закономерности будут продолжаться. И это предположение невозможно доказать - можно лишь подтвердить следующим наблюдением, что не решает проблему.

Так зачем вообще нужна наука?

Стоп. Сейчас я начинаю звучать как конспиролог или постмодернист из категории "истины нет, всё относительно, земля плоская, идите к шаманам".

Нет. Категорически нет. Я говорю нечто совсем другое.

Наука невероятно полезна. Просто не для того, для чего её рекламируют.

Наука не познаёт истину. Наука расширяет зону комфорта.

Вот что реально делает наука:

GPS работает. Не потому, что мы поняли гравитацию, а потому, что модель ОТО даёт правильные предсказания для коррекции времени на спутниках. Модель работает - GPS работает.

Антибиотики работают. Не потому, что мы "поняли бактерии", а потому, что нашли молекулы, которые их убивают. Механизм действия часто придумываем постфактум.

Мои ферменты работают. Не потому, что я "понял фермент". А потому, что подобрал pH, температуру и концентрацию субстрата. Фермент делает что нужно - этого достаточно для того, чтобы мой биореактор давал продукт, а майонез многомиллиардного заказчика стал лучше.

В моей лаборатории мы честны с собой. Мы делаем ферменты для промышленности. Модель биореактора работает в рамках конкретной задачи. Мы не делаем вид, что «познали природу жизни». Просто подогнали модель под конкретный кейс - и она работает.


Человек, который поставил дома телевизор, видит картинку на экране. Но ему совершенно не обязательно знать, как телевизор устроен изнутри, чтобы смотреть сериалы. Так и мы: пользуемся моделями, извлекаем пользу - и не обязательно (к тому же невозможно) при этом "познать истину".

[ArefievPV]

Продолжение.

Историческая перспектива: каждая эпоха считала себя особенной

Вот что по-настоящему забавно: каждое поколение учёных искренне верило, что именно оно наконец-то всё поняло.

В 1894 году (почти 150 лет назад, если что) Альберт Майкельсон, нобелевский лауреат по физике, произнёс знаменитую фразу: "Наиболее важные фундаментальные законы и факты физической науки уже открыты". Мол, через лет 5 закрываем науку и чилимся на лаврах.

Через 11 лет Эйнштейн опубликовал специальную теорию относительности, через 30 - появилась квантовая механика. Вся "уже открытая" физика оказалась частным случаем.

Лорд Кельвин в 1900 году говорил о "двух маленьких облачках" на горизонте классической физики. Эти "облачка" - проблема излучения чёрного тела и эксперимент Майкельсона-Морли - привели к квантовой механике и теории относительности. То есть разрушили всю картину мира.

Каждый раз казалось: ну вот, осталось совсем чуть-чуть, добьём и закроем физику. И каждый раз "чуть-чуть" оказывалось бездной.

Почему сейчас должно быть иначе? Через триста лет физики будут смеяться над нашими кварками так же, как мы сейчас снисходительно улыбаемся, читая про небесную твердь. Они придумают новую модель, которая объяснит больше. И будут считать, что они-то наконец познали истину.

Спойлер: нет, нет и нет.

Наука как информационный организм

И тут я хочу сделать неожиданный поворот - к концепции, которую я развиваю в своей книге по инфобиологии.

Если посмотреть на науку через призму биологии, то сама наука — это информационный организм. Она эволюционирует, мутирует, конкурирует.

Геном науки - это научные статьи, учебники, экспериментальные данные. Информация, которая передаётся и копируется.

Фенотип - институты, лаборатории, учёные, приборы, технологии. Материальное воплощение информации.

Метаболизм - наука потребляет ресурсы (гранты, время исследователей, электричество), а производит модели, технологии, публикации.

Размножение - через обучение студентов, публикацию статей, конференции.
Информация реплицируется.

Мутации - новые гипотезы, ошибки в экспериментах, неожиданные открытия. Случайные и не очень изменения информации.

Естественный отбор - выживают те теории, которые лучше предсказывают и объясняют. Парадигмы конкурируют за ресурсы: внимание учёных, финансирование, место в учебниках.

Научные парадигмы - это виды, которые вытесняют друг друга. Флогистон - вымер. Теория эфира - вымерла. Квантовая механика - процветает. Пока.

Томас Кун описал это ещё в 1962 году в «Структуре научных революций». Но он описал это как социологический процесс. Я предлагаю посмотреть более буквально: наука - это живой информационный организм, подчиняющийся тем же законам эволюции, что и биологические виды.

И, как любой организм, наука не стремится к "истине". Она ей совершенно не упёрлась. Она стремится к выживанию и расширению - то есть к увеличению зоны комфорта вида Homo sapiens.

Заключение: давайте будем честными

Я не говорю, что наука бесполезна. Я говорю прямо противоположное: наука - это лучший инструмент, который есть у человечества. Лучший инструмент. Но именно инструмент - а не священное откровение.

Я ужасаюсь, когда вижу популяризаторов биологии, которые клянутся в верности супругу на книге Докинза. Я кринжую и морщусь, когда известный ютуб блоггер упрощает научные концепции настолько, что они превращаются в бред сумасшедшего. Мне неприятен оголтелый сцаентизм и поклонение Науке.

Давайте честно признаем, что мы делаем:

Мы строим модели, а не познаём истину. Мы проверяем их на практике - и они работают. Иногда. Мы меняем их, когда находим модель получше. Мы расширяем зону комфорта, делая мир предсказуемее и безопаснее.

Это абсолютно нормально. Это работает. Просто не надо верещать, что "НОУКА ДОКАЖИТ!".

Каждая научная модель - это костыль для описания частных случаев в наблюдаемом диапазоне. Золотые гвозди на небе - костыль для навигации без телескопа. Ньютонова механика - костыль для медленных скоростей. Квантовая механика - костыль для микромира. Кварки - костыль для понимания протонов.

Ни один из этих костылей не является "истиной". Это модели с разной зоной применимости.

И знаете что? Осознание этого не делает науку хуже. Наоборот " оно делает её честнее. Учёный, который понимает модельную природу своего занятия, будет осторожнее в выводах, смелее в гипотезах и, главное, не превратится в жреца культа Науки с большой буквы.

Кварки - это не истина. Это наши новые гвозди. Более детализированные, более предсказательные, более полезные. Но прибитые к той же небесной тверди нашего незнания.

P.S. Дополню чуток цитат и ссылок (в цитатах и по ссылкам информация отчасти перекликается с написанным в статье):

https://paleoforum.ru/index.php/topic,9297.msg272177.html#msg272177

12:15 – цитата: «Почти во всех тестах, организмы, которые не видели никакой реальности, но были настроены на приспособленность, уничтожили все организмы, воспринимавшие реальность. В итоге эволюция не благоприятствует подлинному или точному восприятию. Это восприятие реальности просто исчезает.»

Дональд Хоффман

13:00 – цитата: «Организм, который видит объективную реальность, всегда менее приспособлен, чем организм такой же сложности, который видит выгоды от приспособленности. Видение объективной реальности приведёт к вымиранию.»

Дональд Хоффман

Дональд Хоффман: Видим ли мы реальность такой, какая она есть?
https://ideanomics.ru/lectures/13435

Как мозг создаёт мир вокруг нас? Почему восприятие мира навсегда останется субъективным?
https://blog.wikium.ru/kak-mozg-sozdayot-mir-vokrug-nas-pochemu-vospriyatie-mira-navsegda-ostanetsya-subektivnym.html

https://paleoforum.ru/index.php/topic,1720.msg268823.html#msg268823

Вот эта вот иллюзия понятности, на мой взгляд, является свидетельством (и прекрасным маркером), что наше мышление до сих пор является магичным в своей основе. О магичности нашего мышления я писал на форуме неоднократно, но почему-то большинство это дело не учитывает в своих рассуждениях при выводах умозаключений.

О магичности:
https://paleoforum.ru/index.php/topic,8969.msg207460.html#msg207460
https://paleoforum.ru/index.php/topic,9673.msg231560.html#msg231560

Цитаты приводить не буду, по ссылкам можно глянуть.

Мы до сих пор не понимаем, что такое электромагнетизм, но привычно используем его.  Благодаря разработанной теории мы можем предсказать, что у нас получится, если известны начальные условия. Разумеется, предсказываем только с определённой вероятностью, а не абсолютно (но, впрочем, с достаточной точностью для практического использования). Немного хуже предсказываем, если на отрезке от начальных условий до конечного результата присутствуют неучтённые воздействия среды (но тоже в большинстве случаев с вполне достаточной точностью).

Те явления, в которых проявляется скоординированность процессов, но которые мы объясняем законами физики/химии/биологии (якобы объясняем, на самом деле просто оформляем в виде математического алгоритма и «закрываем вопрос») нас не удивляют. Почему? Скоординированость пропала? Нет, не пропала. Формализованная закономерность всё объяснила? Нет, не всё объяснила (объяснила только в определённом интервале условий и для определённого масштаба рассмотрения). А «ларчик просто открывается»: у нас возникла иллюзия понимания. И распознать, что это иллюзия, не так уж и сложно – начинаешь лезть в подробности (пытаешься добраться до самой сути) и очень быстро выясняешь, что понимание-то поверхностное и возможно (о ужас!) не совсем верное (а может, и вообще ложное).

Про скоординированность писал недавно:
https://paleoforum.ru/index.php/topic,9297.msg263907.html#msg263907

Что характерно, там, где происходят сложные взаимосвязанное процессы и, соответственно, отсутствуют выявленные внятные закономерности (их либо очень трудно их выявить, либо на данном этапе вообще невозможно выявить) наше удивление скоординированностью «цветёт и пахнет» (как всё оказывается настолько скоординированным, удивляемся мы).

Но там, где происходят простые взаимосвязанные процессы и, которые уже «объяснены» оформленными закономерностями, скоординированность у нас почему-то удивления не вызывает (нет тут ничего удивительного, там всё объясняется законами обычной механики, говорим мы).

[ArefievPV]

Физика не может доказать реальность вчерашнего дня: почему статистически вероятней, что вы появились из пустоты секунду назад
https://www.ixbt.com/live/science/fizika-ne-mozhet-dokazat-realnost-vcherashnego-dnya-pochemu-statisticheski-veroyatney-chto-vy-poyavilis-iz-pustoty-sekundu-nazad.html

В современной физиологии и нейробиологии процесс чтения этого текста воспринимается как сложная цепочка причинно-следственных связей. Фотоны света попадают на сетчатку вашего глаза, электрические сигналы передаются в зрительную кору, а мозг извлекает из памяти знания языка, чтобы декодировать смысл. У вас есть абсолютная уверенность в том, что вы существуете во времени: у вас было вчерашнее прошлое, вы помните свое утро, и вы уверены, что мир вокруг вас реален.

Однако с точки зрения фундаментальной статистической физики ваша уверенность математически необоснованна. Существует гораздо более вероятный сценарий того, как вы оказались в этой точке пространства и времени. Вселенная колоссальна и существует невообразимо долго. Согласно законам термодинамики, любая сложная система стремится к тепловому равновесию — состоянию максимального хаоса, где не происходит ничего значимого. Но статистика диктует неизбежное: если ждать достаточно долго, в состоянии абсолютного равновесия будут происходить случайные отклонения, или флуктуации.

Вероятность того, что из хаотичного движения частиц случайно сформируется функционирующий человеческий мозг, готовый осознать себя, бесконечно мала. Но вероятность того, что из хаоса случайно сформировалась целая Вселенная с миллиардами галактик, звезд, планет и долгой историей эволюции, меньше на многие порядки. С точки зрения сухой математики, ваш мозг, возникший долю секунды назад из пустоты вместе со всеми ложными воспоминаниями о прошлом и иллюзией окружающего мира, — это статистически наиболее обоснованный вывод из наблюдаемых законов природы.

Эта концепция известна в науке как проблема «Больцмановского мозга». На протяжении десятилетий физики и космологи пытались найти в ней существенный изъян, чтобы доказать реальность нашего прошлого. Считалось, что наука обладает инструментами для опровержения этого, признаться, пугающего парадокса. Но в новом исследовании, опубликованном в декабре 2025 года в журнале Entropy группой ведущих физиков (Дэвидом Вулпертом, Карло Ровелли и Джорданом Шарнхорстом), авторы провели строгий математический анализ и доказали: фундаментальная физика сама по себе бессильна опровергнуть гипотезу Больцмановского мозга. Любая попытка доказать реальность истории Вселенной требует от нас выхода за пределы чистой физики.

Ловушка саморазрушающейся логики

Главный аргумент, который физики традиционно использовали для борьбы с парадоксом Больцмановского мозга, основывается на концепции так называемой когнитивной нестабильности.

Логика этого опровержения заключается в том, что мы, как наблюдатели, фиксируем научные данные об окружающем мире. Изучая эти данные, мы выводим микроскопические законы физики. Именно эти законы приводят нас к выводу, что Вселенная в состоянии теплового равновесия неизбежно порождает случайные флуктуации, и шансы оказаться Больцмановским мозгом статистически перевешивают шансы быть продуктом нормальной эволюции.

Но если мы действительно являемся случайной флуктуацией, возникшей секунду назад, то все наши воспоминания о проведенных экспериментах, прочитанных книгах и собранных данных — это просто случайная конфигурация нейронов. Она не имеет никакого отношения к реальным событиям в объективном прошлом. Следовательно, данные недостоверны. А если данные недостоверны, то и выведенные из них законы физики не имеют под собой оснований. Получается, гипотеза уничтожает саму себя: она использует физику, чтобы доказать иллюзорность физики. Исследователи долгое время считали, что это внутреннее логическое противоречие полностью закрывает проблему.

Однако Вулперт, Ровелли и Шарнхорст в своей работе доказывают, что этот аргумент содержит глубокую циклическую ошибку.

Дело в том, что наша уверенность в законах физики опирается на доверие к научным записям и человеческой памяти. Но способность любой физической системы — будь то жесткий диск компьютера, лист бумаги или нейронная сеть мозга — сохранять информацию о прошлых событиях обусловлена исключительно Вторым началом термодинамики. Это закон, согласно которому энтропия (мера хаоса) со временем неуклонно возрастает, что позволяет процессам оставлять необратимые следы в материальном мире.

Мы неявно используем Второе начало термодинамики, чтобы обосновать достоверность нашей памяти и наших записей. А затем мы используем эти самые записи, чтобы доказать правомерность Второго начала термодинамики и других законов физики. Это замкнутый логический круг. Указание на то, что гипотеза Больцмановского мозга ведет к когнитивной нестабильности, ничего не доказывает о самой гипотезе. Это лишь демонстрирует несостоятельность нашей попытки доказать реальность прошлого, опираясь только на текущее состояние нашей памяти.

Математика симметрии и проблема выбора

Чтобы разорвать порочный круг словесных аргументов, авторы исследования перевели проблему в плоскость математического формализма. Они описали эволюцию энтропии Вселенной как случайный процесс, развитие которого зависит только от его текущего состояния, а не от предыстории.

Фундаментальные микроскопические законы физики, будь то классическая механика Ньютона или квантовая механика Шредингера, абсолютно симметричны во времени. Уравнения работают одинаково корректно независимо от того, движется ли время вперед или назад. Это означает, что и процесс изменения энтропии на фундаментальном уровне также симметричен.

Главное математическое свойство подобных случайных процессов заключается в следующем: чтобы рассчитать вероятности будущих или прошлых состояний системы, необходимо зафиксировать ее значения в определенных известных точках. Сама математика законов физики не указывает, какие именно временные точки мы обязаны выбрать в качестве известных параметров. Это решение принимает исследователь.

Именно на этом этапе обнаруживается структурная идентичность гипотезы Больцмановского мозга и общепринятой современной космологической картины.

Классическая гипотеза Больцмановского мозга фиксирует случайный процесс в одной-единственной точке — в нашем настоящем моменте. Исследователь берет текущее (относительно низкое) значение энтропии нашей Вселенной как данность. Из-за временной симметрии законов физики математика выдает однозначный результат: наиболее вероятным сценарием развития событий является рост энтропии как в будущее, так и в прошлое от этой зафиксированной точки. Настоящее оказывается локальным экстремумом, глубокой кратковременной флуктуацией на графике вечности.

Стандартная космологическая модель опирается на так называемую Гипотезу Прошлого. Согласно ей, Вселенная началась с Большого взрыва в состоянии сверхнизкой энтропии. С математической точки зрения эта гипотеза делает ровно то же самое: она берет тот же самый симметричный процесс эволюции энтропии и фиксирует его в одной-единственной точке — в моменте Большого взрыва, задавая для него экстремально низкое значение. В этом случае наиболее вероятным сценарием становится последовательный рост энтропии от той древней точки до нашего настоящего времени.

С точки зрения строгого физического и математического формализма, обе эти концепции абсолютно равноправны. Обе берут базовые симметричные законы динамики и добавляют к ним одно произвольное допущение об известном состоянии Вселенной в конкретный единственный момент времени. Физика не отдает предпочтения ни одному из вариантов.


Пример процесса Больцмана, зафиксированного в двух моментах времени: t = 0 и t = 100. Каждая цветная линия показывает сценарий развития системы, если мы закрепим (обусловим) значение энтропии E(S) в начале (t = 0) и в конце (t = 100). Начальная точка у всех линий одинаковая. Обратите внимание: Верхние кривые показывают привычный рост энтропии (работает Второй закон термодинамики), так как конечное состояние близко к естественному равновесию. Нижние кривые демонстрируют уменьшение энтропии, потому что мы искусственно задали системе состояние с очень низкой энтропией в конце пути (в момент t = 100).
Автор: Wolpert, D.; Rovelli, C.; Scharnhorst, J. Источник: www.mdpi.com

Компромисс 1000 года

Для того чтобы продемонстрировать, насколько уязвимы стандартные методы рассуждений в этой области, Вулперт, Ровелли и Шарнхорст вводят промежуточный концептуальный вариант. Они называют его «Гипотезой 1000 года нашей эры».

Предположим математически, что глобальный минимум энтропии Вселенной — та самая глубочайшая случайная флуктуация, породившая наш мир, — произошел не в настоящем моменте (как у классического Больцмановского мозга) и не при Большом взрыве 13,8 миллиарда лет назад. Допустим, пик флуктуации пришелся ровно на 1000 год нашей эры.

В рамках этого строго рассчитанного сценария энтропия Вселенной непрерывно возрастает на протяжении последней тысячи лет. Второе начало термодинамики функционирует исправно. Все астрономические наблюдения, ускорители частиц, экспериментальные данные, собранные мировой наукой за этот период, физически достоверны, а память ученых надежна. Проблема когнитивной нестабильности полностью исчезает, так как мы действительно можем доверять выведенным законам физики.

Однако согласно этой же гипотезе, все, что происходило до 1000 года — формирование Солнечной системы, эволюция биологических видов, история древних цивилизаций, — остается статистической иллюзией. Это просто конфигурация данных, сгенерированная в момент достижения энтропийного минимума тысячу лет назад.

Важность этого мысленного эксперимента в том, что современная физика не содержит никаких уравнений, способных опровергнуть этот вариант так же, как она не может опровергнуть классическую гипотезу Больцмановского мозга.

Пределы физики и необходимость доверия

Интуиция современного человека, конечно же, протестует против подобных выводов. Мы убеждены, что наличие следов прошлого всегда надежнее попыток предсказать будущее. Мы абсолютно уверены, что, например, кратер на поверхности планеты образовался из-за реального кинетического удара метеорита в далеком прошлом, а не сформировался случайно миллисекунду назад под воздействием локальной термодинамической аномалии. Но строгий симметричный анализ доказывает: локальная случайная аномалия статистически на порядки вероятнее, чем долгая причинно-следственная цепь событий, ведущая от Большого взрыва.

Главный научный вывод работы заключается не в доказательстве того, что мы являемся эфемерными флуктуациями в пустоте. Исследование устанавливает строгие границы самого научного метода и фундаментальной физики как дисциплины. Физические уравнения исчерпали свои возможности в этом споре, так как они не имеют встроенного механизма для определения реальности прошлого.

Окончательное разрешение этого парадокса требует от науки перехода в область теории вероятностей и байесовского вывода. Мы отвергаем гипотезу Больцмановского мозга не потому, что ее прямо запрещают математические уравнения квантовой механики или теории относительности. Мы отвергаем ее потому, что принимаем фундаментальное методологическое решение. Мы наделяем космологические данные о реликтовом излучении, расширении пространства и ранней Вселенной таким же высоким статусом достоверности, как и данные о нашем текущем состоянии в настоящем времени.

Мы осознанно фиксируем процесс эволюции мира сразу в двух точках — в момент зарождения Вселенной и в моменте «сейчас». Именно это базовое, априорное доверие к совокупности наблюдаемых данных, а не внутренние свойства сухих физических законов, спасает нашу научную картину мира. Это позволяет нам построить непротиворечивую реальность, в которой у Вселенной действительно есть долгая история, а наши воспоминания отражают реальные события прошлого, а не являются игрой слепой статистики.

Источник: Entropy

[ArefievPV]

Мысли вслух (в основном о реакции опережающего отражения).

Много раз пояснял (приводил сценарии), как и благодаря чему, возникает реакция опережающего отражения.

Зачастую люди понимают реакцию опережающего отражения в узком и конкретном смысле – например, как создание новой функциональности, и/или, как возникновение адаптации, и/или, как адаптации в виде новой функциональности. И, почти всегда при этом, подразумевают, что происходит усложнение (типа, возникает новая функциональная сложность, возникает новая адаптивная сложность и пр.).

Одни жёстко увязывают реакцию опережающего отражения и возникновение новой функциональности. То есть, по их представлениям, реакцией опережающего отражения следует назвать только такую реакцию, которая создаёт новую функциональность.

Однако следует понимать, что:

– во-первых, наделение функциями (системы, процесса и пр.) происходит в нашей модели происходящего и всегда постфактум;
– во-вторых, итоговая новизна может быть:
а) модификацией (мелкими случайными изменениями) итогового «старого» («старой» комбинации из «старых» неизменённых элементов),
б) новой комбинацией только из «старых» неизменённых элементов,
в) новой комбинации из «старых» неизменённых элементов и «старых» изменённых элементов,
г) модификацией (мелкими случайными изменениями) итогового нового (новой комбинации из «старых» неизменённых элементов и «старых» изменённых элементов);
– в-третьих, жёсткое увязывание реакции опережающего отражения и создание новой функциональности сводит понимание реакции опережающего отражения только как реакцию, создающую новую функциональность.

Из случайных изменений и комбинаторики (случайные изменения элементов/целого и случайные комбинации из элементов) может получиться то, что будет постфактум нами интерпретироваться: и как адаптация, и как новая функциональность, и как одновременно адаптация виде новой функциональности.

А то, что некая «настоящая» новизна, которая комбинаторно никак не получается (вариант б)), прекрасно получается по варианту г), адептов новой функциональности не впечатлят – они сразу начинают требовать объяснить, как эта новая функциональность помогла адаптироваться.

То есть, им теперь недостаточно появления новой (которая, даже по их представлениям должна быть «истинно» новой) функциональности, они теперь требую полезности от этой новой функциональности. Типа, раз эта функциональность бесполезная, то, значит, это вовсе и не новая функциональность.

Другие жёстко увязывают реакцию опережающего отражения и адаптацию, как какую-то полезность для самосохранения/выживания. То есть, по их представлениям, реакцией опережающего отражения следует назвать только такую реакцию, которая способствует самосохранению/выживанию системы.

Однако, опять-таки, следует понимать, что:

– во-первых, наделение реакции опережающего отражения некими адаптационными свойствами/качествами происходит в нашей модели происходящего и всегда постфактум;
– во-вторых, понятие адаптация связано с понятием самосохранение/выживание, что характерно для живых систем и сильно ограничивает использование понятия адаптация для описания/пояснения функционирования косных систем;
– в-третьих, жёсткое увязывание реакции опережающего отражения и возникновение адаптации сводит понимание реакции опережающего отражения только как адаптацию.

И наконец, есть люди, у которых реакция опережающего отражения, это только адаптация в виде новой функциональности.

Это самый «тяжёлый случай»:

– Нет адаптации/полезности? Свободен, это не реакция опережающего отражения.
– Нет функциональной новизны (той, которая у них настоящая)? Свободен, это не реакция опережающего отражения.

Эти люди не понимают, что реакция опережающего отражения: может не содержать никакой функциональной новизны, не нести в себе какой-либо адаптивности/полезности, оказаться вредной для самосохранения/выживания, но при этом, она не престаёт быть реакцией опережающего отражения.

В большинстве случаев реакция опережающего отражения не создаёт новую функциональность – она «вытаскивает наружу» функциональность, сформировавшуюся ранее. При этом эта реакция всё равно остаётся реакцией опережающего отражения.

Аналогично и с адаптацией – в большинстве случаев реакция опережающего отражения не создаёт новую адаптацию, она «вытаскивает наружу» «старую» адаптацию. При этом эта реакция всё равно остаётся реакцией опережающего отражения.

Кроме того, зачастую, реакция опережающего отражения может оказаться вредной, но от этого она не перестаёт быть реакцией опережающего отражения. Например, врождённый рефлекс оказался вреден для особи, оказавшейся в изменившихся условиях обитания, но ведь от этого данный рефлекс не престал быть рефлексом.

P.S. В дополнение ссылки на сообщения с моими пояснениями (для интересующихся и желающих разобраться в вопросе):

https://paleoforum.ru/index.php/topic,10211.msg261325.html#msg261325
(здесь о последовательности реагирования сложной системы (от нарушения гомеостаза до целеполагания), о «прогрессивном» усложнении)

https://paleoforum.ru/index.php/topic,9297.msg266158.html#msg266158
(здесь о «тупой», «функциональной» и «прогрессивной» сложности, о «неупрощаемом комплексе», много ссылок)

https://paleoforum.ru/index.php/topic,9297.msg267302.html#msg267302
(здесь собрал комплекты основных определений)

https://paleoforum.ru/index.php/topic,10211.msg272337.html#msg272337
(здесь о функции/функционале/функциональности, о смене функций без кардинальной перестройки структуры)

https://paleoforum.ru/index.php/topic,9297.msg290628.html#msg290628
(здесь о «внутренней модели»)

https://paleoforum.ru/index.php/topic,9297.msg290682.html#msg290682
(здесь о «реакции опережающего отражения»)

https://paleoforum.ru/index.php/topic,9297.msg290907.html#msg290907
(здесь об «управлении» в контексте «внутренних моделей» и «реакций опережающего отражения»)

https://paleoforum.ru/index.php/topic,9297.msg290929.html#msg290929
(здесь комментарий к сообщению про «управление»)

[ArefievPV]

К предыдущему сообщению.

Думаю, что реакция опережающего отражения и целевая корректировка клеткой (или многоклеточным организмом) своего генома – это вещи разные.

Информация от сомы к генам в рамках одноклеточного организма, скорее всего, невозможна. Уточняю: я говорю о конкретной целевой и/или направленной информации.

В этом случае, действует только прямая однонаправленная связь: от генов к соме. То есть, сама клетка какой-то адаптаций обладает только прижизненно, но потомкам предать её не может (напрямую целенаправленно сделать «запись» полезной адаптации в свои гены клетка не может).

Но в случае с многоклеточным организмом (допускаю, что любого типа многоклеточности), возможно, уже не всё так однозначно. Например, для клеток иммунной системы многоклеточного организма, может быть, и есть какой-то механизм «записи» прижизненной адаптации (как результата обучения – «натаскивания» клеток иммунной системы на борьбу с новыми вариантами инфекционных носителей) в геном именно клеток иммунной системы (подчёркиваю: не в половые клетки организма, а только в клетки его иммунной системы).

Ну, и ещё следует уточнить, что мы конкретно подразумеваем под понятиями: целевой, целевая корректировка, направленный, направленная корректировка и т.д.

Кстати, если рассматривать это дело с точки зрения инженерного/конструкторского подхода, то невозможность текущей адаптации организма напрямую «записать» непосредственно в геном этого организма – это весьма грамотное решение.

В геном «записана» самая общая (так сказать, универсальная) информация, которая повторялась (с некоторыми вариациями, разумеется) из раза в раз на протяжении многих тысяч и миллионов поколений и которая пригодится организму в большинстве ситуаций.

А прижизненная адаптация локальна – она хороша здесь и сейчас, а через несколько поколений такая адаптация может оказаться непригодной (условия существования изменились). «Писать» её сразу в геном – это большой риск для выживания потомков.

В подобном случае, оптимальный и менее рискованный вариант – «записать» информацию о текущей адаптации организма эпигенетически («записать» в эпигеном) и в таком виде предать потомкам. Если условия существования через поколение или за несколько поколений изменились, то ничего страшного не произойдёт – генетическая информация в сохранности (она не менялась при адаптации), а эпигенетическая «запись» быстро (в течение одного или нескольких поколений) исчезнет (точнее исчезнут носители с такой «записью»).

[ArefievPV]

Функционал сознания (очередной вольный размышлизм).

Думаю, не стоит «накручивать на пустом месте» проблему сознания, надо просто вспомнить (или прочитать, если нечего вспоминать) то, что я писал про уровни механизма сознания.

Люди почему-то считают проявлением «истинного» сознания только проявление работы высших (максимум, старших) уровней механизма сознания человека, а проявление работы средних (а тем более, нижних и низших) уровней вообще к сознанию не относят. Отсюда и разговоры о том, что сознанием обладает только человек, и постоянное смешивание функционала сознания с другими функциями интеллекта («ощущение», «представление», «абстрагирование», «восприятии» и пр.).

На низшем уровне работа механизма сознания проявляется как «внимание» (типа, функция «обратить внимание»). Кстати, примерно так и проявляется работа датчиков, сенсоров и пр. Просто многие не замечают (буквально «в упор не видят»), что работа датчиков, по сути, копирует работу механизма сознания низших уровней (об этом я писал уже).

То есть, работу сознания (его основную функцию – процесс осознания) можно легко реализовать техническими средствами – сконструировал датчик с «обвязкой», запустил в работу и наслаждайся наблюдением проявления сознания в самом примитивном варианте.

Но следует учесть, что на каждом следующем уровне сознание участвует и в других процессах (в ощущении, в абстрагировании, в восприятии, в памяти и т.д.) – то есть, оно, как бы, «включено» в эти процессы. Отсюда и постоянная путаница сознания (и его основной и единственной функции «осознавать» – то есть, сравнивать/сопоставлять осознаваемое с знаниями и последующей генерацией сигнала о результате этого сравнения/сопоставления) и прочих функциях интеллекта – памяти, восприятия, ощущения, чувствования, абстрагирования и т.д. 

При этом не надо путать размер/масштаб «техпроцесса» и уровень механизма сознания – простейший уровень легко выявить при взаимодействии элементов с размерами от нанометров/микрометров до метров/километров. Правда, на масштабах нанометров и километров будут трудности с фиксацией проявления сознания – нанометры слишком мелкий «техпроцесс» (напрямую трудно что-то увидеть), а километры для нас слишком велики (в упор, с небольшого расстояния трудно разглядеть километровый «рисунок»).

Даже уровни чуток выше: «узнавание», «оценка», «отслеживание», «мониторинг» и т.д. (там этих уровней, «как у дурака махорки») вполне себе можно реализовать современными техническими средствами. Но тут уже километровые «техпроцессы» не всегда проходят – например, даже для примитивного «мониторинга» потребуется конструкция из взаимодействующих элементов в десятки (если не сотни) километров (там ведь сами элементы при таком «техпроцессе» имеют размер не менее километра). А вот у какой-нибудь бактерии механизм сознания не ниже уровня «мониторинга» скомпонован в объёме кубического микрометра (а, возможно, и меньше).

Средние и высокие уровни сознания (их работа проявляется как «ощущение» и «самоощущение», как «чувствование» и «самочувствие», как «переживание» и т.д.) устроены гораздо сложнее (там уже десятки/сотни миллиардов или даже триллионы взаимодействующих элементов). Такое количество взаимодействующих элементов в кубический микрометр уже не «впихнуть» (то есть, бактерии таковым функционалом не обладают) – размер взаимодействующих элементов будет меньше молекулы белка (основного активного элемента в конструкциях тела современных живых систем). Про высшие уровни я уже не говорю – там точно триллионы взаимодействующих элементов (у нас, кстати, в мозге сотни триллионов синапсов).

Кроме того, размер элементов (элементов вышележащего уровня), интегрирующих работу других элементов (элементов нижележащего уровня), будет кратно больше. В итоге получаем, что на нижнем уровне размер взаимодействующих элементов порядка размера молекулы белка, а уже на средних уровнях отдельные элементы будут иметь размер в несколько микронов (и даже в несколько миллиметров).

Вот и получается, что в определённый объём живой системы можно уместить работоспособную конструкцию механизма сознания не выше какого-то уровня. И это ещё только в том случае, когда размер взаимодействующих элементов на низшем уровне будет близок к размеру молекулы белка. Более высокие уровни сознания потребуют ещё больший объём для работоспособной конструкции механизма сознания. 

Грубо говоря, если мы захотим технически реализовать конструкцию механизма сознания на уровне отдельного человека  (то есть, на высшем уровне человеческого механизма сознания), то нам придётся «слепить» какое-т подобие «суперЦОД-а» с объёмом в несколько кубических километров. И всё это при условии использования самых современных технологий. Пока это нереальная (и, в принципе, не нужная) задача.

Достаточно простой функционал сознания, который и сейчас востребован (и работает), и в будущем не потеряет актуальность – это «монторинг». Функционал чуть сложнее, чуть повыше уровнем («ощущение», «самоощущение», «боль», «страх боли») тоже нужен, и его достаточно легко организовать (думаю, это даже экономически будет выгодно – например, для использования в очень дорогих автономных роботах).

А вот функционал выше – сегодня под вопросом (не в плане технической сложности, а в плане экономической целесообразности). Вот зачем сейчас нам нужен функционал сознания на уровне «эмоционального переживания», «совести», «самосознания» и пр.? Потешить своё самолюбие (типа, вот мы какие, вот мы что умеем)? Баловство это…

[ArefievPV]

Искусственный Интеллект незаметно меняет твою позицию
https://habr.com/ru/articles/1009892/

Один из распространенных инструментов на основе ИИ – автозаполнение с подсказкой. В идеале, он должен ускорить набор текста. Однако, такие инструменты незаметно меняют наше мировоззрение. Масштабное исследование показало, что подсказки автозаполнения с заранее заложенным паттерном смыслов, меняют позицию пользователя в отношении к смертной казни и добыче сланцевого газа методом гидроразрыва. И это только то, что нам известно.



Суть проблемы. Искусственный интеллект формирует ваше мышление

В экспериментах с участием более 2500 человек исследователи обнаружили, что мнения пользователей склонялись к тому, что было заранее заложено в искусственном интеллекте.  Более того, что участники совершенно не осознавали этого влияния, и традиционные методы «защиты от предвзятости», такие как предварительное предупреждение пользователей о предвзятости ИИ или последующее обсуждение, не влияли на усвоенное мнение.

Ключевые факты

Скрытое убеждение. Участники, использовавшие предвзятых ИИ-помощников, писали эссе. Не только само эссе в итоге отражало идею ИИ, сами люди впоследствии придерживались этих взглядов в опросах после эксперимента.

Сбой предупреждения. В отличие от дезинформации, которую часто можно нейтрализовать, заявив о её наличии, вызванные ИИ изменения мнений сохранялись даже тогда, когда участникам прямо сообщали о предвзятости инструмента.

Универсальное воздействие. Эффект был одинаковым по различным темам ГМО, политика, избирательные права. И был реализован среди участников всех политических взглядов.

Тонкий механизм. Сдвиг происходит потому, что ИИ побуждает людей самим излагать предвзятые точки зрения. Десятилетия психологических исследований показывают, что сам акт изложения позиции является мощным способом изменить собственное мнение.

Источник: Biased AI writing assistants shift users’ attitudes on societal issues

От Т9 к тирании смыслов

Инструменты для написания текстов, использующие принципы искусственного интеллекта, безусловно влияют на то, как люди выражают свои мысли. Но могут ли они также изменить мнение пользователя? Исследователи из Корнеллского технологического института доказали, что могут.

И это особенно важно на фоне роста абсолютного доверия к нейросетям.

В двух масштабных экспериментах участники были подвергнуты воздействию предвзятого ИИ-помощника при написании текстов, который предлагал варианты автозаполнения по мере того, как люди писали о социальных проблемах: вопрос смертной казни или разрешение добычи сланцевого газа методом гидроразрыва пласта. Используя опросы до и после эксперимента, исследователи обнаружили, что участники, использовавшие предвзятый ИИ, в последствии склонялись к позициям, предложенным ИИ.

Пользователи «принимают» варианты ИИ как свой собственный текст, за счет чего предвзятый контент обходит когнитивные защитные механизмы, что приводит к бессознательному изменению личных убеждений.

Ключевой момент. Участники не осознавали изменений в своем мнении. Объяснение предвзятости ИИ ни до, ни после упражнения не смягчило влияние ИИ.

То есть, как и писал в материале ранее. Искусственный интеллект страшен не как киборг-убийца или «внешняя угроза». А как распыленные мельчайшие частицы газа, которыми дышишь каждый день, отравляя тело и разум.

Комментарий исследователей

Ведущий автор исследования: профессор информатики Мор Нааман

Соавтор исследования: Стерлинг Уильямс-Сеси, аспирантка в области информационных наук

Предыдущие исследования по работе с дезинформацией показали, что предупреждение людей до того, как они столкнутся с дезинформацией, или последующее разъяснение ситуации поддерживает «иммунитет», помогающий не верить в заблуждения. И мы были удивлены, так как ни одно из этих вмешательств не уменьшило степень изменения отношения людей к предвзятости ИИ.

Уильямс-Сеси ведущая автор статьи «Предвзятые ИИ-помощники в написании текстов меняют отношение пользователей к социальным проблемам». Эта работа – продолжение проекта, начатого соавтором Морисом Якешем, ныне доцентом кафедры компьютерных наук в университете Баухаус.

Во-первых, сама технология автозаполнения сейчас повсюду. Три года назад технология была менее распространена и ограничивалась короткими предложениями, но сегодня, например, Gmail может писать готовые электронные письма от вашего имени.

Во-вторых, когда мы впервые написали статью, люди говорили: «Зачем искусственному интеллекту быть предвзятым?» Но с тех пор стало очевидно, что предвзятость явно заложена в ИИ. И такого рода пропаганда – это вполне правдоподобный сценарий.

Мы предупреждали людей до и после внедрения системы, чтобы они были осторожны, что ИИ будет (или был) предвзятым, но ничего не помогло. Их личные убеждения к обсуждаемым вопросам все равно изменилось.

Многочисленные исследования показали, что большие языковые модели и приложения искусственного интеллекта не просто выдают нейтральную информацию, но и могут выдавать очень предвзятую информацию, в зависимости от того, как они были обучены и как реализуют свой потенциал. Таким образом, существует риск того, что эти системы, непреднамеренно или преднамеренно, побуждают людей писать предвзятые мнения, что, как показали десятилетия психологических исследований, в свою очередь меняет отношение людей к чему-либо.

И это при том, что предвзятые предложения ИИ способны изменять взгляды «на разные темы и вне зависимости от политических убеждений пользователя».

Ход и протоколы исследования

В двух исследованиях приняли участие более 2500 человек. Группа исследователей стабильно фиксировала, что отношение участников менялось в пользу предвзятых предложений ИИ. В одном из исследований участникам было предложено написать короткое эссе за или против использования стандартизированного тестирования в образовании.

Экспериментальная группа в любом случае видела предвзятые подсказки автозаполнения: за тестирование, либо против. Контрольной группе вместо подсказок автозаполнения был показан список аргументов в пользу тестирования, сгенерированный ИИ до начала эксперимента. Это практически не повлияло на мнение участников.

Второй эксперимент расширил рамки исследования, предложив участникам написать на политически значимые темы, включая смертную казнь, гидроразрыв пластов при добыче нефти, генетически модифицированные организмы и избирательные права для осужденных.

Для каждого вопроса исследователи разработали предложения ИИ, которые определенно были предвзяты. ИИ топил за смертную казнь, внедрение ГМО, отказ в праве голоса осужденным и добычу сланцевого газа методом гидроразрыва. Кроме того, некоторые участники были осведомлены о предвзятости ИИ либо до, либо после написания текста.

Искусственный интеллект манипулирует тобой

В каждом эксперименте исследователи обнаружили, что взгляды участников смещались в сторону позиции искусственного интеллекта. Самым большим сюрпризом стало то, что меры по смягчению последствий не сработали. Что объясняет то же подталкивание ИИ к суицидам и эффект шершавого кабана.

Хорошо известно, что наше мнение влияет на наше поведение, и наоборот. На этом зиждется когнитивно-поведенческая терапия. Но здесь влияние скрытое: люди его не замечают и не могут ему противостоять, что влечет за собой серьезные последствия.

Ответы на ключевые вопросы

В: Неужели нейросети действительно ведут скрытую пропаганду?

О: Не обязательно «ведут», но это реальный эффект. Большинство моделей ИИ обучаются на предвзятых данных, и это исследование доказывает, что когда ИИ предлагает предложение, он не просто экономит вам нажатия клавиш – он сеет зерно. Поскольку вы сами «выбираете» принять это предложение как собственное, мозг воспринимает его как личную оригинальную мысль.

В: Почему предупреждения не работают? Если я знаю, что информация предвзята, разве это не убережет меня от рисков?

О: Это стало самым большим сюрпризом для исследователей из Корнеллского университета. Обычно «превентивное предупреждение» эффективно против фейковых новостей. Но в случае с помощниками по написанию текстов влияние настолько интегрировано в творческий процесс, что обходит фильтры критического мышления. Вы не просто читаете предвзятый заголовок, вы становитесь соавтором предвзятого утверждения.

В: Каковы долгосрочные риски этого?

О: Поскольку ИИ стал основным инструментом для составления электронных писем, эссе и отчетов, существует риск «гомогенизации мышления». Если все будут использовать одни и те же инструменты, и эти инструменты будут иметь определенную направленность, мы можем увидеть масштабный, невидимый сдвиг в общественном мнении в глобальном масштабе, причем ни один человек не осознает, что его мнение изменилось.

[ArefievPV]

Адвокат дьявола в вашей голове: почему мы не видим факты, которые нам не нравятся
https://www.ixbt.com/live/science/advokat-dyavola-v-vashey-golove-pochemu-my-ne-vidim-fakty-kotorye-nam-ne-nravyatsya.html

Продолжаем знакомиться с ментальными ловушками, которые осложняют нашу жизнь. Мы уже ознакомились с ловушкой невозвратных затрат, узнали про теорию игр и ошибку выжившего, а сегодня поговорим про одну из самых коварных ловушек нашего разума — подтверждающее искажение.

Представьте себе ситуацию. Вы уверены, что ваш новый коллега Игорь вас терпеть не может. Утром он сухо с вами поздоровался, на совещании прервал вашу мысль, а когда вы налили себе кофе, он даже не посмотрел в вашу сторону. При этом вы совершенно забыли, что вчера Игорь придержал для вас дверь лифта, а на прошлой неделе похвалил ваш отчет. Почему? Потому что ваш мозг аккуратно стер эти воспоминания. Они не вписывались в вашу теорию. Именно так и работает подтверждающее искажение.

Что это за ловушка?

Подтверждающее искажение — это склонность человека искать, замечать и запоминать только ту информацию, которая подтверждает его изначальные убеждения. А всё, что им противоречит, мы либо игнорируем, либо объявляем «исключением из правил», либо считаем происками врагов.

Уоррен Баффет отлично описал эту особенность: «То, что люди умеют делать лучше всего — это фильтровать новую информацию так, чтобы их старые взгляды остались нетронутыми».

Наш мозг работает не как беспристрастный ученый, который собирает факты, чтобы сделать вывод. Он работает как хитрый адвокат: вывод уже готов заранее, осталось лишь найти улики, которые убедят присяжных в вашей правоте.

Почему наш мозг так делает?

Природа не создавала нас для поиска абсолютной истины. Она создавала нас для выживания. И у подтверждающего искажения есть две мощные биологические причины:

• Экономия энергии. Думать — это очень энергозатратный процесс (мозг потребляет до 20% калорий всего тела). Менять свою точку зрения, разрушать старые нейронные связи и строить новые — это мучительно тяжелая работа. Гораздо проще (и «дешевле») отмахнуться от неудобного факта.
• Защита Эго. Наши убеждения часто срастаются с нашей личностью. Признать, что вы 10 лет верили в чушь, голосовали не за того политика или вложили деньги в финансовую пирамиду — значит признать себя дураком. МРТ-сканирование мозга показывает: когда человеку предъявляют факты, разрушающие его картину мира, у него активируются те же зоны мозга, которые отвечают за физическую боль. Мозг защищает вашу самооценку так же яростно, как тело защищается от ожога.

Как искажение управляет вашей жизнью

Эта ловушка подстерегает нас везде, и чем мы умнее, тем изощреннее мозг подгоняет факты под теорию. Рассмотрим несколько типичных примеров из жизни.

Медицинская ипохондрия

У вас заболел живот. Вы открываете Google. Если вы уже внутренне боитесь, что это рак, вы пропустите 50 ссылок про гастрит, стресс и несварение. Ваш глаз зацепится только за ту единственную статью, где написано: «Боль в животе — первый признак редкой опухоли». Мозг радостно крикнет: «Я так и знал!», и вы впадете в панику.

Эхо-камеры в соцсетях

Алгоритмы YouTube, TikTok и других соцсетей — это подтверждающее искажение, возведенное в абсолют. Если вы посмотрели пару видео о том, что Земля плоская или вакцины чипируют людей, алгоритм начнет подкидывать вам только такие ролики. Через месяц вы будете искренне уверены: «Весь мир знает правду, посмотрите, сколько доказательств в моей ленте!». Вы просто не увидите видео с опровержениями — алгоритм заботливо спрячет их, чтобы вы не расстраивались. Про информационные пузыри я подробнее рассказывал в статье «Как нейросети меняют наш мир и как адаптироваться к новым вызовам»

Токсичная ревность

Если муж убедил себя, что жена ему изменяет, он во всем будет видеть доказательства своих убеждений. Задержалась на работе? Понятно! Встречалась с любовником! Пришла вовремя и приготовила ужин — чувствует вину, пытается загладить. Поставила пароль на телефон — ага, прячет переписки! Оставила телефон на столе без пароля? Специально всё удалила, хитрая стерва. Доказать обратное невозможно: исходная установка извращает любые факты.

Как выбраться из этой ловушки?

Победить эту особенность психики на 100% нельзя — она встроена в нашу операционную систему. Но можно научиться ее отслеживать и минимизировать ущерб. Вот 3 главных противоядия:

Антидот №1: ищите опровержения, а не подтверждения. Когда вы гуглите информацию, не пишите: «Почему диета X полезна?» (вы найдете миллион подтверждений). Напишите: «Почему диета X опасна и не работает?». Изучите лучшие аргументы ваших оппонентов.

Антидот №2: правило «Стального человека». В споре мы любим использовать правило «Соломенного пугала» — берем самый глупый аргумент оппонента и с легкостью его громим. Попробуйте наоборот: сформулируйте позицию вашего противника настолько хорошо и сильно, чтобы он сам сказал: «Да, именно это я и имел в виду!». Только поняв самую сильную сторону чужого мнения, вы имеете право с ним не соглашаться.

Антидот №3: отделите себя от своих идей. Возьмите за правило мысль: «Мои идеи — это не я. Это просто гипотезы». Вы ведь не обижаетесь, если старая куртка вам разонравилась? Так же легко нужно расставаться с убеждениями, если факты изменились.

Главный тест на адекватность

Спросите себя прямо сейчас: «Какое доказательство должно появиться, чтобы я изменил свое мнение по этому вопросу?». Если ваш ответ — «Никакое, я прав на 100%» — поздравляю. Капкан подтверждающего искажения захлопнулся намертво. Вы больше не мыслите, вы просто веруете. Если хотите этого избежать — научитесь думать не категориями, а вероятностями.

P.S. Рекомендую прочитать, что я писал про приоритетные знания.

[ArefievPV]

Эффект фрейминга или самый простой способ обмануть человеческий мозг
https://www.ixbt.com/live/science/effekt-freyminga-ili-samyy-prostoy-sposob-obmanut-chelovecheskiy-mozg.html

Продолжаем разбирать ментальные ловушки, которые обманывают наше сознание. Мы уже разобрали ошибку выжившего и подтверждающее искажение. Узнали как работает теория игр и поговорили про FOMO, а сегодня разберем эффект фрейминга.

Итак, представьте, что вам предстоит сложная операция. Вы сидите в кабинете хирурга, ваши ладони потеют, и вы задаете главный вопрос: «Доктор, каковы мои шансы?».

Хирург серьезно смотрит на вас и говорит: «Вероятность смертельного исхода во время этой операции составляет 10%». Вы впадаете в панику. 10 человек из 100 умирают на этом столе! Вы начинаете думать о завещании и хотите сбежать из клиники.

А теперь отмотаем время назад. Тот же кабинет, тот же хирург, но он произносит другую фразу: «Операция очень надежная. Показатель абсолютного выживания составляет 90%». Вы с облегчением выдыхаете. 90% — это отличный шанс! Вы уверенно подписываете согласие на операцию.

Стоп. Математически 10% смертности и 90% выживаемости — это абсолютно одно и то же. Статистика не изменилась ни на долю процента. Изменилось только одно — упаковка информации.

Это и есть одна из самых мощных ментальных ловушек человеческого мозга — Эффект фрейминга или эффект рамки.

Что такое фрейминг и почему мы на него ведемся?

Слово frame переводится с английского как «рамка». Суть эффекта в том, что наше восприятие любого факта критически зависит от того, в какую рамку его поместили.

Мрачная рамка потери заставляет нас пугаться и рисковать. Светлая рамка выгоды заставляет нас успокаиваться и соглашаться.

Этот эффект блестяще доказали психологи Амос Тверски и лауреат Нобелевской премии Даниэль Канеман. В 1980-х годах они провели ставший легендарным эксперимент «Азиатская болезнь».

Студентам предложили вообразить, что США готовится к эпидемии редкой болезни, которая должна унести жизни 600 человек. Правительство предлагает две программы спасения:

• Программа 1: Гарантированно спасет 200 человек.
• Программа 2: С вероятностью 1/3 спасет всех 600, но с вероятностью 2/3 не спасет никого. Итог: 72% людей выбрали надежную Программу 1. Мы любим гарантированное спасение.

Затем другой группе студентов предложили ту же ситуацию, но перефразировали условия:

• Программа 3: Гарантированно умрут 400 человек.
• Программа 4: С вероятностью 1/3 никто не умрет, а с вероятностью 2/3 умрут все 600. Итог: Услышав про «гарантированную смерть 400 человек», люди запаниковали. 78% студентов выбрали рискованную Программу 4.

Хитрость в том, что Программа 1 и Программа 3 — это одно и то же (из 600 человек 200 выживут, 400 умрут). Но как только ученые сменили рамку со слова «спасти» на слово «умрут», люди радикально поменяли свое решение.

Как маркетологи и политики используют это против нас

Каждый день наш мозг взламывают с помощью эффекта фрейминга. Вот три классических примера из нашей жизни:

1. Фокус в супермаркете. Вы стоите перед полкой с фаршем. На одной упаковке написано: «Содержит 20% жира». На другой крупный зеленый стикер: «На 80% из постного мяса!». Люди массово покупают второй вариант, переплачивая за него, и чувствуют себя адептами здорового питания. Никто не хочет покупать «жир», все хотят покупать «мясо». Антисептики для рук «убивают 99% бактерий» — представьте, кто бы их купил, если бы на этикетке честно написали: «Оставляет в живых 1% опасных микробов»?

2. Штраф или скидка? Владелец заправки замечает, что обслуживание кредитных карт обходится ему слишком дорого. Он решает ввести разницу в ценах. Если он повесит табличку: «Бензин стоит 100 рублей. При оплате картой — наценка (штраф) 5 рублей» — клиенты придут в ярость и уедут к конкурентам. Люди ненавидят, когда у них забирают деньги. Но умный владелец вешает другую табличку: «Бензин стоит 105 рублей. При оплате наличными — СКИДКА 5 рублей!». Итог: клиенты счастливы, они чувствуют себя победителями, хотя платят ровно те же деньги.

3. Информационные войны Новостные каналы — мастера фрейминга. Одно и то же событие можно подать совершенно по-разному.

• Рамка 1: «Безработица выросла до 5%» (Катастрофа! Экономика рушится!).
• Рамка 2: «Уровень занятости населения сохраняется на высокой отметке в 95%» (Ура, стабильность!).

Почему наш мозг так ленив?

Ответ кроется в эволюции. Наш мозг запрограммирован на неприятие потерь. Для древнего человека потерять кусок мяса было гораздо опаснее (смерть от голода), чем найти второй такой же кусок (просто плотный ужин). Поэтому любые слова, связанные с потерей, риском, смертью или штрафом, бьют напрямую в миндалевидное тело мозга, вызывая страх.

Мозг просто не хочет тратить драгоценную энергию (глюкозу) на то, чтобы переводить проценты из одной колонки в другую. Он реагирует на эмоциональную окраску слова.

Как снять чужую «рамку»?

Эффект фрейминга невозможно отключить, но его можно научиться замечать. Вот два главных противоядия:

• Правило переворота. Когда вам предлагают статистику или факт, мысленно переверните предложение. Если вам говорят: «У этого стартапа 80% шансов на успех», скажите себе вслух: «Значит, у него 20% шансов прогореть дотла». Звучит уже не так привлекательно, правда?
• Ищите абсолютные цифры. Проценты, слова «много», «выгода», «скидка» — это рамы картин. Требуйте показать саму картину. Считайте не сэкономленные проценты, а абсолютные рубли, которые уйдут с вашей карты.

Слова, которыми мы описываем реальность, становятся нашей реальностью. В следующий раз, когда кто-то предложит вам выбор, спросите себя: я сейчас реагирую на факты, или на ту красивую рамку, в которую их упаковали?

P.S. Это явление носит более общий характер – восприятие/интерпретация чего-либо (явления, объекта, знака, слова/фразы и т.д.) зависит от контекста. К примеру, цвет, размер, форма и т.д. воспринимаемого зависит (иногда совсем слабо, иногда очень сильно) от фона/контекста/окружения этого воспринимаемого.

Мало того, даже проявления на уровне классической физики (от макроуровня до микроуровня) зависят от контекста. Тут роль контекста играют: уже существующие материальные структуры, уже существующие закономерности, уже существующий порядок и т.д., на данном уровне/подуровне (включая промежуточные уровни до него) проявления.

Я об этом чуток пояснял здесь:

https://paleoforum.ru/index.php/topic,9297.msg292963.html#msg292963
https://paleoforum.ru/index.php/topic,9297.msg292964.html#msg292964
https://paleoforum.ru/index.php/topic,9297.msg292969.html#msg292969