Возможно, мы проиграли | ALI
Человечество очень близко подобралось к потенциальной черте, которую многие исследователи искусственного интеллекта называют "технологическая сингулярность". Пересечение этого рубежа связывают с появлением на планете сверхинтеллектуального агента, действия которого для нас будут невычислимы. В основу ролика легла статья Элиезера Юдковского "Искусственный интеллект как позитивный и негативный фактор глобального риска."
00:00 – Грядущая технологическая Сингулярность.
03:00 – Последние новости ИИ.
07:30 – Элиезер Юдковский.
08:26 – Типы искусственного интеллекта.
13:15 – Антропоморфизация.
16:45 – Мысленный эксперимент.
20:30 – Чёрный ящик.
21:40 – Проблема согласования ИИ.
32:25 – Инструментальные цели сверхинтеллекта.
34:25 – Чем люди отличаются от машин?
38:30 – Стремление ИИ к власти.
39:45 – Слабый сверхинтеллект.
41:10 – Нанотехнология.
42:45 – Клетка для сверхразума.
46:35 – Дартмутский семинар.
48:15 – Экспоненциальный рост.
52:45 – Коллективный разум против ИИ.
01:00:00 – Аугментация человека.
01:02:33 – Сознание у машины?
01:06:45 – Разработчикам ИИ наплевать?
P.S. С моей точки зрения, спорных моментов много, но, в то же время, со многим я согласен. Подача материала эмоциональная, нагнетание негатива присутствует.
Можно отметить, что
опять идёт смешивание понятий интеллект и разум. И ведь с сознанием аналогично дело обстоит (сам факт путаницы сознания и самосознания уже говорит сам за себя). Сведение субъективного опыта к сознанию или наоборот, это ошибка. Субъективный опыт – это знания (хоть и личные, но всё равно знания), а
сознание – это условие («со знанием»), обозначающее использование знаний (в ответной реакции, в оценке состояния или результата и т.д. и т.п.). Ну, а
механизм сознания – это всего лишь реализация условия «со знанием». Понятно, что механизм сознания может быть разным, работать в разных режимах и т.д. Про уровни сознания сейчас не буду, писал уже неоднократно.
На всякий случай прокомментирую кусочек (к отрезку начиная от 34:25).
На мой взгляд,
перепутаны конечная и промежуточная цели (или, можно сказать, перепутаны цель и средства достижения цели). Понятно, что, по сути,
приписывание целей, желаний, стремлений каким-либо системам, это наши интерпретации наблюдаемых явлений.
И небольшое замечание: наверное, лучше сказать, что цели системе ставит среда, а не эволюция. Ведь именно изменения среды приводят к изменениям в системе, а если структура системы регулярно реплицируется (с разрушением предыдущих реплик), тогда мы будем наблюдать эволюцию структуры системы.
Строго говоря, у изменений среды (именно они являются первопричиной эволюции систем) нет никаких направлений и целей, это у выживших систем мы ретроспективно видим цели и направления – на каждом этапе соответствовать изменяющимся условиям среды обитания. Короче: у эволюции живых систем, способных реплицироваться, мы можем выявить цель – соответствовать изменяющимся условиям среды обитания (то есть, структура живых систем изменяется в направлении соответствия условиям среды).
И таковое
следование соответствию может со временем (на протяжении многих поколений)
приводить к усложнению структуры системы, если происходит усложнение среды. Разумеется, усложнение среды должно при этом идти в определённом режиме (чередование периодов относительно комфортных условий существования и периодов тяжёлых условий существования), с определённой скоростью (позволяющей оставить достаточное количество реплик) и наличием богатого ресурсного потока (притока и обязательного оттока) вещества и энергии.
Хотя, возможно, я просто придираюсь – пусть остаётся постановка целей за эволюцией.
Теперь чуток «философской мути» (если тяжело читать, то можно и пропустить).
Цепочка изменений структуры на протяжении многих поколений нами может интерпретироваться как эволюционный путь, и ретроспективно мы на каждом этапе можем увидеть направления изменений структуры.
Но ведь мы видим следы структур только выживших реплик, которые тоже успели реплицироваться (смогли оставить потомков), а всех погибших, не оставивших потомков (а на каждом этапе их было много больше, нежели выживших) мы не видим и не учитываем.
То есть,
наша выборка нерепрезентативна, она предвзята и опирается на следы структур только выживших. Отсюда и иллюзия эволюционного пути, иллюзия некоей направленности эволюции и даже иллюзия целей у самой эволюции.
У эволюции нет целей, нет направления, поскольку первопричиной эволюции систем являются изменения среды, которые бесцельны и хаотичны. Даже само название этого явления (обозначающее развёртывание, развитие), это результат интерпретации, основанной на нерепрезентативной выборке. Эволюция систем является следствием изменений среды.
И про направление изменений среды мы можем судить только локально. Даже наши интерпретации про эволюцию нашей вселенной являются локальными по своей сути – мы внутри нашей вселенной и не можем взглянуть на неё извне (вселенная это всё, что нам доступно). В общем-то, и сам
наблюдатель – это ведь локальное и актуальное отражение действительности. Так, что наши интерпретации уже в силу этого обстоятельства могут быть верными только локально, верными в нашей системе отсчёта.
Понятно, что уровень наблюдателя (соответственно, и его система отсчёта) может быть разным, и что для вышестоящего уровня кажется частным случаем, для нижестоящего уровня может казаться общим (обобщённым). Ну, а обобщение, выделенное из множества объектов, процессов и даже систем отсчёта, опирается на согласованность (схожесть, похожесть, совпадение, одинаковость) структур элементов из этого множества. Напомню:
в основе критерия объективности лежит согласованность, а не независимость.
Кстати все законы сохранения как раз и намекают, что наша выборка глобально нерепрезентативна – мы выявляем закономерности только в сохранившейся локальной среде, только у сохранившейся материи, только у сохранившихся структур. Но
законы сохранения соблюдаются только при условии глобальной неизменности мира (локально всё может изменяться как угодно, локально мир меняется, но в целом мир остаётся прежним),
глобальной сохранности мира. Типа, сохранность мира обеспечивается законами сохранения мира, а законы сохранения вытекают из глобальной сохранности мира. «Кукушка хвалит петуха за то, что хвалит он кукушку»…
Получается, что законы сохранения являются «внутренними» законами, являются частными случаями и могут запросто оказаться в каком-то суперглобальном масштабе неверными.
Предполагаю, что наблюдатель в другом мире тоже бы выявил законы сохранения, которые бы действовали в его мире, но не действовали бы в нашем мире. Складывается такое впечатление, что
математика допускает очень многое, но мы выбираем из неё только подходящее для описания своего мира (ну, и подходящее для нас самих).
Продолжу.
Конечная цель – самосохранение генетической системы, а
репликация – это только способ сохранения. Кстати, только один из способов, второй – переход системы в пассивную фазу существования. «Передать копии своих генов в следующее поколение» – это и есть способ сохранения структуры генетической системы. То есть, чтобы сохранить свою оригинальную структуру, надо эту структуру скопировать в реплику до разрушения структуры оригинала.
Просто генетическая система таким вот способом сохраняет свою недолговечную и непрочную структуру – посредством репликации, раз за разом, восстанавливая свою исходную структуру. Ведь
непрочным и не очень устойчивым сложным химическим процессам только таким образом – непрерывно реплицируясь – и получается сохраниться. И
сохраняется именно структура оригинала – связи (взаимодействия) атомов и молекул, а не сами конкретные атомы и молекулы, которые были у оригинала на момент репликации.
Типа, «чтобы не умереть жизнь должна постоянно бежать» (в данном случае – непрерывно реплицироваться). Для нашего типа жизни (весьма нежных коллоидных растворов, в которых протекают сложные гиперциклы химических реакций) это архиважно. Попробуй тут сохранить свою структуру, ежели ты такой нежный. Тут только остаётся непрерывно реплицировать эту структуру.
Размножение, как расширенная репликация, это просто побочный эффект, простой (не расширенной) репликации, оказавшейся эволюционно выгодным – при наличии многих реплик больше шансов сохранить свою структуру хоть в одной реплике.
Наличие ошибок при репликации, это следствие неидеальности условий репликации, а неточность реплики, это следствие ошибок репликации. Кроме того, воздействия среды могут внести искажения и в готовую реплику уже после возникновения этой реплики.
Замечание в сторону.
Но
ошибки и искажения могут сыграть и положительную роль, когда они случайно привели к лучшему соответствию структуры реплики к условиям её существования – то есть, структура реплики оказалась адаптированной к условиям существования. В этом случае, если рассматривать сей процесс на большом промежутке времени и на протяжении многих поколений, можно говорить об адаптации, как эволюционном процессе – типа, изначальная структура эволюционировала в конечную структуру.
Ошибки и искажения возникают и в самом организме в процессе его жизни, его адаптации к условиям существования. Ещё раз – именно адаптации организма, а не адаптации генетической системы (хотя если внешние средовые воздействия добрались через кучу посредников до внутриклеточной среды, то адаптироваться придётся уже и самой генетической системе непосредственно). Если утрировать, то генетическая система обитает в организме, как в коконе, и именно кокону приходится адаптироваться к текущим внешним средовым условиям.
Кстати, обучение – это тоже процесс адаптации к средовым воздействиям (в данном случае, к обучающим воздействиям) и обучение тоже вносит ошибки и искажения в цели генетической системы. А если учесть, что происходит обучение многоклеточного организма, то изначальная цель может исказиться до неузнаваемости. Особенно это касается людей с их длинным периодом детства.
Структура формирующегося организма зависит одновременно и от генов, и от среды в которой происходит формирование организма. Можно сказать, что организм возникает и формируется в результате взаимодействия генов и окружающей среды. И на каждом этапе формирования всё больше посредников между генами и средой и всё более высокий уровень взаимодействующих сторон (начиная от взаимодействия ДНК и внутриклеточной среды и заканчивая взаимодействием целостного организма и внешней среды).
Причём окружающая среда, по мере формирования организма, будет разной: для ДНК окружающей средой будет внутриклеточная среда оплодотворённой яйцеклетки, для каждого формирующегося органа или ткани окружающей средой будет сам организм зародыша/плода, для самого зародыша/плода окружающая среда – это матка, для новорождённого окружающая среда уже, как и для нас.
Даже после рождения окружающая среда постоянно меняется – обогащается/усложняется/расширяется, меняется и расширяется социальное окружение (для человека это очень важно).
Продолжу.
И отсюда возникновение «повальной контрацепции» (по сути, отказ от репликации) с точки зрения самосохранения системы вовсе не абсурдно, если есть способ сохраниться без репликации. Ведь в данном контексте («повальной контрацепции») речь уже идёт не о генетической системе, а о «надстройке» над этой системой (и даже не о человеческом организме, а о его психике (разуме и интеллекте, сознании и знаниях и т.д.)). «Голос» и «команды» генетической системы в данном случае почти не слышны, их забивают и искажают (аж до наоборот) «голоса» и «команды» кучи посредников-прослоек.
А людям в мозги вложили кучу идей: о возможном ограничении репликации (то есть, можно не размножаться, а только поддерживать репликацию «один в один»), и о могуществе технологий, обеспечивающих сохранение (от всяких там заморозок до физического и/или психического бессмертия), и о том, что появление твоей неточной реплики не приводит к сохранению тебя (ведь твой ребёнок, это не ты сам).
Так-то я уже объяснял, почему интеллект может сработать против самосохранения. Напомню:
разум системы – это способность системы реализовать своё стремление к самосохранению средствами интеллекта, а интеллект системы – это вычислительный функционал системы.
Но
если вычислительный функционал системы оказался глючным изначально (вследствие ошибок и искажений при репликации структуры системы) и/или в данный вычислительный функционал были инсталлированы вредоносные (для самосохранения вредоносные) и/или паразитические программы,
то такой интеллект так реализует стремление к самосохранению, что мама не горюй.
Отдельный вопрос, когда система сама является подсистемой (то есть, элементом системы) – в этом случае
интеллект подсистемы может в первую очердь реализовать стремление к самосохранению именно системы (то есть,
сохранение системы в приоритете, а сохранение самого элемента вторично, им даже можно пожертвовать для сохранения системы). Это дело я неоднократно пояснял, сейчас не буду.
Но главное, система может обладать интеллектом и разумом кратно, на порядки и более превышающим интеллект и разум элемента. Писал уже, но ещё раз повторю: социум (именно в плане всего человечества в целом) намного более интеллектуален и разумен, чем любой отдельный человек (пусть даже гений). И
именно человеческий социум обучает отдельные человеческие особи – в каждой человеческой особи отражается частичка интеллекта и разума человеческого социума.
Кроме того, у социума тоже могут быть интеллектуальные глюки. Понять и осознать намерения и решения социума в полном объёме отдельная человеческая особь не в состоянии в принципе.
Определения используемых терминов здесь:
http://my-army-flot.ru/index.php?topic=264.msg1544#msg1544