Немножечко про АI, интеллектуальные системы и прочие ближние перспективы развития робототехники. Цитата не моя, все вопросы к Павел Гаврилов, не знаю, где он её вычитал. Но это прекрасно: "Цитата в тему, извините. "- ...Выключали ее четыре минуты. Бегали от секции к секции и вырубали питание. Вручную. Потому что автоматику она блокировала. А она ничего не понимала. Кричала по-своему, просила спасти. Мол, авария с питанием. Срочно примите меры. До необратимой потери информации осталось столько-то секунд. Пыталась переключиться на резервные линии, на аварийные аккумуляторы. А люди отключали и эти резервные линии. Вот это на самом деле был кошмар. Люди носятся по залам от одной стойки к другой, вырубают подряд все рубильники и автоматы. Она их вновь включает. Люди выдергивают информационные кабели, она ищет обходные каналы связи между стойками. Мигают индикаторы, звенят звонки. Свет то гаснет, то загорается. Люди сталкиваются в темноте, срывают панели и переключают систему питания на ручное управление. Постепенно система умирает. Агония длительностью в четыре минуты - вот что было. Потом некоторые стойки еще около суток держались на аварийных аккумуляторах. Но системы - как целого - уже не было. Она распалась на отдельные островки. И те угасали один за другим. Этот конфуз затормозил развитие электроники минимум на четверть века. - Что такого натворил этот ящик с электронами, что напугал все человечество? - Машина начала предсказывать аварии. Ее убили после очередного предсказания. Кому-то пришла в голову мысль, что аварии - ее работа. - Как это происходило? - Как? Элементарно! Прицепится к какому-нибудь пароходу, собирает о нем всю информацию. Полный комплект чертежей со всеми изменениями. На какой верфи собран, откуда какие узлы поступили, когда, где, кто какой ремонт делал, кто капитан, где плавал, кто помощники, кто когда вахту стоит. А под занавес выдаст: такого-то числа, проходя такой-то пролив этот пароход с вероятностью 95% сядет на мель там-то. И пароход садится! Большинство предсказанных аварий даже авариями назвать нельзя. Например, что такой-то станок каждую сто семнадцатую деталь отправит в брак. Но когда аэробус в соответствии с прогнозом падает на город, сносит небоскреб, и гибнут семь тысяч человек - это уже серьезно. Когда, на следующий день, грузовая субмарина при аварийном всплытии таранит паром и гибнут две тысячи человек - это страшно. Сначала машина выдавала прогнозы редко, потом все чаще. Под конец - по три десятка в день. - Сколько дней она работала? - Три с половиной месяца. Но прогнозы начала выдавать только в последний месяц. - Как вы все это объясните? - Открыть тайну? - Открыть. - А никакой тайны нет! - выпалил он, крайне довольный собой. - Вот сделали яйцеголовые машину и сказали: "Познай самую себя!" А один процессор бракованный! Строжайший контроль прошел, а ошибочка осталась. Редкая потому что. Чтоб проявилась, сочетание условий нужно. Но машина к этой ошибочке прицепилась. Ей же сказали: "познай себя". Она же саморазвивающаяся. Никто не знает, в какую сторону она развивается. А она раскопала, откуда ошибочка взялась. До завода, который процессоры изготовлял, добралась. Выяснила, что когда на конвейере процессоры делают, в третьем слое металлизации работает 17-я маска, а в четвертом, например, 19-я, то процессор выходит бракованный. Это очень редко бывает, чтоб 19-я наложилась на 17-ю, но ведь процессоры миллионами делают. И начала машина отслеживать, куда поступили эти самые бракованные процессоры. Это не так и сложно, когда весь учет ведут компьютеры. А затем самое сложное в истории человечества кибернетическое устройство, первый в мире искусственный интеллект начал вычислять условия, при которых эта ошибка себя проявит. За это его и убили..."
by Анатолий Шперх
June 19, 2018 at 07:02PM
from Facebook
via IFTTTfrom Facebook
via IFTTT
Немножечко про АI, интеллектуальные системы и прочие ближние перспективы развития робототехники. Цитата не моя, все вопросы к Павел Гаврилов, не знаю, где он её вычитал. Но это прекрасно: "Цитата в тему, извините. "- ...Выключали ее четыре минуты. Бегали от секции к секции и вырубали питание. Вручную. Потому что автоматику она блокировала. А она ничего не понимала. Кричала по-своему, просила спасти. Мол, авария с питанием. Срочно примите меры. До необратимой потери информации осталось столько-то секунд. Пыталась переключиться на резервные линии, на аварийные аккумуляторы. А люди отключали и эти резервные линии. Вот это на самом деле был кошмар. Люди носятся по залам от одной стойки к другой, вырубают подряд все рубильники и автоматы. Она их вновь включает. Люди выдергивают информационные кабели, она ищет обходные каналы связи между стойками. Мигают индикаторы, звенят звонки. Свет то гаснет, то загорается. Люди сталкиваются в темноте, срывают панели и переключают систему питания на ручное управление. Постепенно система умирает. Агония длительностью в четыре минуты - вот что было. Потом некоторые стойки еще около суток держались на аварийных аккумуляторах. Но системы - как целого - уже не было. Она распалась на отдельные островки. И те угасали один за другим. Этот конфуз затормозил развитие электроники минимум на четверть века. - Что такого натворил этот ящик с электронами, что напугал все человечество? - Машина начала предсказывать аварии. Ее убили после очередного предсказания. Кому-то пришла в голову мысль, что аварии - ее работа. - Как это происходило? - Как? Элементарно! Прицепится к какому-нибудь пароходу, собирает о нем всю информацию. Полный комплект чертежей со всеми изменениями. На какой верфи собран, откуда какие узлы поступили, когда, где, кто какой ремонт делал, кто капитан, где плавал, кто помощники, кто когда вахту стоит. А под занавес выдаст: такого-то числа, проходя такой-то пролив этот пароход с вероятностью 95% сядет на мель там-то. И пароход садится! Большинство предсказанных аварий даже авариями назвать нельзя. Например, что такой-то станок каждую сто семнадцатую деталь отправит в брак. Но когда аэробус в соответствии с прогнозом падает на город, сносит небоскреб, и гибнут семь тысяч человек - это уже серьезно. Когда, на следующий день, грузовая субмарина при аварийном всплытии таранит паром и гибнут две тысячи человек - это страшно. Сначала машина выдавала прогнозы редко, потом все чаще. Под конец - по три десятка в день. - Сколько дней она работала? - Три с половиной месяца. Но прогнозы начала выдавать только в последний месяц. - Как вы все это объясните? - Открыть тайну? - Открыть. - А никакой тайны нет! - выпалил он, крайне довольный собой. - Вот сделали яйцеголовые машину и сказали: "Познай самую себя!" А один процессор бракованный! Строжайший контроль прошел, а ошибочка осталась. Редкая потому что. Чтоб проявилась, сочетание условий нужно. Но машина к этой ошибочке прицепилась. Ей же сказали: "познай себя". Она же саморазвивающаяся. Никто не знает, в какую сторону она развивается. А она раскопала, откуда ошибочка взялась. До завода, который процессоры изготовлял, добралась. Выяснила, что когда на конвейере процессоры делают, в третьем слое металлизации работает 17-я маска, а в четвертом, например, 19-я, то процессор выходит бракованный. Это очень редко бывает, чтоб 19-я наложилась на 17-ю, но ведь процессоры миллионами делают. И начала машина отслеживать, куда поступили эти самые бракованные процессоры. Это не так и сложно, когда весь учет ведут компьютеры. А затем самое сложное в истории человечества кибернетическое устройство, первый в мире искусственный интеллект начал вычислять условия, при которых эта ошибка себя проявит. За это его и убили..."
