Нужен ли искусственному интеллекту человеческий опыт?
Алексей Коржебин 25/11/2019
Мы все уже привыкли к впечатляющим достижениям искусственного интеллекта (ИИ) в различных интеллектуальных настольных играх. Никого уже не удивить победой ИИ над человеком в шахматах или в шашках. Почти три года назад как гром среди ясного неба была победа ИИ в игру го. В отличие от шахмат для го считалось принципиально невозможно просчитать все возможные варианты развития событий: число допустимых комбинаций в игре на стандартном гобане больше, чем атомов в наблюдаемой Вселенной, и поэтому казалось, что эта игра навсегда останется в области человеческой интуиции.
Программа AlphaGo компании Google, обучившись на истории игр лучших человеческих игроков в го, выиграла у сильнейшего игрока в мире Кэ Цзе со счетом 3:0. Следующим шагом было предоставление возможности ИИ учиться самостоятельно, без знания человеческого опыта. Разработчики задались вопросом: что это даст? Так появилась программа AlphaGo Zero, которая училась играть сама с собой, проигрывая различные партии миллионы раз.
И как результат – AlphaGo Zero победила обученного на человеческом опыте AlphaGo с разгромным счетом 100:0. То есть, по сути, выяснилось, что человеческий опыт так неоптимален, что мешает развиваться системам ИИ в дальнейшем.
Затем были попытки использования ИИ в военных компьютерных играх – StarCraft и Dota 2, главное отличие их от настольных игр в том,
что игроки не знают полностью текущее состояние ресурсов и местоположения юнитов противников, а знают только то, что могут увидеть их собственные юниты. То есть они начинают прогнозировать свои следующие шаги на основе неполной информации. И уже в течение последнего года специально созданные боты вначале победили лучших игроков в Dota 2 в одиночных боях, а после уже и в групповых.
Но во всех этих играх правила не меняются и известны заранее. А как бы научить ИИ самостоятельно изучать мир, открывать его законы и применять их для достижения своих целей?
Мне хотелось бы рассказать об очень интересном эксперименте в этом направлении, который провела организация OpenAI. OpenAI – это
некоммерческая исследовательская компания из Сан-Франциско, занимающаяся искусственным интеллектом. Цель компании – развивать открытый, дружественный ИИ. Одним из основателей является предприниматель Илон Маск.
Суть эксперимента – научить несколько ИИ играть в прятки, взаимодействуя между теми, кто ищет, и теми, кто прячется. Для этого
использовали игровой "движок", который умел рассчитывать физическую модель игрового мира – столкновения, гравитацию, возможность передвижения различных объектов и т.д.
Те объекты ИИ, которые искали, были сделаны в виде красных человечков, а те, которые прятались, – в виде синих. Команды между собой могли обмениваться информацией. Для ИИ были определены награды для "красных" и "синих", в зависимости от результата – видели
или не видели они друг друга. Вначале игроков запустили в лабиринт из комнат с дверями, где стояли ящики, позволявшие перекрывать
двери или прятаться за ними, и пандусы, дававшие возможность перепрыгивать по ним стены комнат. "Синие" могли блокировать объекты, чтобы их нельзя было передвинуть.
Сначала игроки совершали случайные движения, но уже после 8 млн итераций "синие" достаточно грамотно блокировали двери ящиками и успешно прятались от "красных". После 14 млн игр "красные" научились использовать пандусы для перепрыгивания стен в комнатах, за которыми прятались "синие". После 40 млн игр "синие" научились координировать свои действия и прятать пандусы в заблокированных комнатах перед их блокировкой, чтобы их не могли использовать "красные".
На следующем этапе обученных ИИ выпустили на открытое игровое поле, на котором были случайно расположенные различные объекты –
ящики различных форм, пандусы и т.д.
И "синие" научились из этих объектов строить закрытые места, где их не могли видеть "красные". Для этого им понадобилось почти 90 млн
партий. Через 500 млн игр "красные" научились использовать почти любые объекты для перепрыгивания через различные препятствия, а "синие" – заранее блокировать объекты, чтобы их не могли использовать "красные".
При этом в процессе обучения ИИ были приобретены навыки, которые удивили самих исследователей. Например, "синие" научились
выкидывать пандусы за пределы игровой зоны, чтобы ими не могли бы воспользоваться "красные", или просто убегать на край игровой
площадки, где их не могли бы догнать, а "красные" нашли возможность использовать физические законы игрового мира так, чтобы их при столкновениях под определенным углом подбрасывало вверх, откуда они могли бы увидеть "синих" в любом месте.
В итоге экспериментов можно сказать, что была доказана возможность научить несколько ИИ взаимодействовать с друг другом, изучать законы окружающего мира и, самое главное, сохранять полученный опыт и использовать его в новой обстановке. Это еще шаг к возможно-
стям использования ИИ в реальном мире.
Например, обученное ядро ИИ легко адаптировать к реальным практическим задачам с небольшим дообучением, например опти-
мальным путем передвигать на складах контейнеры, делать защитные конструкции и т.д.
Более подробно об этом эксперименте вы можете прочитать на сайте самой организации OpenAI: https://openai.com/blog/emergent-
tool-use/.
Алексей Коржебин
Редактор рубрики "Цифровая трансформация: AI, IoT, умный город",
директор по продукту AggreGate Edge компании Tibbo Systems
- СКУД (222)
- Видеонаблюдение (189)
- Пожарная безопасность (125)
- Пожарная сигнализация (90)
- Видеокамеры (80)
- Видеоаналитика (72)
- Комплексная безопасность (70)
- Биометрия (69)
- Искусственный интеллект (65)
- Журнал "Системы безопасности" (64)
- Цифровое ЖКХ (63)
- Охрана периметра (60)
- Безопасность объектов (56)
- Онлайн-обзор (55)
- Цифровая трансформация (53)
- Колонка редактора (48)
- Пожаротушение (44)
- ТЭК и нефтегаз (44)
- Транспортная безопасность (43)
- Журнал "Системы безопасности" №6/2024 (40)
- Места с массовым пребыванием людей (40)
- Ритейл (37)
- Промышленность (34)
- Журнал "Системы безопасности" №1/2021 (33)
- Журнал "Системы безопасности" №5/2020 (31)
- Тепловидение (31)
- Умный город (31)
- Беспроводные технологии (30)
- Антидрон (29)
- Журнал "Системы безопасности" №5/2021 (29)
- Журнал "Системы безопасности" №5/2024 (29)
- All-over-IP (28)
- PSIM (28)
- Журнал "Системы безопасности" №3/2020 (28)
- Журнал "Системы безопасности" №3/2024 (28)
- Колонка эксперта (28)
- Мнения экспертов (28)
- Журнал "Системы безопасности" №3/2021 (27)
- Журнал "Системы безопасности" №4/2021 (27)
- Системы хранения данных (СХД) (27)
- Журнал "Системы безопасности" №2/2021 (26)
- Журнал "Системы безопасности" №3/2022 (26)
- Журнал "Системы безопасности" №4/2020 (26)
- COVID-19 (25)
- Журнал "Системы безопасности" №6/2020 (25)
- Умный дом (25)
- Журнал "Системы безопасности" №1/2022 (24)
- Журнал "Системы безопасности" №1/2025 (24)
- Журнал "Системы безопасности" №5/2022 (24)
- Защита от БПЛА (24)
- Журнал "Системы безопасности" №1/2020 (23)
- Журнал "Системы безопасности" №5/2023 (23)
- Журнал "Системы безопасности" №6/2021 (23)
- Журнал "Системы безопасности" №6/2023 (23)
- Киберзащита (23)
- Журнал "Системы безопасности" №4/2022 (22)
- Итоги (22)
- ТБ Форум (22)
- Домофоны (21)
- Журнал "Системы безопасности" №4/2024 (21)
- Импортозамещение (21)
- Турникеты (21)
- Журнал "Системы безопасности" №1/2024 (20)
- Журнал "Системы безопасности" №5/2019 (20)
- Журнал "Системы безопасности" №6/2019 (20)
- Машинное зрение (20)
- Центры обработки данных (ЦОД) (20)
- Банки и финансы (19)
- Журнал "Системы безопасности" №2/2023 (19)
- СОУЭ (19)
- Дайджест (18)
- Журнал "Системы безопасности" №2/2024 (18)
- Журнал "Системы безопасности" №3/2023 (18)
- Журнал "Системы безопасности" №4/2023 (18)
- Информационная безопасность (18)
- Антитеррор (17)
- Журнал "Системы безопасности" №2/2022 (17)
- Журнал "Системы безопасности" №6/2022 (17)
- Обзор продуктов и решений (17)
- Безопасный город (16)
- Автоматизация зданий (15)
- Журнал "Системы безопасности" №1/2023 (15)
- Технологии распознавания (15)
- Умные парковки (15)
- Извещатели (14)
- Охрана труда и промышленная безопасность (ОТиПБ) (14)
- Спецпроект (14)
- Транспорт (14)
- Журнал "Системы безопасности" №2/2020 (13)
- Интернет вещей (IoT) (13)
- Источники бесперебойного питания (ИБП) (13)
- Нейросети (13)
- Важные люди (12)
- Интервью (12)
- Компании (12)
- Журнал "Системы безопасности" №2/2025 (11)
- ИСБ (11)
- Удаленный доступ (10)
- Новости (9)
- Облачные технологии (9)
- Техническое обозрение (9)
- Журнал "Системы безопасности" №3/2019 (8)
- Идентификация (8)
- Критически важные объекты (КВО) (8)
- Рынок безопасности (8)
- ССОИ (8)
- Учет рабочего времени (8)
- Аргус-Спектр (7)
- Болид (7)
- Интеграция (7)
- Каталог "Пожарная безопасность" (7)
- Экспертный опрос (7)
- IP-премьеры (6)
- АУП (6)
- Лидеры технологий (6)
- НВП "Болид" (6)
- Энергетика (6)
- Антикризисные предложения (5)
- Взрывозащита (5)
- Встречи с заказчиками (5)
- Журнал "Системы безопасности" №4/2019 (5)
- Исследование (5)
- Объекты культурного наследия (5)
- ППКП (5)
- Противотаранные устройства (5)
- Радиоканальные системы (5)
- ЦеСИС НИКИРЭТ (5)
- Securika Moscow (4)
- АСКУЭ (4)
- БАС (4)
- Кабельная продукция (4)
- Контроллеры (4)
- МЧС России (4)
- ОПС (4)
- Опрос онлайн (4)
- Охранный мониторинг (4)
- Цифровые технологии (4)
- Электронная проходная (4)
- BioSmart (3)
- CCTV (3)
- NVR (3)
- ZKTeco (3)
- Автоматизация (3)
- Безопасность (3)
- Безопасность КИИ (3)
- Главгосэкспертиза (3)
- Лучшие продукты (3)
- Машинное обучение (3)
- Опрос (3)
- ПО для охранных предприятий (3)
- Парковочные комплексы (3)
- Программное обеспечение (3)
- Роботизация (3)
- Смотр технологий (3)
- Тематический план (3)
- Тренды (3)
- Axis Communications (2)
- BIM-технологии (2)
- Honeywell (2)
- IP-технологии (2)
- IdM (2)
- SecuFinance (2)
- Авиакомпании и аэропорты (2)
- Аспирационные системы (2)
- Бевард (2)
- Бесконтактные системы (2)
- Беспилотники (2)
- Беспилотный транспорт (2)
- Деловая программа (2)
- Досмотр (2)
- ЕБС (2)
- Зимняя вишня (2)
- ИПДА (2)
- ИПДЛ (2)
- ИТ-инфраструктура (2)
- Интеллектуальные транспортные системы (2)
- Контроль доступа (2)
- Метрополитен (2)
- Новости компаний (2)
- Новости отрасли (2)
- Обзор оборудования (2)
- Обзор решений (2)
- Пресс-релиз (2)
- Ситуационные центры (2)
- Стандарты, нормы и требования (2)
- Строительная экспертиза (2)
- ЦРТ (2)
- Цифровизация (2)
- Электрозамки (2)
- Юбилейный выпуск (2)
- Axis Talk 2021 (1)
- Beward (1)
- Big Data (1)
- ChatGPT (1)
- Cloud4Y (1)
- DLP (1)
- DSSL (1)
- Digital направление (1)
- GPT-3 (1)
- Hi-Tech Security (1)
- InPrice Distribution (1)
- Inprice (1)
- NFC (1)
- PERCo (1)
- RecFaces (1)
- SaaS (1)
- SecuRetail (1)
- Synology (1)
- dormakaba (1)
- e-commerce (1)
- ААМ Системз (1)
- АРМО-Системы (1)
- Аварийно-спасательные средства (1)
- Адресные СПС (1)
- Александр Дремин (1)
- Алексей Коржебин (1)
- Антифрод (1)
- Аутентификация (1)
- Безопасные дороги (1)
- Беспроводные системы (1)
- Бизнес (1)
- Видеорегистраторы (1)
- Витольд Василец (1)
- ГК "Рубеж" (1)
- Делетрон (1)
- Детская безопасность (1)
- Журнал "Системы безопасности" 2022 (1)
- Журнал "Системы безопасности" 2023 (1)
- Защита информации и связи, кибербезопасность (1)
- ИТ-отрасль (1)
- Инновации (1)
- Источники информации (1)
- Киберугрозы (1)
- Контрафактная продукция (1)
- Лидогенерация (1)
- Лучшие продукты 2019 (1)
- Мероприятия по безопасности (1)
- Металлургия (1)
- Мобильный доступ (1)
- НСОПБ (1)
- Новинки 2020 (1)
- Олег Шаповал (1)
- Онлайн-журнал (1)
- Отраслевые сайты (1)
- Охрана объектов (1)
- Охранная сигнализация (1)
- ПБ (1)
- ПДД (1)
- Поворотный шлагбаум (1)
- Поддерживаем российское (1)
- Продукты года (1)
- РАМ (1)
- РЖД (1)
- Радиоохранные решения (1)
- Распознавание лиц (1)
- Ремонтопригодность (1)
- Решения для комплексной безопасности (1)
- Риэлта (1)
- РусГард (1)
- СНПО "Элерон" (1)
- СУРВ (1)
- Сбербанк (1)
- Системы безопасности (1)
- Социальные сети (1)
- Спецпредложение (1)
- Стрелец-ПРО (1)
- Таргетированные рассылки (1)
- Термокожухи (1)
- Термометрия (1)
- Тест Тьюринга (1)
- Удаленная работа (1)
- Управление (1)
- Центр обработки данных (1)
- Шоплифтер (1)
- Эволюция технологий (1)
- Экспертиза (1)
- Апрель 2025 (21)
- Март 2025 (9)
- Февраль 2025 (14)
- Январь 2025 (20)
- Декабрь 2024 (16)
- Ноябрь 2024 (17)
- Октябрь 2024 (17)
- Сентябрь 2024 (12)
- Август 2024 (13)
- Июль 2024 (15)
- Июнь 2024 (12)
- Май 2024 (9)
- Апрель 2024 (14)
- Март 2024 (7)
- Февраль 2024 (13)
- Январь 2024 (8)
- Декабрь 2023 (11)
- Ноябрь 2023 (15)
- Октябрь 2023 (10)
- Сентябрь 2023 (16)
- Август 2023 (11)
- Июль 2023 (9)
- Июнь 2023 (15)
- Май 2023 (7)
- Апрель 2023 (7)
- Март 2023 (9)
- Февраль 2023 (6)
- Январь 2023 (10)
- Декабрь 2022 (12)
- Ноябрь 2022 (13)
- Октябрь 2022 (8)
- Сентябрь 2022 (17)
- Август 2022 (11)
- Июль 2022 (15)
- Июнь 2022 (13)
- Май 2022 (14)
- Апрель 2022 (10)
- Март 2022 (8)
- Февраль 2022 (17)
- Январь 2022 (8)
- Декабрь 2021 (14)
- Ноябрь 2021 (11)
- Октябрь 2021 (13)
- Сентябрь 2021 (16)
- Август 2021 (13)
- Июль 2021 (18)
- Июнь 2021 (19)
- Май 2021 (16)
- Апрель 2021 (24)
- Март 2021 (16)
- Февраль 2021 (12)
- Январь 2021 (10)
- Декабрь 2020 (18)
- Ноябрь 2020 (12)
- Октябрь 2020 (25)
- Сентябрь 2020 (9)
- Август 2020 (18)
- Июль 2020 (15)
- Июнь 2020 (12)
- Май 2020 (4)
- Апрель 2020 (13)
- Март 2020 (14)
- Февраль 2020 (10)
- Январь 2020 (13)
- Декабрь 2019 (9)
- Ноябрь 2019 (13)
- Октябрь 2019 (17)
- Сентябрь 2019 (15)
- Август 2019 (15)
- Июль 2019 (20)
- Июнь 2019 (11)
- Май 2019 (16)
- Апрель 2019 (11)
- Март 2019 (6)
Поделитесь вашими идеями