The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Система для экспериментов с искусственным интеллектом в реальных играх и приложениях

06.12.2016 13:12

Проект OpenAI, учреждённый рядом известных инвесторов (Илон Маск (Tesla, PayPal, SpaceX), Джессика Ливингстон (YCombinator), Питер Тиль (Clarium Capital), Рид Хоффман (LinkedIn), компании Amazon и Infosys) с целью развития общедоступных проектов в области искусственного интеллекта, представил платформу Universe, предназначенную для оценки работы систем искусственного интеллекта и проведения тренировки систем машинного обучения в среде, построенной на основе реальных компьютерных игр и приложений. Код проекта написан на языке Python и распространяется под лицензией MIT.

По задумке разработчиков Universe упростит обкатку универсальных систем искусственного интеллекта, способных адаптироваться для разнообразных применений и не завязанных на решении каких-то узкоспециализированных задач. В отличие от вчера представленного проекта DeepMind Lab, платформа Universe не ограничивается игровыми приложениями и предлагает более высокий уровень абстракции, симулирующий работу за компьютером. Интеллектуальные агенты получают доступ к содержимому экрана через VNC на уровне пиксельного изображения и могут контролировать ввод через симуляцию нажатия клавиш на клавиатуре и движения мыши.

Помимо предоставления агентам возможности активных действий в различных приложениях система также может применяться как окружение для тренировки систем машинного обучения. В процессе работы агента человек может подключиться к сеансу для отслеживания активности интеллектуального агента и корректировки его действий. Подготовка окружения сводится к запуску приложения в специально подготовленном контейнере на базе системы Docker и подключения интеллектуального агента при помощи написания скрипта на языке Python. Контейнер с приложением и агент разделены и могут выполняться на отдельных машинах.

Кроме VNC для связи окружения и агента применяется протокол WebSocket, через который передаётся служебная информация о наградах/достижениях, диагностические данные и управляющие сообщения. Интересно, что необходимая для организации обратной связи информация о достижениях в играх может собираться путём привлечения OCR для разбора текста на экране. В случае работы агента с браузером работа пока сосредоточена на обучении взаимодействия с применением типовых кнопок, списков и форм ввода. В качестве одной из целей на будущее упоминается желание научить агента отыскивать в сети неизвестные ему сведения, управлять электронной перепиской и работой с календарём.

Взаимодействие агента с окружением организуется с использованием штатного программного интерфейса Gym, ранее подготовленного проектом OpenAI для создания и сравнения алгоритмов обучения с подкреплением. Если в прошлом алгоритмы на Gem требовали разработки специальных окружений, то Universe даёт возможность организовать работу Gem-скриптов с любыми приложениями без их индивидуальной адаптации. Для взаимодействия с программами на уровне трансляции вывода экрана и симуляции устройств ввода Universe предоставляет универсальный пошаговый интерфейс, позволяющий принимать решения через заданные промежутки времени. В простейшем случае интерфейсный скрипт для создания окружения и запуска агента сводится к следующему коду:


   import gym
   import universe # регистрируем окружения Universe в Gym

   env = gym.make('flashgames.DuskDrive-v0') # идентификатор окружения Universe (в нашем примере Flash-игра DuskDrive)
   env.configure(remotes=1)  # автоматически создаём локальный контейнер Docker
   observation_n = env.reset()

   while True:
     # простейший агент, нажимающий клавишу вверх 60 раз в секунду
     action_n = [[('KeyEvent', 'ArrowUp', True)] for _ in observation_n]
     observation_n, reward_n, done_n, info = env.step(action_n)
     env.render()

Для запуска контейнера можно использовать команду


   $ docker run --privileged --cap-add=SYS_ADMIN --ipc=host \
       -p 5900:5900 -p 15900:15900 quay.io/openai/universe.flashgames

Первый выпуск Universe предоставляет около тысячи готовых окружений, среди которых разнообразные Flash-игры, браузерные задачи и игры, подобные slither.io и GTA V. Сотни из окружений пригодны для проведения обучения с подкреплением и почти все могут использоваться для оценки работы таких алгоритмов. Окружения снабжены стартовыми сценариями, автоматизирующими начальный этап настройки (например, открытие сайта или выбор режима в меню) для приведения состояния программы к готовности для запуска агента. Об участии в подготовке окружений на базе платформы Universe уже объявили компании EA, Valve, Microsoft, NVIDIA и несколько десятков производителей компьютерных игр.

  1. Главная ссылка к новости (https://openai.com/blog/univer...)
  2. OpenNews: Учреждён крупнейший некоммерческий исследовательский проект OpenAI
  3. OpenNews: Facebook открыл модули машинного обучения, использующие GPU для ускорения
  4. OpenNews: Yahoo опубликовал крупнейшую базу данных для систем машинного обучения
  5. OpenNews: Эксперимент по созданию искусственного интеллекта для игры в Doom
  6. OpenNews: Анонсировано открытие кода платформы искусственного интеллекта DeepMind Lab
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/45628-openai
Ключевые слова: openai, ai, universe
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (40) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 15:55, 06/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Отлично. Ждем машинных летсплейев.
     
     
  • 2.3, Аноним88 (?), 16:01, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +16 +/
    Конечно. Я уже приступил к написанию своей собственной стримерши Карины
     
     
  • 3.52, Аноним (-), 18:15, 08/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    А все-равно трейдер Джек ее ... сделает.
     
  • 2.20, бедный буратино (ok), 19:42, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    пусть Манки Айленд 2-й пройдёт
     
     
  • 3.26, A.Stahl (ok), 21:36, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    А там-то что? Там вообще тривиально. Ну почти:)
    Елозь себе мышкой по экрану, находи все активные объекты, а потом тупо перебором делай действия.
    Только в самом конце такое не прокатит. Когда дедушка леЧак за монеткой наклоняется:)
     
     
  • 4.41, бедный буратино (ok), 07:17, 07/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    там много где такое не прокатит
     

  • 1.2, ryoken (ok), 15:59, 06/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –11 +/
    Что-что??? ИИ на Бидоне???
    0_0
     
     
  • 2.5, Аноним (-), 16:24, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +12 +/
    Откуда вы лезете? Один из самых популярных языков в области машинного обучения и искуственного интеллекта.
     
     
  • 3.54, Аноним (-), 04:57, 09/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Откуда вы лезете? Один из самых популярных языков в области машинного обучения
    > и искуственного интеллекта.

    Поставщики серверов одобряют. Не тормозит же. Еще и производителям RAM перепадет. Даже энергокомпаниям чего-нибудь достанется.

     
  • 2.8, Аноним84701 (ok), 17:02, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Что-что??? ИИ на Бидоне???
    > 0_0

    Во-во. Они бы еще какой-нибудь изврат вроде Пролога использовали бы!1!


     
  • 2.12, Аноним (-), 18:17, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Да хоть на асме. Почему нет?
     
  • 2.23, ТТТ (?), 21:08, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Уроки уже сделал?
     
  • 2.55, Аноним (-), 04:58, 09/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Что-что??? ИИ на Бидоне???

    Макет ИИ на бидоне :)


     

  • 1.4, Аноним (-), 16:12, 06/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кто-нибудь разбирающийся в теме может подсказать насколько перспективно для ИИ использование тренировок нейросетей? Понятия сознания в таком случае все равно не добиться, это всего лишь база накопленной статистики? Насколько эта мешанина накопленных данных вообще поддается корректировке со стороны человека, в ней ведь по идее все взаимосвязано. К примеру, принудительно залезть в нее и указать, что некий цвет #FF0000 является красным еще можно, но это точечное такое изменение данных, и смысла в нем нет, надо указывать весь диапазон понятия "красный", начиная с приблизительно красных оттенков.
     
     
  • 2.6, Аноним (-), 16:47, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    клоун: если подозрение, что вся эта байда Гугла и Маска всего лишь поиск сильных команд и спецов в области машинного зрения и нейросетей чтобы усилить команды разработки автопилота.
     
  • 2.11, Аноним (-), 17:33, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    клоун: Речь об исследовательском проекте, для которого важно доказательство работоспособности идеи (proof of concept). А значит нужно писать на том, на чём быстрее и проще. Питон, как простой язык с минимумом заморочек (типа контроля типов) и низким порогом вхождения вполне подходит.
     
     
  • 3.19, Илья (??), 19:17, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > с минимумом заморочек (типа контроля типов)

    Типы не Вы контролируете, а компилятор. И, следовательно у вас заморочек будет только меньше.

     
  • 2.56, Аноним (-), 05:11, 09/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    В природе натренировались же Сами А так, попсовенько, но про AI от гугля http... большой текст свёрнут, показать
     

  • 1.13, Аноним (-), 18:31, 06/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Здравствуй новая эра ботоводства!
     
     
  • 2.14, Аноним (-), 18:35, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Эра новой капчи, проиграй/выиграй машине если ты человек.
     
  • 2.27, Аноним84701 (ok), 21:37, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Здравствуй новая эра ботоводства!

    Намекаете, что скоро уже ИИ будут хвастаться количеством заовненых человеков и/или размером подконтрольных ман-нетов?


     

  • 1.15, ПолковникВасечкин (?), 18:39, 06/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    "Да не построишь машины, наделённой подобием разума людского."
     
     
  • 2.32, Аноним (-), 22:08, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    угу, в смысле это невозможно
    различение и выделение новых свойств (ранее незнаемых) объекта или явления — камень преткновения
     
     
  • 3.43, Аноним (-), 09:06, 07/12/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Невозможно скорее потому, что человек хоть и научился летать в космос и расщеплять атом, до сих пор слабо представляет, как же именно работают его собственные сознание и разум. И, соответственно, смоделировать это в компьютере не может.
     
     
  • 4.58, Аноним (-), 05:15, 09/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > его собственные сознание и разум. И, соответственно, смоделировать это в компьютере не может.

    А это и не требуется, как ни странно. Достаточно создать backend, передрав основы дизайна. Дальше технология self-starting, как показали натурные эксперименты.

     
  • 3.46, Crazy Alex (ok), 14:14, 07/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    С таким тебе разве что в церковь к попам дорога.
     
  • 2.59, Аноним (-), 05:16, 09/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > "Да не построишь машины, наделённой подобием разума людского."

    Ли Седолю это расскажешь.

     

  • 1.16, Аноним (-), 18:41, 06/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Уже вижу те времена, когда ИИ крутят бабками банков и акциями корпораций и все борются за то, чтобы их ИИ стал лучше, чем у конкурентов, а ИИ конкурируют между собой.
     
     
  • 2.17, Аноним (-), 19:05, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    клоун: Торговые роботы на бирже уже давно превышают по оборотам людей.
     
  • 2.33, Аноним (-), 22:09, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    сектанты «невидимой руки рынка» и тут отметились
     
  • 2.38, Fantociy (?), 00:34, 07/12/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    А я мечтаю чтоб моей страной правил президент не из кремля, а из серверной стойки. Чтоб гимном страны был чиптюн написанный бородатым админом за ящик пива. Я бы пожертвовал  50% вычислительной мощности своего компа на избирательную компанию. Такой президент бы сразу заменил чинуш на однострочник на перле. А менты  сразу пропадут без следа после запуска гарбидж коллектора. И тогда заживем..
     
     
  • 3.44, Аноним (-), 09:07, 07/12/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >А я мечтаю чтоб моей страной правил президент не из кремля, а из серверной стойки.

    Кстати, да. Тоже давно думаю, что так было бы куда лучше.

     
  • 2.60, Аноним (-), 05:17, 09/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Уже вижу те времена, когда ИИ крутят бабками банков и акциями корпораций

    Торговые боты - конкретный баян. Хуже будет когда до них военные доберутся, которым надоело отпадение радиолинка.

     

  • 1.22, Аноним (-), 20:51, 06/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    А что вы понимаете под словом "интеллект"? Есть общее определение? Нету, друзья, и не будет. Лучше говорить "искусственный разум" (ИР), так понятнее становится. К слову "разум" тоже вопросы есть, но незачем плодить лишние сущности, если понимание родного слова намного глубже изначально, чем навязанного извне.
     
     
  • 2.25, Я. Р. Ош (?), 21:10, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >чем навязанного извне

    Откуда вы на свет ползете. Кому ты нужен чтоб тебе что то навязывать?
    Ежжай в дерьовню движелубки смотреть

     
  • 2.34, Аноним (-), 22:13, 06/12/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А что вы понимаете под словом "интеллект"? Есть общее определение? Нету, друзья,
    > и не будет. Лучше говорить "искусственный разум" (ИР), так понятнее становится.
    > К слову "разум" тоже вопросы есть, но незачем плодить лишние сущности,
    > если понимание родного слова намного глубже изначально, чем навязанного извне.

    я Вам одну умную вещь скажу, только Вы, пожалуйста, ее запомните: образы, соответствующие [b]любому[/b] понятию у каждого человека свои, потому, если быть точным, общих определений вообще не существует

     
     
  • 3.42, Аноним (-), 07:28, 07/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >образы, соответствующие любому понятию у каждого человека свои, потому, если быть точным, общих определений вообще не существует

    Существуют, если предварительно договориться, дав точное (исключающее любое иное толкование) определение. Тогда придётся подстраивать свои образы под это определение. Другой вопрос, насколько сложно и возможно ли вообще дать это точное определение.

     

  • 1.39, Аноним (-), 03:06, 07/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Совместить с GoPro и POV жанром порнхаба.
     
  • 1.45, Илон Маск победит (?), 11:48, 07/12/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Илон Маск это символ прогресса на этой планете. Он создает Будущее.
     
     
  • 2.61, Аноним (-), 05:18, 09/12/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Илон Маск это символ прогресса на этой планете. Он создает Будущее.

    Не только он. Но - такие как он.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру