The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Прототип интерфейса для управления GNOME 3 жестами перед web-камерой

04.04.2012 21:58

Создатели проекта Skeltrack, в рамках которого развивается свободная библиотека для отслеживания в режиме реального времени перемещения конечностей человека перед камерой с датчиком глубины, представили прототип практической реализации интерфейса для организации управления GNOME 3 через систему пространственных жестов. Код управляющего интерфейса распространяется под лицензией GPLv3. Наглядно оценить возможности пространственного управления можно просмотрев специально подготовленный видеоролик.

Используя web-камеру с датчиком глубины, которой комплектуется устройство Kinect, разработчикам удалось организовать генерацию событий Xlib через распознавание типовых жестов. Например, можно перемещать курсор контролируя его позицию указательным пальцем, масштабировать окна и изображение через характерное разведение или сведение ладоней, выбирать объект, прокручивать содержимое окон, перемещать окна и т.п. Отдельный интерес представляет демонстрация возможностей Skeltrack для управления играми. В частности, показано как можно управлять автомобилем в игре Super Tux Kart, изображая руками вращение руля.

Для приёма видеопотока с данными глубины от камеры Kinect используется GFreenect, а для отслеживания движений рук задействована библиотека Skeltrack. Управляющие жесты воспринимаются путем анализа попадания руки в активную область, которая определена примерно в 30 см. от головы. Жесты достаточно интуитивны. Например, когда одна рука двигается осуществляется перемещение курсора; клик воспринимается когда одна рука находится в активной зоне, а вторая быстро входит и выходит из активной зоны; если вторая рука задерживается в активной зоне распознаётся нажатие и удерживание кнопки мыши, первая рука при этом может использоваться для перемещения объекта.



  1. Главная ссылка к новости (http://www.joaquimrocha.com/20...)
  2. OpenNews: Skeltrack - первый открытый проект для отслеживания перемещения скелета человека перед камерой
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/33533-skeltrack
Ключевые слова: skeltrack, gesture, gnome
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (59) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, alltiptop (ok), 22:45, 04/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +19 +/
    Диетологи будут прописывать гном 2 раза в день?
     
     
  • 2.14, Аноним (-), 00:03, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Почему? Для похудения?
     
     
  • 3.30, FSA (ok), 07:37, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Даже по экрану возить пальцем нужно больше энергии, чем мышкой или тачпадом. А тут вообще упражнение и руки постоянно в воздухе!
    Всё-таки до сих пор ничего лучше мыши не придумали для работы! И тачпада в случае стеснённых или полевых условий.
     
     
  • 4.43, Axel (??), 12:00, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Всё-таки до сих пор ничего лучше s/мыши/клавиатуры/ не придумали для работы.

    Вот под этим подпишусь :)

     
     
  • 5.45, pavlinux (ok), 13:43, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Теперь на работу будут принимать действительно "сильных" программистов.
    Склиозники с мех.-мата МГУ будут просто падать в обморок от истощения,
    после 2-х часов работы ибо забивали на Физ-ру :D
     
  • 4.56, lucentcode (ok), 20:11, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Откройте для себя продукцию Wacom:) И мультитач-экраны, которые доступны и для ПК(правда по заоблачной цене).
     
  • 4.63, Аноним (-), 03:11, 06/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Даже по экрану возить пальцем нужно больше энергии, чем мышкой или тачпадом.
    > А тут вообще упражнение и руки постоянно в воздухе!
    > Всё-таки до сих пор ничего лучше мыши не придумали для работы! И
    > тачпада в случае стеснённых или полевых условий.

    Наоборот. К "упражнениям" и "рукам постоянно в воздухе" человеческий организм уже привых за сотни тысяч лет эволюции. А вот к мышке - нет. Что соответственно вызывает целый букет профессиональных заболеваний.

     
     
  • 5.64, Аноним (-), 05:12, 06/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    угу, 15 минут руки на весу подержи, тогда перестанешь умничать бредом об эволюции
     
  • 4.66, Avator (ok), 05:50, 07/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Согласен, только вы еще про trackpoint забыли =)
    на небольших ноутах это очень удобно )
     
  • 4.68, Аноним (68), 18:32, 10/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >>в случае стеснённых или полевых условий.

    трекбол наше всё.=)

     
  • 2.49, анон (?), 14:58, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    гном 3 раза в день =)
     

  • 1.3, Аноним (3), 23:01, 04/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А что без "датчика глубины" нельзя управлять?
     
  • 1.7, Аноним (-), 23:30, 04/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Годно будет, если допилить, ИМХО...
     
     
  • 2.9, Аноним (-), 23:34, 04/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Может быть полезно в качестве дополнения к основному интерфейсу.
     
  • 2.10, Аноним (-), 23:34, 04/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Годно будет, если допилить, ИМХО...

    Допилить и отправить аппл к чертям с их патентами на тачскрин жесты в соседней ветке.

     
     
  • 3.29, Аноним (-), 06:54, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда придет мелкософт, у нх кинект уже давно и патентов наверняка уже целый ворох.
     

  • 1.11, QuAzI (ok), 23:49, 04/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +13 +/
    Вот уже два часа Василий пытался объяснить гному "Иди на*, я не хочу удалять все файлы с рабочего стола"
     
     
  • 2.17, Аноним (-), 00:24, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Вот уже два часа Василий пытался объяснить гному "Иди на*, я не
    > хочу удалять все файлы с рабочего стола"

    А просто показать средний палец в камеру он не пробовал? :)

     
     
  • 3.28, Аноним (-), 06:29, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Приложение GNOME обиделось и закрывается. Следующие 12 часов он не хочет с вами разговаривать.
     
  • 2.60, Аноним (-), 03:05, 06/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот уже два часа Василий пытался объяснить гному "Иди на*, я не хочу удалять все файлы с рабочего стола"

    При чем здесь гном? Это будущее windows 9.
    А линуксу оно не грозит. Ибо там довольно сложно превратить десктоп в файлопомойку :)

     

  • 1.12, Аноним (-), 23:56, 04/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    я уже придумываю, какой жест повесить на "послать sigkill текущему приложению"
     
     
  • 2.18, Аноним (-), 00:25, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > я уже придумываю, какой жест повесить на "послать sigkill текущему приложению"

    Да что там придумывать - "см. рис. 1", там вполне доходчиво :)

     

  • 1.13, Аноним (-), 00:01, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Теперь инвалидам будет еще легче работать в гном3.
     
     
  • 2.15, Аноним (-), 00:04, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А остальным людям что делать?
     
     
  • 3.16, Аноним (-), 00:07, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Тем, кто пользуется гном3 - можно ничего не делать, им и так хорошо.
     
  • 3.58, Аноним (-), 20:27, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Стать инвалидами
     
  • 2.22, paulus (ok), 00:42, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Теперь инвалидам будет еще легче работать в гном3.

    Это каким? У которых нарушена координация или слабое зрение? Тут проф. дирижером нужно быть, а не инвалидом... Хотя может кому-нибудь и поможет.

     
     
  • 3.26, Аноним (-), 03:07, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Это каким? У которых нарушена координация или слабое зрение?

    Ну вот поневоле и прокачаются :)

     
  • 3.65, Пр0х0жий (ok), 17:50, 06/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    +1
    Угу.
    Вот надел очки и думаю: и как это г*вно должно понять, что шрифты мне надо чуть больше, но не везде?
     
  • 2.61, Аноним (-), 03:07, 06/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Теперь инвалидам будет еще легче работать в гном3.

    Наоборот - не всякий инвалид осилит руками махать.
    Гномошелл - для здоровых и энергичных людей.
    А лица с ограниченными возможностями могут поставить ubuntu воспользоваться голосовым управлением из unity.

     

  • 1.19, paulus (ok), 00:33, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    В гугло-хроме подобную срань пилят, типа заняться больше нечем... Все сделано, чтобы вы работали-работали, но почесав ушко выполнили rm -rf ~/;)
     
  • 1.20, XoRe (ok), 00:35, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Офигительно.
    Вот оно, будущее.

    Имхо, как дальнейшее развитие, реакция на простое указание пальцем в сторону объекта.
    Кстати, не так сложно, если система будет знать, как относительно друг друга расположены монитор и kinect.
    Есть точка в пространстве "голова"/"глаза", есть точка "кончик указующего пальца".
    Выбираем момент, когда кончик пальца закончил движение в сторону монитора и начал движение обратно.
    Через две точки строим прямую до пересечения с плоскостью "монитор" - получаем координаты щелчка.
    В итоге:
    - не нужна мышка
    - не нужна клавиатура
    - не нужны широкие жесты руками

    P.S.
    Мне кажется, для управления жестами пора придумывать что-то, отличное от мышки.

    P.P.S.
    Кстати, так же можно подумать об управлении клавиатурой жестами.
    Молотишь пальцами в пространстве - система распознает, на место какой кнопки ты нажал.
    Можно ориентировать клавиатуру по большим пальцам, они обычно на концах пробела лежат.

    P.P.P.S.
    Блин, куча идей сразу возникает)

     
     
  • 2.21, paulus (ok), 00:39, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    1. пальчики у всех разные... настройки сделаешь?
    2. всю кучу уже запатентовали... ;)
     
     
  • 3.24, Аноним (-), 01:06, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > 1. пальчики у всех разные... настройки сделаешь?

    Лазерные клавиатуры никогда не видели? Они именно этим и занимаются. Подсветка лазером нехило в этом помогает. Заодно вы еще и видите что печатаете :)


     
  • 2.23, Аноним (-), 01:05, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Вот оно, будущее.

    Будушее - это возможность рулить силой мысли (прямой интерфейс человек-машина). Лучше чем перед камерой кривляться.

     
     
  • 3.42, Аноним (-), 11:44, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Вот оно, будущее.
    > Будушее - это возможность рулить силой мысли (прямой интерфейс человек-машина). Лучше чем
    > перед камерой кривляться.

    Нет не так. Будушее - это возможность силой мысли выполнять необходимую работу без участия машин (это промежуточное звено).


     
     
  • 4.50, alltiptop (ok), 15:14, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Нет не так. Будушее - это возможность силой мысли выполнять необходимую работу
    > без участия машин (это промежуточное звено).

    Люди - промежуточное звено.

     
     
  • 5.62, Аноним (-), 03:08, 06/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Люди - промежуточное звено.

    Тссс, роботы, не палимся.

     
     
  • 6.67, xrensgory (?), 09:58, 09/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Рюмка коньяка с долькой лимона - вот венец творения. Человек лишь промежуточное звено.
     
  • 2.27, Аноним (-), 05:45, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Тоже сначала так думал. Но купив ребенку XBOX с Kinect, ессесно вместе с ребенком изучал всю эту ацкую конструкцию, и через полчаса после первой игры понял ну его нафиг такое будущее с такими физическими нагрузками. :) Мышкой по столу елозить проще. Хотя детям думаю полезно двигаться, дети от этих жестов просто в восторге. :)
     
     
  • 3.47, Sergey (??), 14:15, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Всем полезно двигаться, не только детям :)
     
  • 2.40, Ваня (??), 10:55, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ваши идеи находят практическое воплощение с 60-х годов. Мне понравились перчатки где клик реализован как сведение пальца с большим пальцем (кликов соотв. 4). Но практическое использование оказалось излишне неудобным.

    В 90-е мартышке вживили провода в мозг и научили использовать механическую руку силой мысли. Сейчас разрабатывают аналогичное решение пытаясь считывать волны мозга без сверления черепа.

    Но всё это, как я думаю вы понимаете, не в СССР, не в России и не в Сколково.

     
     
  • 3.46, pavlinux (ok), 13:54, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Но всё это, как я думаю вы понимаете, не в СССР, не в России и не в Сколково.

    Найвный чукотский бот.

     
  • 2.54, Амонимус (?), 17:57, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >Мне кажется, для управления жестами пора придумывать что-то, отличное от мышки.

    Уже придумали - голосом, мыслью, взглядом. Осталось довести до ума.

    А подобное пальцемахание - глупости. Когда будут экраны в воздухе, тогда они будут иметь смысл. Хотя, толстожопому будет удобно, лежа на диване с бутылкой пива, переключить другой роли порнухи на тытруба.

     

  • 1.25, Аноним (-), 03:06, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    прикольно, интересно пощупать... если так можно выразиться :)
     
  • 1.32, ааноним (?), 08:29, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    нашёл практическое применение - повесить монитор + Raspberry Pi + Kinect на стене под потолоком на кухне)))
     
  • 1.33, Аноним (33), 08:33, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Так вот он какой танец с бубном ))))
     
     
  • 2.41, Aleks Revo (ok), 10:58, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ага, в бубне - rfid-чип для доступа к административным функциям )))
     

  • 1.34, Аноним (-), 08:52, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Gunomushiki-do
     
     
  • 2.36, uniman (ok), 09:23, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Gnome-do, Путь Гнома, или Искуcство Побеждать Программы.

    В книге:
    Ката Журавль взмахнул крыльями и запустил Программу
    Ката Обезьяна Ошиблась
    Ката Обезьяна Ошиблась-2
    Ката Обезьяна Ошиблась-3
    Ката Обезьяна Изображающая Журавля
    Ката Змей ползающий между окон
    Ката Комар Жалящий все окна
    Ката Злой Дракон Запутавшийся в Окнах
    Ката Рассвирепевший Тигр Прыгающий на Монитор и Ударяющий его Лапой
    Ката Уставшая Обезьяна без Монитора


     

  • 1.35, Аноним (-), 09:15, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Теперь мне все ясно, мне ясно почему все такое большое в гноме. Это чтобы сдалека не промахнуться.
     
     
  • 2.57, Аноним (-), 20:26, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Кэп не дремлет :D
     

  • 1.37, Anonimus (??), 09:59, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если у вас проблемы с работой в 3D приложениях в том числе Wine: нельзя переключиться на другую программу/рабочий стол, свернуть и т.п. Открой для себя Гноме 3, как это сделали для себя многие. Поняв философию интерфеса, выучив пару тройку хоткеев уже не захочется, что-то другого, кроме может быть устаревшего оборудования. Проект бурно развивается и на целен на будущее. ИМХО реальной альтернативы ему нет в своей категории... А так злобно критиковать зачем? Сделай лучше...
    ЗЫЖ Основной аргумент ненавистников звучит один - слишком унифицированный интерфейс, нормальный человек посчитает это только плюсом единый интерфейс на многих типах/формах устройств.
     
  • 1.39, Ваня (??), 10:48, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    GNOME: решение на уровне "посмотрите что я могу", практической пользы из-за неудобства и колоссальных затрат энергии не имеет.

    Игры: Кинект используется уже давно и широко (для игр собственно и создавался), так что "отдельный интерес представляет демонстрация возможностей для управления играми" показывает желтизну ресурса во всей красе.

     
     
  • 2.48, anonimous (?), 14:55, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    управления играми - _которые изначально под киннект не затачивались_.
     
     
  • 3.52, Ваня (??), 15:46, 05/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    "Игры, написанные для Kinect" и "Kinect, разработанный для игр" - это программно-аппаратный комплекс, дяденька.
     

  • 1.44, Аноним (-), 13:00, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Напомнило сцену из фильма "Особое мнение"
     
  • 1.53, Xasd (ok), 15:51, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Jeepers!
    >
    > This video can’t be played with your current setup.
    > Please switch to a browser that provides native H.264 support or install Adobe
    > Flash Player.

    Opennet местами бывает ну прям такой OPENnet xD xD xD

     
  • 1.59, Аноним (-), 21:48, 05/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вот тут-то и проявил себя гном три в самом лучшем виде: им легко управлять чем угодно, в том числе методами которые не были придуманы во время написания кода. Глючный тачпад, мышка, тачскрин, графический планшет — на любом устройстве среда отлично управляема и не раздражает.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру