JeVois: Open-Source четырехядерная платформа для компьютерного зрения

    Я увлекаюсь роботами, постоянно мониторю интернет в поисках интересных решений. Случайно нашел очень интересный проект, спешу поделиться информацией с Вами. Краудфандинговый проект JeVois это Opensource платформа машинного зрения: видео датчик и четырехъядерный процессор в крохотном корпусе 28 куб. см. Доставка намечена на февраль 2017. Данный модуль способен передавать данные по USB или последовательному порту. По заявлению авторов проекта все должно работать из коробки. Все что требуется это вставить карту памяти microSD с Вашей программой (заявлена поддержка opencv 3.1 и многих других алгоритмов) и подключить к компьютеру или микроконтроллеру.


    JeVois начал развиваться как учебный проект, так как авторы поняли острую необходимость в подобном модуле искусственного зрения при проектировании в робототехнике. На текущий момент отсутствуют специализированные решения, способные работать с raspberry pi или arduino из коробки.




    JeVois призван восполнить этот пробел, предоставляя самодостаточный модуль компьютерного зрения, который может обеспечить как передачу видео, так и передачу результата работы алгоритма компьютерного зрения через последовательный порт.

    JeVois работает следующим образом: видео захватывается с камеры, обрабатывается на лету через алгоритм машинного зрения на собственном процессоре, а результаты передаются по USB к компьютеру и/или через последовательный к микроконтроллеру.



    На компьютере JeVois обнаруживается как USB-камера. Смарт камера JeVois – это Opensource проект, это подразумевает самые широкие возможности персонализации и модификации под свои нужды. Авторами проекта заявлены три стандартных режима работы:

    1. Передача через USB видео с передачей через последовательный порт результата анализа видео(например, координаты и содержание любого QR-кода, который был идентифицирован).
    2. Передача текстовой информации без видео.
    3. Передача видео с пометкой наиболее интересных областей для дальнейшего анализа на более мощном ПК, например, с использованием нейронных сетей.

    Технические Характеристики




    Смарт-камера — это полноценный компьютер с Linux на борту. Он может работать сам по себе, без подключения к ПК или микроконтроллеру. Благодаря вентилятору охлаждения, он может работать при полной нагрузке без перегрева, сохраняя постоянную скорость процессора 1.34 ГГц.

    Программное обеспечение




    В приведенном в видео примере, скорость обработки алгоритма является 73 fps на процессоре смарт-камеры, то есть требуется 13.68 мс для обработки одного видеокадра. Также отметим, что процессор не полностью загружен по этому алгоритму (148.7% нагрузки, при этом 400% соответствует полной загрузки всех 4 ядер процессора). Следовательно, дополнительные алгоритмы также могут работать параллельно с анализом видео.


    Примеры распознания маркера дополненной реальности (ArUco), обнаружения и распознавания объектов, обнаружения дороги для автономного вождения.


    Отслеживание 120гц глаза (потоков камеры в 120 кадров в секунду, обработка выполняется при 200+ фпс)



    К апрелю разработчики обещают создать сообщество и доработать программное обеспечение, которое обеспечит расширенный функционал.

    Сравнение модели Raspberry Pi3




    Проект JeVois отчасти стал возможным благодаря научно-исследовательским грантам от Национального научного Фонда и агентства DARPA.

    Очень надеюсь на удачное развитие данной платформы, это поможет сделать качественный скачок в DIY-проектах.

    Даешь SLAM для роботов!
    Считаете ли Вы данный проект интересным?
    Стоит ли мне делиться интересными проектами, которые мне удалось найти?

    Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

    Поделиться публикацией
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 22
    • +2
      С одной стороны — довольно интересно, с другой стороны — Raspberry Pi + камера + linux + OpenCV, вывод передается дальше на usb+serial port (вкратце суть устройства)
      • 0
        Именно для этого сравнение с rpi.
        Существенно можно выиграть в габаритах и в неиспользованный существующего кода.
        • 0
          По мне так плюсы это относительно низкая цена за готовое устройство (50-60 долларов за комплект с карточкой). Хотя конечно я не знаю, получается две RPI вместо одной, хотя неизвестно, будет ли справляться одна RPI с обработкой изображения и другими делами одновременно? Для таких чайников как я еще жирный плюс в том, что готовый софт, нужно только плагины устанавливать. Чем меньше порог вхождения, тем больше шансов, что энтузиазм не усохнет после чтения кучи мануалов. Ну и если выкристализуется какой то стандард, то может и другие производители подтянутся.

        • 0
          В статье упомянуто MALI-400 c opencv 3.1, и в тоже время есть информация, что:

          The old mali-400 does neither support opencl nor cuda(obvious, since its nvidia only). The gpu only supports opengl ES 2.0

          Или эта информация уже не актуальна?
          • +3
            Словосочетания «A33» и «mali-400» наводят на мысль, что описываемый в статье проект, возможно, строится на базе китайского SoC Allwinner A33 от печально известного китайского производителя Allwinner, который славится тем, что выпускает очень дешевые, ужасно энергонеэффективные чипы и попутно нарушает все принципы OpenSource:
            Allwinner GPL violation
            Mali-400, графический ускоритель, встраиваемый во все чипы Allwinner, чей производитель так и не удосужился предоставить исходный код своих драйверов. Энтузиастам пришлось запилить опенсорсный проект драйвера Lima
            • 0
              Согласен с вами, и по личному опьіту, мали 400 ставит жьірньій крест на єтом проекте, я когда-то на бананапи с єтим мали400 так натанцевался, что страшно вспоминать.
            • +2
              Никак не могу понять, почему здесь только одна камера, а не две, три или даже четыре соосных. Стереозрение гораздо интереснее. И при этом всё равно должно обрабатываться в одном и том же месте, так как данные между собой сильно связаны и для вычислений нужен доступ ко всем глазам одновременно.
              • +1
                Сюда еще бы гиперспектральную камеру и не было бы цены такому комплекту
                • 0
                  Только аккуратнее с заказом подобного в Россию. Если на таможне посчитают, что это «устройство негоасного получения информации», то пожно присесть.
                  • 0

                    Классная штука, но что-то жаба душит 65$, особенно, когда наша "Почта России" убивает содержимое (высок процент вероятности), а потом поддержка/гарантия сомнительная (уже были прецеденты, теряешь тупо бабки).

                    • 0
                      Согласен, но штука очень интересная, особенно если они впихнут в этот корпус вторую камеру и запилят стерео.
                      Пока в планах лишь сделать менее производительную версию без активного охлаждения, насколько я понял.
                    • 0
                      Вот похожий проект, но с микропитоном на борту.
                      • 0
                        Характеристики даже рядом не стоят. Этот проект сравнивают с rpi zero
                      • 0
                        Мне одному показалось, что сам видео-сенсор почему-то взят весьма убогий?
                        ИМХО картинка ощутимо проигрывает тому, что выдаёт камера MobiusHD (сравнимых габаритов) за 70 баков.
                        • +1
                          Высокое качество видео — скорее минус, чем плюс, в задачах компьютерного зрения.
                          • 0
                            Поясните, почему, если не сложно.
                            • 0
                              Чем больше разрешение, тем больше информации необходимо обработать. Это особенно важно при обработке потоковых данных в условиях дефицита вычислительных ресурсов. Так что изображения большого размера, чаще всего, сразу уменьшают, применяют размытие для сглаживания дефектов, обесцвечивают. Хороший пример приведён на второй картинке из поста. То, что слева — исходное изображение. На самом деле программа видит то, что справа.
                              • 0
                                Но большое разрешение понизить достаточно просто и дешево, в т.ч. с помощью аппаратных возможностей матриц.
                                • 0
                                  Просто? Возможно. Дёшево? Ну уж явно не дешевле, чем изначально установить сенсор с нужным разрешением.
                                  • 0
                                    По-моему, нет понятия «нужное разрешение». А цены на сенсоры тоже могут быть разные, не обязательно сенсор с большим разрешением будет дороже.
                            • 0
                              Под качеством я подразумевал именно качество, а не разрешение картинки.
                              Если камера для робота, она должна давать хорошую картинку в помещении при неидеальном освещении. В видео у них картинка на уровне дешёвых веб-камер. Будет жаль, если эта деталь загубит всю идею.

                              Хотя и с разрешением картинки не всё однозначно(с). Допустим, задача ориентирования в реальном мире — нужно распознать метку, а она находится на расстоянии 10-15-20-50 метров. Другая задача — функция видеонаблюдения. Сами уже понимаете, да? Какой мне смысл в модуле детектирования лица или человека, если фото подозреваемого будет 16*16 пикселей?
                              • 0
                                Забавно, при сравнении изображений путём поиска перцептивного хэша, часто используется интерполяция именно до размера 16*16 пикселей. Пусть этот метод плохо подходит для распознавания лиц, но совпадение интересное. Что касается темы, качество изображения, безусловно, играет большую роль, но модули с низким разрешением, чаще всего, на него не ориентированы. Они дёшевы и подходят для большинства простых задач. Для видеонаблюдения подобное устройство вряд-ли подойдёт, у него другая сфера применения.

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое
                          Интересные публикации