D. Классификация скорости сверла по звуку

Дополнительная двумерная визуальная информация, включающая цвет и статистику краёв/текстуры, позволяет улучшить оценку «качества» совпадения, особенно на классах объектов, которые трудно обнаружить чисто геометрически. Такие данные снижают обще применимость подхода, но улучшают точность на объектах, для которых данные со стерео-камеры и с время-пролётной камеры являются разрежёнными или неточными.

Рис. 4. Конвейер локализации объекта восприятия.

C. Слежение за рукой

Слежение за рукой необходимо для уменьшения ошибок, возникающих из-за неточностей определения положения сочленений WAM. Наш подход состоит использовании метода обнаружения края, который основан на алгоритме RAPiD [13]. Устойчивость метода была улучшена с помощью нескольких модификаций. Во-первых, расширенный алгоритм использует оба изображения со стерео-камеры, согласовывая края на обоих. Во-вторых, расширенный алгоритм несколькими итерациями перепроецирования (в режиме отслеживания) уменьшает неопределенность положения края. В-третьих, алгоритм запускается несколько раз для каждого кадра с набором семян из исходных позиций кандидата, чтобы избежать локальных минимумов. Из этих семян мы выбираем наилучшее совпадение согласно классификации линейной регрессией, обученной методом помеченных сходимостей (labeled convergences)[6]. В настоящее время наша система отслеживания руки работает со скоростью 4 кадра в секунду (fps) и достигает точности оценки позы 5 мм и 3 градуса. На рисунке 5 мы резюмируем этот процесс на блок-схеме.

Рис. 5. Диаграмма метода отслеживания руки робота.

D. Классификация скорости сверла по звуку

Стерео-микрофон на голове классифицирует звуки, которые рука может вызвать при взаимодействии с объектами во время различных задач. Это знание дает обратную связь, чтобы помочь с успешным выполнением задачи. Например, анализ звука может быть использован для определения того, был ли нажат триггер электрического дрели полностью или нет. Следовательно, скорость сверла напрямую коррелирует с тем, насколько далеко рычаг сверления нажат пальцами. Легче услышать скорость сверления, вместо того, чтобы пытаться увидеть положение пальца камерой или почувствовать положение пальца с датчиком давления. Мы определяем 3 скорости сверла: низкая, средняя и высокая. Это позволяет классифицировать звук сверла в один из трех классов. Задача включения дрели выполнена только тогда, если звук попадает в класс высокой скорости. Последовательность классификации звука изображена на рис.6. Необработанный сигнал отбирается с частотой 44,1 кГц с 16-битным словом. Затем оцифрованный сигнал разбивается на короткие окна длиной около 0,5 секунды. БПФ (FFT)[7] используется для преобразования каждого окна в частотную область, а затем различные векторы признаков извлекаются как из частотной области, так и из исходной временной области. Векторы признаков из правой и левой стереопары усредняются вместе. Эти векторы затем используются как входы в несколько 2х-классовые классификаторы Support Vector Machines (SVM)[8], по одной для каждой пары классов. Затем двоичные выходы SVM объединяются в многоклассовый классификатор с использованием Ориентированного Ациклического Графа Принятие Решений (Decision Directed Acyclic Graph). SVM были обучены в автономном режиме с использованием данных с ручным заданием меток, с испытаниями на каждую из трех скоростей дрели. Затем классификатор может работать в режиме онлайн с использованием обученных моделей. Подробнее см. в статье [14].

Рис. 6. Конвейер выполнения звуковой классификации.

E. Планирование перемещений

Вычисление траекторий движения руки для выполнения задач захвата и манипуляции. Для алгоритмов планирования задачи определяются в операционном пространстве[9] робота [15]. Это пространство больше подходит для обнаружения столкновений и для вычисления желаемого движения руки. Тем не менее, отображение из операционного пространства в пространство конфигурации (C) манипулятора требуется для управления рукой с помощью задания углов сочленений. Планировщик состоит из 3х уровней: сначала выполняется планировщик нижнего уровня, за ним – более сложный и медленный только в том случае, если предыдущий уровень потерпел неудачу. Первый уровень – это самый быстрый планировщик рабочего пространства, основанный на обратной кинематике для прямолинейных движений рукой. Он способен обнаруживать столкновения вдоль траектории, хотя и не в состоянии их избежать. Вторым слоем планирования является вариант алгоритма CHOMP [16]. Он способен изменять траектории для ухода от столкновений с помощью ковариантного градиентного спуска градиента. Наконец, третий глобальный планировщик основан на алгоритме Bi-RRT [17], расширенный возможностью учёта ограничений положения захвата [18], он предназначен выполнять определенные задачи, такие как перенос объектов без изменения их ориентации во время движения. Рассмотрим уровни более детально.

1) Обратная Кинематика: на этом уровне вычисляются набор конфигураций, соответствующих заданному положению захвата в рабочем пространстве с помощью IK-быстрого метода [19]. Каждый элемент q_IK конфигураций в полученном наборе тестируется на наличие столкновений. Конфигурации без столкновений (удовлетворяющие ограничениям свободного пространства), далее сортируются в зависимой от задачи функцией полезности F_IK: C → ℝ, которая оценивает качество конфигурации в отношении выполняемой задачи. Например, она может прикинуть возможности манипуляции рукой в положении q_IK [20] или близость к препятствиям. Для некоторых задач в F_IKможет быть учтена первоначальная конфигурация q_I (напр., рука сложена): требуется минимизировать расстояние C-пространства между q_I и q_IK или близость препятствия вдоль геодезической, соединяющей две конфигурации, рассчитанные управлением в рабочем пространстве в разделе 2-F.1. Возможные q_IK хранятся в очереди приоритетов согласно величине F_IK. Используется лучшее q_IK, траектория от q_I до q_IK разбивается на отрезки для определения в них столкновений, пределов сочленений и особенностей. Если они не найдены, траектория используется, в противном случае будет вызван планировщик более высокого уровня.

2) Планирование на основе Оптимизации Коварианта: гладкая траектория без столкновений вычисляется методами численной оптимизации. Первоначальная траектория сначала выбирается на основе эвристики; например, геодезическая в С-пространстве, или прямая линия в рабочем пространстве робота. Предположим, что конечными конфигурациями траектории являются q_I и q_F. Тогда проблему вычисления допустимой траектории можно сформулировать как минимизацию некоторой функции стоимости F при ограничениях траектории. Пусть функция стоимости F: Q × U → ℝ (независящая от времени) есть затраты системы при управлении u из конфигурации q ∈ C. На практике стоимость может быть связана с продолжительностью действия управления, величиной потребляемой энергии, величиной риска и т. д. Целевая функция обычно конструируется таким образом, что информация от восприятия робота, отображённая в скалярное значение, была согласована с желаемой величиной стоимости движения.

Наша функция стоимости есть взвешенная сумма функций-компонентов, которые задают набор критериев для желаемой эффективности:

,                                              (1)

где вектор весов w ∈ ℝ^k. Некоторые наиболее важные компоненты функции стоимости, например, препятствия, гладкость и ограничения движения захвата, приведены ниже.

Компонента гладкости f_s(τ _u( t)) есть функция от траектории. Эта функция является суммой квадратов производных. Для каждой производной d = 1, ... , D, рассматривается конечная разностная матрица K_d, и гладкость представляется в виде суммы:

                                       (2)

где константы e_d являются граничными величинами q_I и q_F, а w_d есть веса каждой компоненты стоимости. Функция гладкости может быть переписана в квадратичной форме:

                                          (3)

с соответствующими константа, где А положительно определена. Последняя также используется как метрика ковариантного градиентного спуска.

Функция стоимости для столкновений предполагается непрерывной и дифференцируемой. Один из подходов получения функции стоимости и представления препятствий окружающей среды заключается в использовании сигнального поля расстояний d: ℝ³ → ℝ, которое задает расстояние от точки x ∈ ℝ³ до ближайшей границы препятствия. Значения поля расстояний отрицательны внутри препятствий, положительны снаружи и являются нулями на границе.

Можно вывести дискретные варианты d(x), которые работают на сетке. Существует множество быстрых методов вычисления преобразований дискретных расстояний; например, метод из [21] имеет линейную сложность по количеству ячеек сетки. К сожалению, для типичных областей, с которыми работает манипулятор, это вычисление занимает несколько секунд на современном оборудовании даже при минимально допустимом разрешении сетки. Но, наоборот, это разрешение полезно увеличить в максимально возможной степени, поскольку оно улучшает сходимость оптимизатора. Поэтому полезно использовать граничные представления объектов геометрическими примитивами (такими как сферы, ящики и т.д.), для которых вычисления расстояния имеют аналитическую форму.

Наконец, во многих случаях полезно применять стоимость рабочего пространства для движения робота. В контексте задачи манипуляции хотелось бы удерживать захват в отдельной области SE(3)[10]. Как было сказано, любая непрерывная и дифференцируемая функция стоимости может быть использована в таком подходе. Рассмотрим некоторый элемент робота b ∈ B и его положение в рабочем пространстве, можно задать функцию стоимости в виде меры пространства, чтобы она была равна 0, если b внутри области, а иначе становилась бы квадратичной относительно расстояния до области. Используя меру по оси Оx в качестве примера, предположим, что мы хотим ограничить позицию b, если её координата х больше x_min. Можно задать потенциал стоимости в рабочей области так:

                                            (4)

Практика показала, что производительность планировщика может быть чувствительной к начальному семени траектории, поэтому генерируется последовательность нескольких различных начальных траекторий на основе контекстной информации из среды. Чтобы свести к минимуму количество начальных траекторий, порядок элементов в последовательности ранжируется за счет использования субмодулярного[11] характера этих попыток. Каждая траектория в последовательности выбирается так, чтобы максимизировать предельное улучшение планируемого успеха последовательности, предполагая, что все предыдущие элементы потерпели неудачу. [8]

F. Управление и хватание

1) Управление в операционном пространстве

Операционное пространство на основе скоростей используется для генерации желаемых скоростей суставов  для заданной скорости захвата робота . Этот подход отличается хорошей общей производительностью, например, по сравнению с представленными в [22].

Требуемые скорости в сочленениях для заданной скорости руки  вычисляются, используя подход управления скоростью движения, предложенный Liegeois [23] в виде

                                             (5)

где J – Якобиан робота, обозначением J+ есть псевдо-обратный к нему, λ – коэффициент усиления, а H(q) – функция стоимости/полезности в нуль-пространстве (ядре линейного пространства). Различные критерии могут быть использованы для определения H(q) в зависимости от цели, например, избегать ограничений суставов или кинематических особенностей.

Команда для требуемого крутящего момента двигателя рассчитывается с использованием метода расчета с заданным крутящим моментом с добавленной обратной связи по скорости [22] для отслеживания желаемых скоростей суставов в (5),

                                  (6)

где M(q) – матрица инерции, C(q,q̇) – вектор Кориолиса/центробежный вектор, g(q) – вектор силы тяжести, K_q,d – матрица усиления, а τ – вектор крутящего момента сочленений. Желаемое совместное ускорение q̈_d получается путём дифференцирования . Скорость захвата определяется от задачи к задаче, но обычно перемещение сервоприводом выполняется до желаемого положения захвата x_d в пространстве задач и до контакта с объектом. В таком случае желаемая скорость руки вычисляется как

,

где K_x,p – положительный пропорциональный коэффициент усиления. Мы используем вышеуказанную формулу управления в операционном пространстве для достижения скоростей захвата, требуемых многими манипуляционными поведениями.

2) Примитивы хватания.

3 простых и потому эффективных шага хватания с управлением силой:

Рис. 7: Хватание молотка в три шага: касание земли, хватание, поднятие.

В этих примитивах кончики пальцев, контролирую силу находятся в контакте с предметом, а сами пальцы – в контакте с поверхностью. См. [4] для более детального изучения реализации этих примитивов.

Рис. 8: Этапы хватания дрели с манипуляцией: прикосновение к валу,
прикосновение к базе, захват вала и активация кнопки.

Мы поможем в написании ваших работ!