Глобальная Авантюра  
ФОРУМ
главное меню
  1. >
  2. Блог >
  3. СОВ >
  4. Визуальная одометрия на смартфон

Визуальная одометрия на смартфон

 
26 августа 2019 12:55:47 / 15.10.2019 09:45:42   149 31 0.00 / 0 +0.65 / 33
 
СОВ
  СОВ
Извиняюсь за очередную "диван-идею", но мысль эта занимает маня давно. Итак, существует ручной фрезер с автоматической подвижной головой, который сам выбирает текущее положение головы ориентируясь по специальным меткам на поверхности заготовки. Правильную проводку оператором корпуса фрезера вдоль заготовки обеспечивает технология дополнительной реальности:


Вот несколько лет назад, при просмотре рекламного ролика и пришла в голову идея, что хорошо бы создать на основе подобного подхода более универсальное устройство, а именно - разметочное устройство, которое будет ориентироваться не на спец метки, а на фактуру поверхности, обрабатывая информацию с камер трех масштабов машинного зрения: общего (вся заготовка), крупного (квадратный дециметр поверхности), микросъемка (для высокой точности - доли миллиметра). Но вот недавно, как на ветке БПЛА узнал о возможностях визуальной одометрии :
Скрытый текст

+ 0.00 / 0

КОММЕНТАРИИ (31)

  в виде   дерева списка
 
  slavae
 
   
slavae   Россия
Москва
 
Извиняюсь за очередную "диван-идею", но мысль эта занимает маня давно. Итак, существует ручной фрезер с автоматической подвижной головой, который сам выбирает текущее положение головы ориентируясь по специальным меткам на поверхности заготовки. Правильную проводку оператором корпуса фрезера вдоль заготовки обеспечивает технология дополнительной реальности:
Это не работа, это жесть! Вручную обводить контуры этой бандурой - это ж свихнуться можно!
Отредактировано: slavae - 27 августа 2019 15:30:01
Империя - это мир, и этой идеологии достаточно. Мы живём в самой лучшей стране в мире и все нам завидуют.
Одушевлённое Одевают, Неодушевлённое Надевают.
+ 0.00 / 0
 
 
  СОВ
 
   
СОВ  
 
Это не работа, это жесть! Вручную обводить контуры этой бандурой - это ж свихнуться можно!
Посмотрите здесь с 19:40, для сложных пазов может быть идеальным вариантом:
+ 0.00 / 0
   
 
  slavae
 
   
slavae   Россия
Москва
 
Посмотрите здесь с 19:40, для сложных пазов может быть идеальным вариантом:
Я отрицаю любые работы, выполняемые вручную, это должны делать шаговые моторчики )
Империя - это мир, и этой идеологии достаточно. Мы живём в самой лучшей стране в мире и все нам завидуют.
Одушевлённое Одевают, Неодушевлённое Надевают.
+ 0.04 / 2
   
 
  adolfus
 
   
adolfus  
 
Посмотрите здесь с 19:40, для сложных пазов может быть идеальным вариантом:
HeARTwood. У него ролики о своих работах довольно интересные.
...
Таки клеят на поверхность репера. Точность наклейки определяет точность фрезерования.
Отредактировано: adolfus - 29 сентября 2019 23:41:44
+ 0.00 / 0
     
 
  СОВ
 
   
СОВ  
 
HeARTwood. У него ролики о своих работах довольно интересные.
...
Таки клеят на поверхность репера. Точность наклейки определяет точность фрезерования.
Ну нет, очевидно, что важна только неподвижность наклеек. К тому же на 20:29 видно, что оператор привязывает эскиз и к кромке заготовки (может, просто визуально совмещает, но благодаря оптическому увеличению и этого достаточно).
У меня сразу же идея в развитие этой появилась: использовать привязку по изображению заготовки, ведя съемку в трех масштабах - общий вид, крупно и микросъемка. Но т.к. автор изобретения не глупее меня, какие-то есть препятствия к такому подходу. Но лично у меня наклейки вызывают отторжение, я бы уж использовал радиомаяк+микросъемка (зеркальная поверхность редко бывает).
+ 0.00 / 0
       
 
  adolfus
 
   
adolfus  
 
Ну нет, очевидно, что важна только неподвижность наклеек. К тому же на 20:29 видно, что оператор привязывает эскиз и к кромке заготовки (может, просто визуально совмещает, но благодаря оптическому увеличению и этого достаточно).
У меня сразу же идея в развитие этой появилась: использовать привязку по изображению заготовки, ведя съемку в трех масштабах - общий вид, крупно и микросъемка. Но т.к. автор изобретения не глупее меня, какие-то есть препятствия к такому подходу. Но лично у меня наклейки вызывают отторжение, я бы уж использовал радиомаяк+микросъемка (зеркальная поверхность редко бывает).
Радиомаяк точности в 0.1 мм не даст.
Микросъемка даст скорость с некоторой погрешностью. Модуль той скорости порядка 1-2 см/с. Ее нужно интегрировать, как минимум, на пути порядка метр и получить положение фрезера с точностью не хуже 0.1 мм. Есть ли методы?
Отредактировано: adolfus - 02 октября 2019 17:24:45
+ 0.00 / 0
         
 
  slavae
 
   
slavae   Россия
Москва
 
Радиомаяк точности в 0.1 мм не даст.
Микросъемка даст скорость с некоторой погрешностью. Модуль той скорости порядка 12 см/с. Ее нужно интегрировать, как минимум, на пути порядка метр и получить положение фрезера с точностью не хуже 0.1 мм. Есть ли методы?
Шаговые двигатели и каретка на направляющих )
Империя - это мир, и этой идеологии достаточно. Мы живём в самой лучшей стране в мире и все нам завидуют.
Одушевлённое Одевают, Неодушевлённое Надевают.
+ 0.03 / 1
           
 
  СОВ
 
   
СОВ  
 
Шаговые двигатели и каретка на направляющих )
А могут эти шаговые двигатели помочь вырезать фигурные пазы под потолком готового помещения, или на косяках, под модные петли новых дверей, или красиво прорезать отверстия на старой мебели под светильник, например?
Представленное устройство имеет право на существование, оно способно выполнять уникальные операции, которые в противном случае может осуществить только мастер экстра класса.
+ 0.06 / 2
         
 
  СОВ
 
   
СОВ  
 
Радиомаяк точности в 0.1 мм не даст.
Микросъемка даст скорость с некоторой погрешностью. Модуль той скорости порядка 12 см/с. Ее нужно интегрировать, как минимум, на пути порядка метр и получить положение фрезера с точностью не хуже 0.1 мм. Есть ли методы?
Если радиомаяк будет давать точность в 5 мм, этого будет достаточно, т.к. под микросъемкой я подразумеваю съемку с большим разрешением примерно 1-го см2 поверхности. Т.е. мы просто запоминаем и впоследствии "узнаем" конкретный участок поверхности, а радиомаяк позволяет нам запоминать не всю поверхность, а только участок механической обработки. Визуальная же одометрия строится не на определении скорости смещения, а на непосредственном геометрическом определении изменения положения "распознанной" поверхности. Будет ли хватать для этого вычислительных мощностей? Если все делать "влоб", то может и не хватит, а если система будет адаптивно выбирать минимальный необходимый объем запоминаемой и обрабатываемой информации для однозначной привязки с заданной точностью, то думаю, все не так безнадежно.
Важно избежать рывков камеры нашего умного фрезера (хотя радиомаяк поможет быстро восстановить потерянное положение), а значит, он должен не скользить по рабочей поверхности, а катится на прорезиненных шариках, которые будут подтормаживаться с помощью магнитного поля. Ну это уже несущественные детали.
+ 0.00 / 0
           
 
  DarkRaider
 
   
DarkRaider   Россия
Москва
39 лет
 
Если радиомаяк будет давать точность в 5 мм, этого будет достаточно...Важно избежать рывков камеры нашего умного фрезера (хотя радиомаяк поможет быстро восстановить потерянное положение), а значит, он должен не скользить по рабочей поверхности, а катится на прорезиненных шариках, которые будут подтормаживаться с помощью магнитного поля. Ну это уже несущественные детали.

Вот, всё таки, не даёт ручное рукоблудие покоя.

По словам из ролика "в случае ошибки рабочий инструмент автоматически отводится назад и вверх" - подразумевает, что шпиндель и фреза закреплены в девайсе подвижно. Если устройство позиционируется для вырезания фигурных красивостей, а не для нарезки шипов на 6и метровой половой доске - то что мешает сделать 1 шаг вперёд и совместить ручное позиционирование с механизированным управлением режущим инструментом, раз уж всё равно подвижно закреплено. Вот и получится - поставил коробку с инструментом на заготовку, позиционировал её (имхо наклейки - вообще не вариант, точность их наклеивания вносит мультипликативную ошибку в позиционирование). Загрузил путь инструмента, нажал кнопку, инструмент обработал некую рабочую область (10 на 10см условно, для точных резов хватит), дальше сместил коробку вбок (при условии пересечения рабочей области) то есть меньше чем на 10см. Проанализировал картинку(а не видеопоток) - получил положение относительно уже сделанного реза, откорректировал траекторию режущего инструмента, нажал кнопку - получил продолжение реза.

Да громоздко и низкоэффективно. Но при условии работы по 3м осям, а не по 2м - может иметь право на жизнь, так как получим низкую требуемую квалификацию пользователя (единственное что нужно - правильно расположить корпус инструмента в первоначальный момент)+высокую точность обработки рабочего поля 10на10 без смещения (чего хватит на врезку петли допустим) + приемлемую точность при смещении, так как нам не надо анализировать видеопоток смещения, а надо анализировать статическую фотографию и ориентируемся мы не на положение инструмента относительно заготовки, а на положение режущей кромки относительно уже сделанного реза.
+ 0.00 / 0
           
 
  adolfus
 
   
adolfus  
 
Если радиомаяк будет давать точность в 5 мм, этого будет достаточно,
Для использования виртуального шаблона нужна привязка фрезера к заготовке с точностью 50 микрон – это обычная точность фрезерования лиственных пород фрезой среднего ценового диапазона по шаблону. Штучка сыграет только в том случае, если обеспечить точную и непрерывную привязку положения фрезера к заготовке.
Но даже даже решив эту принципиальную проблему, придется решать с нуля еще дюжину технических и технологических, прежде чем это пойдет в серию. Зная историю устройства print dream я довольно скептически отношусь к этой затее – у них на презентациях все отлично работало, но в реале было все совсем по-другому.
+ 0.01 / 1
             
 
  СОВ
 
   
СОВ  
 
Для использования виртуального шаблона нужна привязка фрезера к заготовке с точностью 50 микрон – это обычная точность фрезерования лиственных пород фрезой среднего ценового диапазона по шаблону. Штучка сыграет только в том случае, если обеспечить точную и непрерывную привязку положения фрезера к заготовке.
Но даже даже решив эту принципиальную проблему, придется решать с нуля еще дюжину технических и технологических, прежде чем это пойдет в серию. Зная историю устройства print dream я довольно скептически отношусь к этой затее – у них на презентациях все отлично работало, но в реале было все совсем по-другому.
Подумалось вот, что для грубой привязки фрезера к заготовке хорошо бы подошли камеры, размещенные на голове оператора, которые будут видеть и заготовку в общем, и фрезер на ней. После чего пришла мысль, что если оператор видит фрезер через камеры, то и руки, держащие этот фрезер могут быть механическими. И вот тут вырисовался облик нового ЧПУ фрезера, обладающего уникальными свойствами в своей нише использования.
Т.е. если нам нужны сложные, но небольшие по площади вырезы на заготовке, то крепление заготовки к столу ЧПУ и позиционирование шпинделя будет занимать 50% времени, если не больше. Наш же ЧПУ, без направляющих по осям, а с механическим манипулятором (рукой), елозящим умным фрезером по поверхности, с оптической привязкой, будет выполнять подобные работы с лету.
Причем дорезать пазы и отверстия можно будет и на уже готовых изделиях, - нам не обязательна горизонтальность и даже плоскостность рабочей поверхности. Конечно, в таком случае нужна быстрая интеллектуальная визуальная привязка.
Отредактировано: СОВ - 04 октября 2019 09:07:00
+ 0.00 / 0
               
 
  adolfus
 
   
adolfus  
 
Подумалось вот, что для грубой привязки фрезера к заготовке хорошо бы подошли камеры, размещенные на голове оператора, которые будут видеть и заготовку в общем, и фрезер на ней.
Грубая привязка такого фрезера бессмыссленна. Виртуальный шаблон должен быть неподвижен относительно заготовки, как это имеет место в случае материального – фрезер перманентно должен "знать" свое положение с точностью не хуже половины допуска, а так же скорость, чтобы иметь возможность правильно передвигать двигатель с фрезой. Мало того, в процессе работы сам фрезерный стол с заготовкой может смещаться в некоторых пределах и это не должно влиять на точность. Поэтому привязка к стенкам или потолку тоже бессмысленна – нужно еще мониторить перемещение стола или заготовки.
Кстати, якорь с патроном и фрезой вертится со скоростью около 350 оборотов в секунду, а весь двигатель весит килограммов пять. И все это нужно быстро двигать, чтобы выбирать отклонения от грубого ведения подошвы.
Цитата
Конечно, в таком случае нужна быстрая интеллектуальная визуальная привязка.
Слово "интеллект" абсолютно никакого отношения ни к зрению, ни к машинному, и даже к распознаванию, не имеет.
Отредактировано: adolfus - 04 октября 2019 09:55:55
+ 0.03 / 1
                 
 
  СОВ
 
   
СОВ  
 
Грубая привязка такого фрезера бессмыссленна. Виртуальный шаблон должен быть неподвижен относительно заготовки, как это имеет место в случае материального....
Грубая привязка более чем осмысленна, ибо все здравое иерархично. Грубая привязка нужна, чтобы распознавать портрет поверхности с помощью микросъемки, и т.о. узнавать местоположение фрезы с нужной точностью, и при этом не иметь необходимости запоминать микрорельеф всей заготовки.
Слово "интеллект" абсолютно никакого отношения ни к зрению, ни к машинному, и даже к распознаванию, не имеет.
В том то и дело, что не интеллектуальное распознавание (насколько я понял) очень ресурсозатратно и времени тоже требует. К сожалению, не знаю, как реально осуществляется распознавание, но себе думаю, что оно также обязано быть иерархично: определяем сначала наименьшую простую охватывающую фигуру: параллелепипед, цилиндр, конус, сфера, эллипсоид; определяем масштаб, т.е. условно, это здание вдалеке, или спичечный коробок вблизи; далее определяем наименьшую охватывающую фигуру для четко выделяемых частей объекта; ну и дальше начинаем перебирать возможности, причем выше определенный масштаб нам сильно в этом помогает, уменьшая количество возможных типов объектов. Объекты же мы храним в памяти не в виде картинок, а в виде комбинаций объемных геометрических фигур, например: широкая плоская призма и от трех до шести сильно вытянутых цилиндров или призм, равномерно размещенных с одной стороны призмы, ближе к ее краю и под углом, близким к нормали - табуретка, если конечно масштаб (размер) подходящий. И скажите, что здесь не нужен интеллект.
Вот посмотрите на скорость построения пространственных моделей:
Отредактировано: СОВ - 04 октября 2019 17:27:45
-0.03 / 1
                   
 
  adolfus
 
   
adolfus  
 
Грубая привязка более чем осмысленна, ибо все здравое иерархично. Грубая привязка нужна, чтобы распознавать портрет поверхности с помощью микросъемки, и т.о. узнавать местоположение фрезы с нужной точностью, и при этом не иметь необходимости запоминать микрорельеф всей заготовки.

В том то и дело, что не интеллектуальное распознавание (насколько я понял) очень ресурсозатратно и времени тоже требует. К сожалению, не знаю, как реально осуществляется распознавание, но себе думаю, что оно также обязано быть иерархично: определяем сначала наименьшую простую охватывающую фигуру: параллелепипед, цилиндр, конус, сфера, эллипсоид; определяем масштаб, т.е. условно, это здание вдалеке, или спичечный коробок вблизи; далее определяем наименьшую охватывающую фигуру для четко выделяемых частей объекта; ну и дальше начинаем перебирать возможности, причем выше определенный масштаб нам сильно в этом помогает, уменьшая количество возможных типов объектов. Объекты же мы храним в памяти не в виде картинок, а в виде комбинаций объемных геометрических фигур, например: широкая плоская призма и от трех до шести сильно вытянутых цилиндров или призм, равномерно размещенных с одной стороны призмы, ближе к ее краю и под углом, близким к нормали - табуретка, если конечно масштаб (размер) подходящий. И скажите, что здесь не нужен интеллект.
Вы не поняли – интеллект, в том смысле, который в это слово вкладывают, никакого отношения к распознаванию не имеет. Распознавание – это инструмент низшего уровня. Следующий уровень – моделирование окружения – тоже к интеллекту никакого отношения не имеет. Распознаванием в своем пространстве владеют даже черви. А уж птицы и даже насекомые куда как лучше человека это делают. И быстрее и точнее.
Зрение стрекозы или мухи находится в объеме макового зернышка, при том, что двигаются они со скоростью до сотни своих линейных размеров в секунду и при этом никуда не врезаются. Понаблюдайте когда-нибудь летним вечером за играми мух вокруг люстры или за охотой стрекоз на берегу реки. Интеллект – это умение делать верные логические выводы из неполного набора исходных данных. Это не алгоритмизуется. Алгоритм – это результат интеллекта, а не наоборот.
+ 0.16 / 9
                     
 
   
Поверонов  
 
...
Интеллект – это умение делать верные логические выводы из неполного набора исходных данных. Это не алгоритмизуется. Алгоритм – это результат интеллекта, а не наоборот.
Вы преувеличиваете роль логики в управлении поведением. Ни животные, ни даже многие люди логикой не пользуются, но осуществляют сложное поведение. Более того логика даже мешает быстро реагировать, поэтому в спорте и спецназе доводят навыки до автоматизма, чтобы логика не включалась.
Скорее всего и логику выработала эволюция на базе переключательных схем мозга, то есть процессы обработки данных в мозге и есть естественная логика, впрочем вероятностная скорее всего.
+ 0.04 / 2
                     
 
   
Быдлокодер  
 
Вы не поняли – интеллект, в том смысле, который в это слово вкладывают, никакого отношения к распознаванию не имеет. Распознавание – это инструмент низшего уровня. Следующий уровень – моделирование окружения – тоже к интеллекту никакого отношения не имеет. Распознаванием в своем пространстве владеют даже черви. А уж птицы и даже насекомые куда как лучше человека это делают. И быстрее и точнее.
Зрение стрекозы или мухи находится в объеме макового зернышка, при том, что двигаются они со скоростью до сотни своих линейных размеров в секунду и при этом никуда не врезаются. Понаблюдайте когда-нибудь летним вечером за играми мух вокруг люстры или за охотой стрекоз на берегу реки. Интеллект – это умение делать верные логические выводы из неполного набора исходных данных. Это не алгоритмизуется. Алгоритм – это результат интеллекта, а не наоборот.
Ведь для огромного большинства задач, которые выполняют люди, интеллект вообще не нужен. Это справедливо для 97,8 % рабочих мест как в сфере физического, так и умственного труда.Что же нужно? Хорошая ориентация, навыки, ловкость, сноровка и сметливость. Всеми этими качествами обладают насекомые.
...
Оса, быть может, имеет достаточно нервных клеток, чтобы с неменьшим успехом водить, например, грузовик по длинной трассе, ведущей из порта в город, или управлять межконтинентальной ракетой, только биологическая эволюция запрограммировала ее нервные узлы для совершенно иных целей.
....
Понапрасну теряя время на попытки воспроизвести в компьютерах функции человеческого мозга, все новые поколения информатиков, а также профессоров-компьютероведов (professors of computer science), с упорством, достойным лучшего применения, не желали замечать устройств, которые были в миллион раз проще мозга, чрезвычайно малы и чрезвычайно надежны. Не ARTIFICIAL INTELLIGENCE, но ARTIFICIAL INSTINCT [19]следовало воспроизводить и программировать в первую очередь

Станислав Лем. Системы оружия двадцать первого века, или Эволюция вверх ногами.
https://www.litmir.me/br/?b=143792&p=4
Отредактировано: Быдлокодер - 07 октября 2019 11:48:11
Кораблик космический
Летел и насвистывал
Дырочкой в правом боку.
+ 0.07 / 3
                       
 
  DarkRaider
 
   
DarkRaider   Россия
Москва
39 лет
 
...
Станислав Лем. Системы оружия двадцать первого века, или Эволюция вверх ногами.
https://www.litmir.me/br/?b=143792&p=4

Замечательная цитата и действительно мэтр в авторах.

Проводили исследования поведения стаи саранчи, в том числе исследование огибания препятствий в групповом полёте.

Выяснили, что никакой особой обработки нету, есть инстинкт - если твой сосед подрезал тебя - сдвинься в другую сторону.
Наличие одинакового инстинкта у всех участников "движения" вызывает цепное срабатывание, до момента компенсации сдвига (то есть когда очередная волна перестаёт считать смещение соседа критичным для полёта).

На мой взгляд, всё то, что сейчас модно называть "искусственным интеллектом" - не более чем дань модному тренду. Есть системы которые частично выполняют роль ИИ, их придумали уже достаточно давно (экспертные системы, самообучающиеся системы, те же нейронные сети), они способны решать определённый круг задач и делать это быстрее человека, благодаря возросшим вычислительным мощностям. Но пока отсутствует внятный механизм трансляции пространства смыслов между человеком и машиной - "настоящего" ИИ не будет. А вот возникновение эффективного прямого интерфейса человек-машина (ну или органический мозг-вычислительная машина) - дело ближайшего будущего. Уже есть хорошие наработки в этом направлении.
+ 0.08 / 3
               
 
  adolfus
 
   
adolfus  
 
Конечно, в таком случае нужна быстрая интеллектуальная визуальная привязка.
Слово "интеллект" абсолютно никакого отношения ни к зрению, ни к машинному, и даже к распознаванию, не имеет.
+ 0.00 / 0
 
  qurvax
 
   
qurvax  
 
Итак, создаем для смартфона программу, которая позволит, подвигав смартфон над заготовкой, в том числе и не плоской, получить 3d-модель заготовки и в реальном времени привязать эту модель к изображению заготовки на экране (которое мы получаем с камеры смартфона), а на модель в свою очередь наложить в виде дополнительной реальности наш эскиз, по которому мы будем пилить, сверлить, шить и вырезать.
Есть мнение, что смартфону батарейки не хватит на модель. Прям в реальном времени и кончится Алиенвэровский лапоть модель банки пива по 20 фоткам строит 15-20 минут, загоняя свой i7 грохоча всей своей нехилой (для лаптопа) системой охлаждения.
+ 0.00 / 0
 
 
  СОВ
 
   
СОВ  
 
Есть мнение, что смартфону батарейки не хватит на модель. Прям в реальном времени и кончится Алиенвэровский лапоть модель банки пива по 20 фоткам строит 15-20 минут, загоняя свой i7 грохоча всей своей нехилой (для лаптопа) системой охлаждения.
Ну, что тот несчастный i7 против.. десятка "Эльбрусов" с питанием от аккумулятора к перфоратору. Ну а если серьёзно, то масштаба проблемы я не осознаю, ибо некопенгаген, какие вычислительные мощности потребны, что они будут кушать по энергопотреблению, и сколько это будет весить. Может для начала попробовать стационарное устройство для мастеров рукоделия, или серийного производства с обилием ручного труда? Психологическая суть идеи - это как с полетами на МКС: сколько не гадь на Россию, а лететь придется на "Союзе", т.е. нужно создать уникальное устройство, буквально необходимое для всех во всем мире с большой понятной надписью made in Russia.
+ 0.00 / 0
 
  DarkRaider
 
   
DarkRaider   Россия
Москва
39 лет
 
Извиняюсь за очередную "диван-идею", но мысль эта занимает маня давно. Итак, существует ручной фрезер с автоматической подвижной головой, который сам выбирает текущее положение головы ориентируясь по специальным меткам на поверхности заготовки. Правильную проводку оператором корпуса фрезера вдоль заготовки обеспечивает технология дополнительной реальности:
...
1) Если честно то из просмотра ролика у меня никакого понимания что "фрезер сам что то делает" - не получилось. Возможно я не заметил деталей - но, всё что я увидел - это дополненная реальность, где на экране смартфона рисуют желаемую траекторию движения.
2) Я известный рукожоп и не отличаюсь особыми скилами в столярном деле - когда я пользовался ручным фрезером - провести даже банальную прямую линию фрезой, длинной больше 3-5см, без соответствующего упора у меня не получалось. В ролике на ура режут фигуры сложно формы и вроде бы всё красиво, но точность....
3) Не так уж часто попадался материал, который обрабатывался бы в один заход на всю "глубину".
4) В ролике мы имеем дело с плоскостью, а не с объёмом.

Мой вывод (для себя) - занятный гибрид оптической мышки, смартфона и ручного фрезера, который не обладает точностью(ввиду врождённого несовершенства исполнительных механзимов), но позволяет облегчить процесс переноса эскиза на заготовку = забавная игрушка для хобби.


Цитата
Итак, создаем для смартфона программу, которая позволит, подвигав смартфон над заготовкой, в том числе и не плоской, получить 3d-модель заготовки и в реальном времени привязать эту модель к изображению заготовки на экране (которое мы получаем с камеры смартфона), а на модель в свою очередь наложить в виде дополнительной реальности наш эскиз, по которому мы будем пилить, сверлить, шить и вырезать. Эскиз на заготовку переносится карандашом, который мы держим в руке и которым обводим виртуальный эскиз, глядя на заготовку через экран смартфона.

В "большом мире больших денег" для этого используется лазерная технология сканирования и всяческие 3d сканеры (взял первую попавшуюся ссылку). Но так не интересно.


Тем не менее, за этими двумя предложениями из цитаты стоит такой масштаб серьёзных математических проблем, о котором Вы вряд ли подозреваете.
1) Мы имеем дело с условной УНИВЕРСАЛЬНОЙ заготовкой - параметров которой мы заранее не знаем
2) Мы имеем дело с моно-видеоизображением (то есть одним видеопотоком снятым из одной точки)
3) Мы имеем дело с говённой оптикой смартфона
4) Мы имеем дело с неизвестными условиями освещения и непредсказуемым рисунком свето-тени
-----------
Впрочем зачем сразу о трудностях? Подумаем о "глобальных" предстоящих задачах:
1) Привязка координатной сетки. Как выбрать и зафиксировать точку отсчёта?
2) Имея ОДНО плоское изображение как предполагается строить ОБЪЁМНУЮ модель? В 3Д играх - двумерную текстуру натягиваются на трёхмерный объект. Как планируется производить обратную операцию например на примере видеосъёмки яйца? Это круг? Овал? Напрашивается ответ: ну у нас же много кадров! мы снимем с разных ракурсов!
3) Тогда сразу задам следующий вопрос: нам мало снять просто много кадров, нам нужно точно знать положение камеры относительно объекта с хорошей точностью, чтобы при анализе кадров при сопоставлении с пространственной информацией о положении камеры мы могли с точностью судить, что форма измеряемого объекта изменилась.
4) Даже мы имея в голове стереографическую картину можем определить расстояние до точки весьма приблизительно, зачастую трудно понять вогнутая поверхность или выпуклая. Есть целая куча обманов зрения. В вашей задаче предполагается постройка Зд- модели объекта для последующего перенесения чертежа. Без постоянного измерения расстояния до поверхности объекта - обойтись не удастся.
5) В 3Дсканерах используются лазерные излучатели, лазерный свет - это поток параллельных частиц. В Вашей идее используется только оптическое распознавание - следовательно придётся иметь дело с оптикой, углом зрения, искажениями.

Цитата
Если реализованная таким образом визуальная одометрия даст достаточную точность, то можно будет делать взаимосвязанную разметку на далеко отстоящих рабочих поверхностях, а это уже строительство и ремонт. Через время люди могут забыть, как они раньше что-то делали без этой программы.
Ну а идеально, создать специальное устройство для этих дел на базе российского процессора - он же экономный и мощный. Таким образом "Эльбрус" может стать массовым, доступным по цене, а значит, будет активно развиваться и сам и микроэлектроника в России вообще.

Как видите круг предстоящих задач - обширный и интересный. Решать их для игрушки - смысла нету.
Видео распознавание для ориентации дронов - задача тоже интересная, но совершенно другой области. Там точности нет и не будет, да и не нужна.
Отредактировано: DarkRaider - 28 августа 2019 00:00:01
+ 0.00 / 0
 
 
  qurvax
 
   
qurvax  
 
3) Тогда сразу задам следующий вопрос: нам мало снять просто много кадров, нам нужно точно знать положение камеры относительно объекта с хорошей точностью, чтобы при анализе кадров при сопоставлении с пространственной информацией о положении камеры мы могли с точностью судить, что форма измеряемого объекта изменилась.
4) Даже мы имея в голове стереографическую картину можем определить расстояние до точки весьма приблизительно, зачастую трудно понять вогнутая поверхность или выпуклая. Есть целая куча обманов зрения. В вашей задаче предполагается постройка Зд- модели объекта для последующего перенесения чертежа. Без постоянного измерения расстояния до поверхности объекта - обойтись не удастся.
5) В 3Дсканерах используются лазерные излучатели, лазерный свет - это поток параллельных частиц. В Вашей идее используется только оптическое распознавание - следовательно придётся иметь дело с оптикой, углом зрения, искажениями. \n\n
Как видите круг предстоящих задач - обширный и интересный. Решать их для игрушки - смысла нету.
Видео распознавание для ориентации дронов - задача тоже интересная, но совершенно другой области. Там точности нет и не будет, да и не нужна.
По поводу технологии построения моделей по изображениям, имею доложить следующее:
Комерческая топосьемка фасадов сооружений (в т.ч. сложной формы) производится с помощью 1 (одного) дрона, и очень дохрена (500-1000Гб) фотографий высокого разрешения (точные данные мне не известны). В последствии сие обрабатывается комерческим софтом. На выходе имеет место быть 3д модель, которую, проверяет и, при необходимости, правит человек, устраняет мелкие нюансы (блики-тени-птичка_посрала). Привязка модели к глобальным координатам делается тупо теодолитом к реперам, кои в свою очередь могут быть как новомодной жэпеской посчитаны, так и вмурованы, нафиг, в стену/поребрик/брусчатку прошлыми поколениями.
+ 0.00 / 0
   
 
  DarkRaider
 
   
DarkRaider   Россия
Москва
39 лет
 
По поводу технологии построения моделей по изображениям, имею доложить следующее:
Комерческая топосьемка фасадов сооружений (в т.ч. сложной формы) производится с помощью 1 (одного) дрона, и очень дохрена (500-1000Гб) фотографий высокого разрешения (точные данные мне не известны)...
Ну во первых, не факт что на дроне одна камера, а не две.
Во вторых, по поводу зданий есть возможность точно привязаться к единой точке отсчёта и точно померять хотя бы одну сторону (теодолит, он не летает, он жёстко стоит на земле).
К тому же там точности особо не требуется - интересует же визуально похожая модель, а не эскиз.
В третьих, невоенное GPS не даст относительной точности лучше 3-5 метров.
Отредактировано: DarkRaider - 28 августа 2019 13:15:01
+ 0.00 / 0
     
 
  qurvax
 
   
qurvax  
 
Ну во первых, не факт что на дроне одна камера, а не две.
Дрон лично мной осмотрен, отличий от стандартного фантома2 не обнаружено. К тому-же софту скармливались и обычные фото китайских телефонов, для построения модели банки пива в хулиганских целях

Во вторых, по поводу зданий есть возможность точно привязаться к единой точке отсчёта и точно померять хотя бы одну сторону (теодолит, он не летает, он жёстко стоит на земле).
Привязка как таковая для соблюдения пропорций не нужна. Банку мы это, не того Ессна размеры там скорее всего ушли сильно.

К тому же там точности особо не требуется - интересует же визуально похожая модель, а не эскиз.
Для построения чертежей, сдаваемых нашим надзорным органам? Ну хз, честно. Не интересовался, но когда штативы таскал я (и камеру, тоже. а дроны ток по телику были), мы лишние пол-сантиметра выбирали, переделывали, считалось браком. Предполагаю, что новая технология не хуже. На выходе не "похожее", и не "эскиз". А точный план фасада и/или строения/территории (как закажут) в смысле размеров и координат.

В третьих, невоенное GPS не даст относительной точности лучше 3-5 метров.
Не вдаваясь в воспоминания о временах зеленой травы, сговорчивых девок и отсутствия дронов в свободной продаже, скажу так - сам видел точность менее 2см за менее чем час измерений на одной точке. И слышал, что с коррекцией от наземной станции можно и лучше.
Отредактировано: qurvax - 27 августа 2019 15:37:39
+ 0.06 / 3
       
 
  DarkRaider
 
   
DarkRaider   Россия
Москва
39 лет
 
Дрон лично мной осмотрен, отличий от стандартного фантома2 не обнаружено.
Круто!

Цитата
К тому-же софту скармливались и обычные фото китайских телефонов, для построения модели банки пива в хулиганских целях
Если есть возможность - предлагаю похулиганить: немного смять пустую банку и скормить программе. Любопытно как отработает.
+ 0.00 / 0
         
 
  qurvax
 
   
qurvax  
 
Круто!\n\nЕсли есть возможность - предлагаю похулиганить: немного смять пустую банку и скормить программе. Любопытно как отработает.
Прям сейчас нету, но как только соберемся на очередную чашку чая - попрошу сделать мне модельку "чашки". 
П.С. позвонил уточнил название. Софт вот этот: https://www.bentley.com/en/pro…extcapture
Отредактировано: qurvax - 28 августа 2019 12:46:17
+ 0.00 / 0
 
 
  СОВ
 
   
СОВ  
 
1) Если честно то из просмотра ролика у меня никакого понимания что "фрезер сам что то делает" - не получилось..
Извиняюсь, что долго не отвечал, парился в бане.Вот видео :
+ 0.00 / 0
 
  adolfus
 
   
adolfus  
 
Извиняюсь за очередную "диван-идею", но мысль эта занимает маня давно. Итак, существует ручной фрезер с автоматической подвижной головой, который сам выбирает текущее положение головы ориентируясь по специальным меткам на поверхности заготовки. Правильную проводку оператором корпуса фрезера вдоль заготовки обеспечивает технология дополнительной реальности:

Вот несколько лет назад, при просмотре рекламного ролика и пришла в голову идея, что хорошо бы создать на основе подобного подхода более универсальное устройство, а именно - разметочное устройство, которое будет ориентироваться не на спец метки, а на фактуру поверхности, обрабатывая информацию с камер трех масштабов машинного зрения: общего (вся заготовка), крупного (квадратный дециметр поверхности), микросъемка (для высокой точности - доли миллиметра). Но вот недавно, как на ветке БПЛА узнал о возможностях визуальной одометрии :
Скрытый текст
, подумал, что разметочное устройство можно упростить и одновременно приблизить к реальности.
Итак, создаем для смартфона программу, которая позволит, подвигав смартфон над заготовкой, в том числе и не плоской, получить 3d-модель заготовки и в реальном времени привязать эту модель к изображению заготовки на экране (которое мы получаем с камеры смартфона), а на модель в свою очередь наложить в виде дополнительной реальности наш эскиз, по которому мы будем пилить, сверлить, шить и вырезать. Эскиз на заготовку переносится карандашом, который мы держим в руке и которым обводим виртуальный эскиз, глядя на заготовку через экран смартфона.
Если реализованная таким образом визуальная одометрия даст достаточную точность, то можно будет делать взаимосвязанную разметку на далеко отстоящих рабочих поверхностях, а это уже строительство и ремонт. Через время люди могут забыть, как они раньше что-то делали без этой программы.
Ну а идеально, создать специальное устройство для этих дел на базе российского процессора - он же экономный и мощный. Таким образом "Эльбрус" может стать массовым, доступным по цене, а значит, будет активно развиваться и сам и микроэлектроника в России вообще.
Все это уже было. В конце 90-х было запатентовано устройство PrintDreams, которое напоминает мышку и движется произвольно оператором по поверхности бумаги. Ориентируясь на свое положение и ориентацию, печатает требуемую часть страницы. Для определения положения этого принтера использовались разные способы – и естественные метки, типа шероховатостей и факутры бумаги, и видеолокация. Особо не взлетело.
Ваш жареный фрезер тоже не взлетит – интерес к нему будет до первого повреждения заготовки вследствие сбоя алгоритмов. А сбой этот произойдет сто процентов и как раз тогда, когда заготовка из сверхэкзотического дерева и в единственном числе.
Но даже не это главное. Главное – инфраструктура производства и место этого Вашего фрезера в ней. Я лично в своем D.I.Y.-хозяйстве имею ручной фрезер среднего уровня (makita rp2300fc) и определенно Вам скажу, что точность обработки ручным фрезером с использованием шаблонов и копировальных втулок составляет по твердым породам дерева не хуже 50 микрон (штангеля у меня мельче нет). Это меньше, чем уход размеров заготовки при изменении ее влажности. Если Ваш инструмент не обеспечит такой же точности всегда' при цене ниже 500 евро (стоимость фрезера уровня профи), он никому нахрен не будет нужен. И заметьте – это даже при бессбойной на сто процентов работе алгоритмов.
Поэтому то, что Вы предлагаете, не более, чем игрушка типа 3d-принтеров.
+ 0.05 / 3
 
 
  СОВ
 
   
СОВ  
 
Все это уже было. В конце 90-х было запатентовано устройство PrintDreams, которое напоминает мышку и движется произвольно оператором по поверхности бумаги. Ориентируясь на свое положение и ориентацию, печатает требуемую часть страницы. Для определения положения этого принтера использовались разные способы – и естественные метки, типа шероховатостей и факутры бумаги, и видеолокация. Особо не взлетело.
.....
Вот еще на эту тему, на 5:50
В данном случае обращает на себя внимание скорость нанесения рисунка и нетребовательность к поверхности.
+ 0.05 / 2
   
 
  adolfus
 
   
adolfus  
 
Вот еще на эту тему, на 5:50
Скрытый текст

В данном случае обращает на себя внимание скорость нанесения рисунка и нетребовательность к поверхности.
Разница в точности и разрешении печати. Современные цветные струйники запросто печатают, как минимум, 300 dpi – это точность позиционирования на листе меньше одной десятой миллиметра. То, что показано в видео, печатает плакатным кеглем, который измеряют в номерах кистейСмеющийся. Не думаю, что Вы таким "принтером" размером с шуруповерт напечатаете договор, типа такого, как Вы заключаете при покупке сим-карты или на обслуживание в банке. Так что ни о чем.
+ 0.00 / 0
НОВОСТИ ПАРТНЕРОВ

AFTERSHOCK

     
  1. >
  2. Блог >
  3. СОВ >
  4. Визуальная одометрия на смартфон
Глобальная Авантюра © 2007-2019 Глобальная Авантюра. Все права защищены и охраняются законом. При использовании любого материала любого автора с данного сайта в печатных или Интернет изданиях, ссылка на оригинал обязательна. Мнение администрации не обязательно совпадает с мнением авторов документов и комментариев, опубликованных на сайте.

CCBot/2.0 (https://commoncrawl.org/faq/)
Unknown

Яндекс.Метрика