Задержка передачи данных в облако и из облака может составлять от десятков до сотен миллисекунд в традиционных корпоративных сетях, в зависимости от пути и расстояния в сети.[2] Эта скорость слишком мала для функций управления в реальном времени и обеспечения безопасности в промышленных системах. Обработка каждого события в облаке также увеличивает затраты на связь и создает риск сбоев системы при плохом качестве связи.

Искусственный интеллект (ИИ) на периферии решает некоторые из этих проблем, запуская модели машинного обучения (МО) непосредственно на оборудовании. Эта стратегия позволяет системам принимать решения немедленно, не дожидаясь удаленного сервера. В сегодняшнем выпуске «Новых технологий по вторникам» мы рассмотрим, как локальная обработка все чаще используется в системах промышленной автоматизации и машинного зрения, где мгновенная реакция на данные датчиков и изображений имеет важное значение.

Помимо проверки концепции

На заре своего развития периферийный ИИ представлял собой технологию, используемую только в контролируемых пилотных проектах или в очень специфических условиях. Это была технология, предназначенная для проверки концепции, а не для повседневного использования. Ситуация быстро меняется. По мере развития инструментов и аппаратных платформ периферийный ИИ выходит за пределы лаборатории и внедряется в реальные, постоянно работающие производственные системы.

Во многом это заслуга программного обеспечения. Современные периферийные платформы лучше «говорят на одном языке» с остальной частью экосистемы ИИ. Они поддерживают общие фреймворки и среды выполнения, что упрощает миграцию моделей из систем разработки в развернутые системы. Эта совместимость также упрощает обновление моделей при изменении данных или требований.

Однако простота развертывания — не единственный важный фактор. Надежность имеет решающее значение, особенно когда системы работают круглосуточно. Локальная обработка данных означает, что устройству ИИ на периферии сети не нужно зависеть от сетевого соединения для своей работы. В таких средах, как производственные предприятия или удаленные станции мониторинга, такая отказоустойчивость обеспечивает удобство и в некоторых случаях может быть даже критически важна. В случае потери связи система может продолжать работу.

Модели на грани становятся меньше и практичнее

В настоящее время одним из существенных изменений в периферийном ИИ является тенденция к созданию моделей меньшего размера. Вместо построения максимально больших нейронных сетей, команды сосредотачиваются на моделях, которые могут работать на оборудовании с ограниченными ресурсами. Такие методы, как квантизация и обрезка, помогают устранить избыточное использование вычислительных ресурсов и памяти, практически не влияя на производительность.[3]

Подобные оптимизации сегодня практичны, поскольку модели, которые ранее требовали мощных процессоров и больших объемов памяти, теперь могут работать на оборудовании, которое еще несколько лет назад было бы недоступно. Это помогает преодолеть разрыв между тем, что работает в исследовательских средах, и тем, что может быть внедрено на производственных предприятиях и в полевых условиях. Продолжающиеся исследования в этой области показывают, что возможно значительное сокращение занимаемой площади и вычислительной мощности без ущерба для производительности.

Таким образом, аппаратные ограничения снижаются. Искусственный интеллект на периферии сети не обязательно должен ограничиваться высокопроизводительными серверами, расположенными на границе сети. Инженеры могут реализовывать вывод данных в реальном времени на более скромных встроенных платах и ​​шлюзах, часто в рамках тех же систем, которые уже обрабатывают управление, мониторинг и связь. Такая гибкость делает ИИ на периферии более применимым в более широком спектре промышленных систем.

Сокращение перемещения данных становится ключевым фактором

Еще одна тенденция, стимулирующая внедрение ИИ на периферии, — это стоимость передачи данных.[4] Отправка потоков данных с датчиков высокого разрешения или необработанных кадров машинного зрения обратно в облако — это медленный, ресурсоемкий процесс, который может быстро стать дорогостоящим. В больших масштабах эти затраты могут перевесить преимущества. В результате все больше организаций хотят управлять данными ближе к месту их генерации.

Благодаря локальной фильтрации, обобщению или классификации данных, системы периферийного ИИ снижают нагрузку на сети и системы хранения данных на начальных этапах. Меньшая зависимость от удаленной инфраструктуры позволяет развертываемым периферийным системам ИИ лучше справляться с обработкой данных во время замедления работы сети или временных сбоев.[5]

Новейшие продукты для ваших самых инновационных разработок®

Комплект разработчика Advantech AOM-2721 представляет собой встраиваемую вычислительную платформу, предназначенную для оценки возможностей искусственного интеллекта на периферии сети. Он включает в себя систему на кристалле (SoC) Qualcomm QCS6490 с восемью ядрами Kryo, работающими на частоте до 2,7 ГГц, интегрированный блок обработки изображений (VPU) и графический процессор (GPU), а также 8 ГБ высокоскоростной памяти LPDDR5.

Плата включает в себя распространенные в отрасли интерфейсы, такие как PCIe Gen3, USB 3.2, Gigabit Ethernet и входы для камер MIPI-CSI, а также HDMI, DisplayPort и LVDS для дисплеев (рис. 1), что делает ее подходящей для встроенных систем и задач искусственного интеллекта, ориентированных на обработку изображений.

Схема Advantech AOM 2721

Рисунок 1: Блок-схема комплекта разработчика Advantech AOM-2721 (источник: Mouser Electronics)

Заключение 

Искусственный интеллект на периферии сети стал незаменимым инструментом для промышленных систем, которым необходимы быстрая реакция, предсказуемое поведение и снижение затрат на передачу данных. По мере уменьшения размеров моделей и постоянного совершенствования периферийного оборудования команды могут перейти от разработки концепций к внедрению решений в производственные системы. Эта технология также меняет подход инженеров к разработке.

Такие платформы, как Advantech AOM-2721, позволяют оценивать рабочие нагрузки ИИ на периферии сети на более ранних этапах проектирования, поэтому они не рассматриваются как дополнительная опция. Благодаря ранней интеграции команды, разрабатывающие системы автоматизации, могут перейти от тестирования к реальной эксплуатации без кардинальных изменений в проекте.

Источники

[1]https://explodingtopics.com/blog/data-generated-per-day
[2]https://blog.equinix.com/blog/2021/08/09/cloud-vs-edge
[3]https://www.tensorflow.org/model_optimization/guide/pruning; https://www.edgeimpulse.com/blog/7-tips-for-optimizing-ai-models-for-tiny-devices
[4]https://www.cloudoptimo.com/blog/the-true-cost-of-cloud-data-egress-and-how-to-manage-it/
[5]https://azure.microsoft.com/en-us/resources/cloud-computing-dictionary/what-is-edge-computing

Статья предоставлена ​​компанией Mouser Electronics, https://www.mouser.com