Sélectionner une page

Les kits de développement validés avec des outils logiciels intégrés facilitent le déploiement de l’inférence dans le cloud et en périphérie sur plusieurs types de matériel

De nos jours, les frameworks open source, les boîtes à outils, les exemples d’applications et le matériel conçus pour le deep learning facilitent plus que jamais le développement d’applications pour l’IA. C’est passionnant, surtout quand il s’agit d’opportunités qui connectent la périphérie au cloud. Des magasins de détail aux usines, les entreprises introduisent l’IA dans le monde réel pour offrir des expériences incroyables, travailler plus efficacement et poursuivre de nouveaux modèles commerciaux.

L’un des domaines les plus passionnants que je vois dans l’IA à la pointe est la vision par ordinateur, qui offre des cas d’utilisation prometteurs dans toutes les industries. En effectuant une inférence sur des périphériques périphériques au lieu de s’appuyer sur une connexion au cloud, les utilisateurs peuvent obtenir une faible latence pour des résultats en temps quasi réel. Les déploiements Edge peuvent également aider à résoudre les problèmes liés à la confidentialité des données et à la bande passante.

Alors que les développeurs de cloud ont une plate-forme pour former des modèles et déployer des inférences dans le cloud, ils ont besoin des bons outils pour se déployer à la périphérie – un autre défi entièrement. Maintenant, ils ont aidé à affiner leurs modèles sur différents types de matériel, y compris les processeurs et les cartes accélératrices, afin qu’ils puissent déployer le même modèle d’inférence dans de nombreux environnements différents.

Intel et Microsoft rationalisent le développement avec des outils intégrés

Compte tenu des énormes opportunités disponibles avec l’inférence, Intel et Microsoft ont uni leurs forces pour créer des outils de développement qui vous permettront d’utiliser plus facilement le cloud, le bord ou les deux, selon vos besoins. Le dernier est un plugin de fournisseur d’exécution (EP) qui intègre deux outils précieux: la distribution Intel d’OpenVINO toolkit et Open Neural Network Exchange (ONNX) Runtime . L’objectif est de vous donner la possibilité d’écrire une fois et de vous déployer partout – dans le cloud ou en périphérie.

Le plug-in ONNX Runtime unifié avec OpenVINO est désormais en aperçu public et disponible sur la page GitHub de Microsoft. Cette capacité a été validée avec des kits de développement nouveaux et existants. L’aperçu public publie des images de base de conteneur Docker prédéfinies. C’est important car vous pouvez l’intégrer à votre modèle ONNX et à votre code d’application.

Déployez l’inférence sur votre matériel préféré

Le plugin EP permet aux développeurs d’intelligence artificielle de former des modèles dans le cloud, puis de les déployer facilement en périphérie sur divers types de matériel, tels que les processeurs Intel, les GPU intégrés, les FPGA ou les VPU, y compris le Intel Neural Compute Stick 2 ( Intel NCS 2 ). L’utilisation de conteneurs signifie que la même application peut être déployée dans le cloud ou en périphérie. Avoir ce choix est important.

Le plugin EP a également été validé avec le ONNX Model Zoo. Si vous n’en avez pas entendu parler, c’est une collection de modèles pré-entraînés au format ONNX.

Jonathan Ballon, vice-président et directeur général d’Intel Internet of Things Group, a déclaré que ce plugin donne aux développeurs une plus grande flexibilité dans leur fonctionnement. «Le développement de l’IA mûrit rapidement et grâce aux outils de nouvelle génération, nous entrons maintenant dans un monde de nouvelles opportunités pour amener l’IA à la pointe. Notre objectif est de permettre aux développeurs de travailler comme ils le souhaitent, puis de déployer sur le matériel Intel qui convient le mieux à leur solution, quel que soit le cadre ou le type de matériel qu’ils utilisent. Le choix leur appartient. »

Nous parlons de responsabiliser les développeurs. C’est pourquoi Microsoft a lancé ONNX Runtime en tant que moteur d’inférence open source et hautes performances pour les modèles d’apprentissage automatique et d’apprentissage en profondeur dans le format ouvert ONNX. Cela signifie que les développeurs peuvent choisir le meilleur framework pour leurs charges de travail: pensez PyTorch ou TensorFlow. Il améliore également la latence et l’efficacité de la notation sur de nombreux types de matériel. Le résultat est que les développeurs peuvent utiliser ONNX Runtime avec des outils comme le service Azure Machine Learning pour déployer leurs modèles en toute transparence à la périphérie.

Venky Veeraraghavan, gestionnaire de programme de groupe chez Microsoft Azure AI + ML, l’a parfaitement résumé lorsqu’il a déclaré: «De nombreux développeurs utilisent Azure pour développer des modèles d’apprentissage automatique. L’intégration d’ONNX Runtime à OpenVINO permet de déployer en toute transparence ces modèles sur une large gamme de matériel périphérique. »

Moins d’étapes avec des kits de développement validés

OK, passons maintenant aux kits de développement que j’ai mentionnés plus tôt. Nous avons réussi à travailler avec des partenaires sélectionnés pour proposer des kits validés pour l’intégration d’OpenVINO et ONNX Runtime. Ces kits offrent une gamme de processeurs et d’options d’accélérateur pour une puissance de traitement supplémentaire, afin que vous puissiez choisir la bonne combinaison et le bon niveau de calcul pour votre projet. Les kits se connectent également facilement à Azure, permettant aux données d’être immédiatement partagées avec le cloud et visualisées sur un tableau de bord.

Avec les kits de développement de nos partenaires, les développeurs obtiennent un ensemble validé d’outils matériels et logiciels qui leur permet de prototyper, tester et déployer une solution complète. Vous pouvez également ignorer une grande partie du travail fourni avec la création d’une solution d’inférence à la limite. Les kits sont entièrement évolutifs pour un déploiement de masse.

  • iEi FLEX-BX200 – Puissance de calcul énorme pour effectuer des inférences et des prévisions précises en temps quasi réel, en particulier dans des environnements difficiles
  • AAEON BOXER-6841M – Développement clé en main sur la plate-forme AAEON IoT, qui est basée sur les services Azure et permet aux développeurs et aux intégrateurs de systèmes d’évaluer rapidement leurs solutions
  • Kit de développement UP Squared AI Vision X – Vision par ordinateur et apprentissage en profondeur du prototype à la production
  • Kit de développeur IEI TANK AIoT – Développement commercial prêt à la production avec apprentissage en profondeur, vision par ordinateur et IA

Téléchargez le nouveau plug-in ONNX Runtime avec OpenVINO EP maintenant

Nos efforts avec Microsoft continueront de se concentrer pour donner aux développeurs la flexibilité de choisir leur framework d’apprentissage en profondeur préféré et d’exécuter des modèles efficacement n’importe où. Si vous souhaitez en savoir plus sur la façon de faciliter le processus de passage de l’IA du cloud à la périphérie, essayez l’installation native unifiée de notre plugin EP avec votre choix de cadre d’orchestration aujourd’hui.

Ressources supplémentaires

Vous êtes un développeur à la recherche d’un support pour accélérer le développement de votre solution d’IA? Voici quelques ressources plus utiles:

Source