Tehnoloģiju nozarē diez vai var sarunāties, ja kāds nepiemin secinājumus, mākslīgo intelektu (AI) un mašīnmācīšanos (ML). Tomēr ir svarīgi atzīmēt, ka, lai gan visi šie termini ir savstarpēji saistīti, tie arī ievērojami atšķiras.
Šajā rakstā mēs izskaidrosim būtiskās atšķirības un uzsvērsim, cik svarīgi ir izmantot tenzoru apstrādi{0}}balstītas malas AI tehnoloģiju, jo īpaši malas un iegultās sistēmās. Salīdzinot ar risinājumiem, kuru pamatā ir grafikas apstrādes bloki (GPU), tensoru apstrādes vienības (TPU) piedāvā efektīvāku un rentablāku veiktspēju. Mēs arī sniegsim dažus lietošanas gadījumu piemērus, kas ilustrē, kādos gadījumos jūs nākotnē varētu saskarties ar moderniem AI risinājumiem.
ML un secinājumu pamati
ML attiecas uz apmācības modeļu metodoloģiju, izmantojot reprezentatīvus datus, lai mašīnas varētu iemācīties veikt uzdevumus. Šis process var būt ļoti skaitļošanas ietilpīgs, radot triljoniem operāciju uz vienu jaunu apmācības datu punktu. Apmācības procesa iteratīvais raksturs apvienojumā ar milzīgajām apmācības datu kopām, kas nepieciešamas augstas precizitātes sasniegšanai, rada pieprasījumu pēc ārkārtīgi augstas -veiktspējas peldošā punkta{3}}apstrādes. ML apmācību vislabāk īstenot kā datu centra infrastruktūru, kur augstās kapitāla un ekspluatācijas izmaksas var attaisnot, amortizējot tās starp daudziem klientiem.
Secinājumi ietver apmācītu modeļu izmantošanu, lai radītu potenciālās atbilstības jauniem datiem, kas attiecas uz reprezentatīvajiem datiem, pēc kuriem modelis tika apmācīts. Secinājumu mērķis ir sniegt ātras atbildes milisekundēs. Secinājumu piemēri ir runas atpazīšana, reāllaika valodas tulkošana,{2}}mašīnredze un reklāmu ievietošanas optimizācijas lēmumi. Lai gan secinājumu veikšanai nepieciešama tikai daļa no apmācībai nepieciešamās apstrādes jaudas, tas joprojām ievērojami pārsniedz to, ko spēj nodrošināt tradicionālās centrālā procesora (CPU){4}}sistēmas, jo īpaši datorredzes lietojumprogrammām. Tāpēc tik daudzi uzņēmumi pievēršas tensora-paātrinājuma risinājumiem-vai nu kā IP uz SoC, vai kā -sistēmu paātrinātājiem-, lai sasniegtu mazāko{10}}reakcijas laiku, kas nepieciešams malās. Realitāte ir tāda, ka tērēt pat minūti vai dažas sekundes attēlu apstrādei redzes sistēmā nav īpaši lietderīgi. Rūpnieciskās redzes sistēmas meklē milisekundes{13}līmeņa apstrādes ātrumu.
Apmācības un secinājumu atdalīšana
Izvietojot to pašu aparatūru, kas tiek izmantota apmācībai, lai apstrādātu izsecināšanas darba slodzes, var rasties pārlieku{0}}nodrošinājums secinājumu izdarīšanas mašīnām ar paātrinātājiem un CPU aparatūru. GPU risinājumi, kas izstrādāti ML pēdējo desmit gadu laikā, ne vienmēr ir optimālā izvēle liela mēroga -ML secinājumu tehnoloģiju izvietošanai. Zemāk redzamā diagramma lieliski ilustrē TPU paātrinātāju un GPU paātrinātāju salīdzinājumu. Tas skaidri parāda, ka TPU paātrinātāji nodrošina mazāku enerģijas patēriņu, samazinātas izmaksas un augstāku efektivitāti salīdzinājumā ar GPU{5}}bāzētajiem AGX risinājumiem, vienlaikus nodrošinot pārliecinošu veiktspējas līmeni secinājumu lietojumprogrammām.
Vēl viens būtisks apsvērums, tuvojoties ML apmācības un secinājumu risinājumiem, ir programmatūras vide. Mūsdienās tiek izmantotas daudzas populāras bibliotēkas, piemēram, CUDA NVIDIA GPU, ML ietvari, piemēram, TensorFlow un PyTorch, optimizētas starpplatformu{1}modeļu bibliotēkas, piemēram, Keras, un citas. Šie rīku komplekti ir būtiski ML modeļu izstrādei un apmācībai, taču secinājumu lietojumprogrammām ir nepieciešams atšķirīgs, mazāks programmatūras rīku komplekts.
Secinājumu rīku komplekti koncentrējas uz modeļu darbināšanu mērķa platformās. Tie atbalsta apmācītu modeļu pārnešanu uz platformām, kas var ietvert dažas operatora transformācijas, kvantēšanu un resursdatora integrācijas pakalpojumus. Tomēr tas ir salīdzinoši vienkāršs funkciju kopums, salīdzinot ar tiem, kas nepieciešami modeļa izstrādei un apmācībai.
Secinājumu rīki gūst labumu no sākuma ar modeļa standartizētu attēlojumu. Atvērtā neironu tīkla apmaiņa (ONNX) ir standarta formāts ML modeļu attēlošanai. Kā norāda nosaukums, tas ir atvērts standarts, kas tiek pārvaldīts kā Linux Foundation projekts. Tādas tehnoloģijas kā ONNX ļauj atsaistīt apmācības un secinājumu sistēmas, sniedzot izstrādātājiem brīvību izvēlēties katrai dažādas optimizētas platformas.
Vizuālo lietojumprogrammu piemēri
Tā kā ML un secinājumu procesoru tehnoloģijas turpina attīstīties un attīstīties, lietojumprogrammas pieaug. Tālāk ir norādītas tikai dažas vietas, kur jūs varētu saskarties ar šo tehnoloģiju nākotnē.
Edge serveri tādos uzņēmumos kā rūpnīcas, slimnīcas, mazumtirdzniecības veikali un finanšu iestādes. Piemēram, rūpnieciskos apstākļos mākslīgais intelekts var palīdzēt ar krājumu pārvaldību, defektu noteikšanu un pat paredzamu apkopi, pirms rodas problēmas. Mazumtirdzniecībā tas nodrošina tādas funkcijas kā pozas noteikšana, izmantojot datorredzi, lai noteiktu un analizētu cilvēka stāju. Šīs analīzes dati palīdz tradicionālajiem mazumtirgotājiem labāk izprast cilvēku uzvedību un gājēju plūsmu savos veikalos, ļaujot optimizēt veikalu izkārtojumus, lai nodrošinātu maksimālu pārdošanas apjomu un klientu apmierinātību.
Augstas-precizitātes/augstas-kvalitātes attēlveidošana lietojumprogrammām, tostarp robotikai, rūpnieciskajai automatizācijai/pārbaudei, medicīniskajai attēlveidošanai, zinātniskai attēlveidošanai, novērošanas un objektu atpazīšanas kamerām un fotonikai. Piemēram, mašīnmācīšanās metodes ir pierādījušas spēju atklāt vēzi, apstrādājot digitālos rentgena starus. Šis process ietver ML modeļa izstrādi, kas paredzēts rentgenstaru attēlu apstrādei, parasti izmantojot apmācītus semantiskās segmentācijas algoritmus, lai identificētu vēža bojājumus. Apmācības laikā radiologu identificētie vēža attēli tiek izmantoti, lai mācītu tīklam, kas nav vēzis, kas ir vēzis un kā parādās dažādi vēža veidi. Jo vairāk ML modelis tiek apmācīts, jo labāk tas ļauj maksimāli palielināt pareizu diagnozi un samazināt nepareizas diagnozes. Tas nozīmē, ka mašīnmācība balstās ne tikai uz inteliģentu modeļu izstrādi, bet arī uz milzīgu daudzumu (no desmitiem tūkstošu līdz miljoniem) rūpīgi atlasītu datu piemēru, kuros vēzis ir kvalificēti identificēts.
Viedie iepirkumu grozi{0}}Vairāki uzņēmumi izstrādā un ievieš viedas iepirkšanās sistēmas, kas atpazīst produktus nevis pēc to UPC svītrkodiem, bet gan pēc paša iepakojuma vizuālā izskata. Šī funkcija ļauj pircējiem vienkārši ievietot preces grozā vai norēķinu sistēmā, neatrodot UPC kodu un skenējot to ar UPC lāzerskeneri. Šī tehnoloģija padara iepirkšanās procesu precīzāku, ātrāku un ērtāku.
Pareiza lēmuma pieņemšana
Uzņēmumiem ir jāizvērtē visi šodien pieejamie risinājumi un jāizvēlas optimālais, pamatojoties uz to konkrēto lietošanas gadījumu. Viņi arī nevar vienkārši pieņemt, ka visi AI risinājumi ir vislabāk ieviesti GPU ierīcēs, jo uz TPU-balstīti risinājumi piedāvā augstāku apstrādes efektivitāti un mazāku silīcija izmantošanu, tādējādi samazinot enerģijas patēriņu un izmaksas.