Audio ir daudzu IoT lietojumprogrammu neatņemama sastāvdaļa, ieskaitot patēriņa preces, piemēram, skaļruņus un austiņas, valkājamas un medicīniskās ierīces (piemēram, dzirdes aparātus), automatizācijas un rūpniecības vadības lietojumprogrammas, izklaides sistēmas un automobiļu informācijas un izklaides vienības.
IoT audio var plaši klasificēt trīs veidus: straumēšanu (ti, mūziku, balsi un datus), balss atpazīšanu/komandas un bezvadu, izmantojot Bluetooth un Wi-Fi savienojumu (piemēram, daudzkanālu audio straumēšana Wi-Fi uz mājas apkārtējās skaņas sistēmu). Tomēr augstas kvalitātes, nepārtrauktu akustisko audio apakšsistēmu projektēšana var būt izaicinoša, ja inženieriem jāievēro stingri ierobežojumi, kas nepieciešami IoT bāzes ierīcēm.
Sarežģītākam dizainam ir jāiekļauj tādas uzlabotas funkcijas kā balss atpazīšana, piemēram, ļaujot autovadītājiem kontrolēt informācijas un izklaides sistēmu automašīnā tādā pašā brīvajā veidā kā mobilais tālrunis. Tā kā MCU ir visu šo audio sistēmu pamatā, ir svarīgi izvēlēties MCU, kas integrē nepieciešamās audio tehnoloģijas, kas vajadzīgas, lai izstrādātu uzticamu audio sistēmu bez trokšņa. Šajā dokumentā tiek pētītas audio tehnoloģijas, kuras var izmantot šādu sistēmu izstrādei.
Audio apakšsistēmas komponenti
IoT audio ietver trīs galvenās aktivitātes: tvaika augstas kvalitātes balss/dati, bezvadu pārraide un balss reorganizācijas kontrole. 1. attēlā parādīti vissvarīgākie būvdarbi iegultās sistēmā.
Šī bloka diagramma parāda svarīgākos audio apstrādes apakšsistēmas celtniecības blokus
Ņemiet vērā, ka daudzas no šīm funkcijām var integrēt mūsdienu MCU, piemēram, ciprese cyw43907 ar integrētu Wi-Fi 802.11n, ko izmanto šajā piemērā. Daži no svarīgajām audio tehnoloģijām, kuras var iekļaut IoT balstītā sistēmā, ietver:
Mūzikas lietojumprogrammas
Audio iespējots MCU ļauj inženieriem atšifrēt MP3/4 straumes, kuras izmanto populārākie multivides atskaņotāji un satura nodrošinātāji. Daudziem dizainparaugiem ir jāatbalsta arī WMA un Apple AAC dekodēšana, kas prasa papildu apstrādes jaudu. Patērētāju audio lietojumprogrammās zemu cenu audio MCU bieži var izmantot, pārvaldot digitālās mūzikas straumes no tādiem audio piederumiem kā digitālo skaļruņu komplekti.
Šajās lietojumprogrammās PCM audio datu rāmis (iekapsulēts USB audio klases formātā) ierodas ik pēc 1 ms caur vienu no procesora SPI/I²C seriālajiem kanāliem. Atkarībā no avota audio straume var nonākt vienā no vairākiem formātiem (ti, kreisajā pusē izlīdzināta, labajā pusē, i2s utt.). Tomēr daži zemu izmaksu kodeki var pieņemt tikai noteiktus formātus. Šajos gadījumos MCU ir svarīga loma, nodrošinot, ka dati tiek pareizi izlīdzināti, pirms tie tiek baroti ar kodeku.
Tā kā ne visi audio avoti izmanto vienu un to pašu paraugu ņemšanas ātrumu, kodeks ir jāpielāgo arī tā paraugu ņemšanas biežums avotam vai jāpaļaujas uz MCU, lai paraugu ņemtu datu plūsmu par kopēju datu pārraidi (sk. 2. attēlu). Šajos gadījumos MCU ir jāpārvalda straume, lai izvairītos no nepietiekamas vai pārslodzes apstākļiem, kas var izraisīt mutus, pops un audio pārtraukumus, kas var izraisīt datu zaudēšanu un izjaukt lietotāja klausīšanās pieredzi. Ņemiet vērā, ka audio MCU var izmantot arī, lai ieviestu citas audio apakšsistēmas funkcijas, piemēram, apgaismojuma kontroli audio atskaņošanas laikā.
Audio MCU, iespējams, būs jāveic formāta konvertēšana, paraugu ātruma pielāgošana un straumes pārvaldība, kā arī jāatbalsta audio lietotāja saskarnes.
Lai audio ieviestu plašā lietojumprogrammu klāstā, Audio MCU ir jāatbalsta dažādas audio tehnoloģijas. 3. attēlā parādīti šo audio tehnoloģiju piemēri.
skaņas tehnoloģija
Audio kodeki
Audio kodeki ir galvenā audio sistēmas priekšējās daļas sastāvdaļa. Daudzi MCU, kas izveidoti IoT lietojumprogrammām, atbalsta kodeka funkcionalitāti aparatūrā. Tas ļauj sistēmai samazināt digitālo audio paraugu lielumu, lai paātrinātu bezvadu pārnesumkārbu (jaudas taupīšanas) un ietaupīt krātuves vietu (samazinot iekšējās atmiņas ietilpības celmu). Kodeks var atbalstīt dažādus audio standarta formātus, piemēram, AAC, AC -3 un ALAC. Lai to izdarītu, tam ir nepieciešama dekodēšanas piekļuves vienība (AU), kas tiek ieviesta pirms jebkuras audio pēcapstrādes (piemēram, DSOLA, SOLA). Izmantojot ar standarta audio formātiem, piemēram, AAC, AC -3 un ALAC, audio tiek klasificēts tādā veidā, ka nākamie audio paraugi atrodas noteiktā formātā, kas norādīts audio pakešu datu straumē. Pakešu atstatums ir arī pārvaldīts, lai pieļautu minimālu šķērsgriezumu un nepārtrauktu darbību sastrēgumu klātbūtnē. ĀS kravas lielums ļauj veikt jebkādu slēpšanu, kas jāveic.
Bāzes joslas apstrāde
Pamata joslas signāls ir analogā vai digitālā viļņu formas frekvenču pamata grupa, ko var apstrādāt ar elektroniskām shēmām. Pamatjoslas signāls var sastāvēt no vienas frekvences vai frekvenču grupas vai digitālā domēnā-datu plūsma, kas nosūtīta virs kanāla, kas nav multiplekss. Pamatjoslu definē kā pamatjoslu (signālu/sekundi), kas sajaukta ar nesēja signālu, lai iegūtu modulētu signālu. Ņemiet vērā, ka MCU, kas atbalsta IoT audio, audio kodeks integrē bāzes joslas apstrādi un RF vienā mikroshēmā. Audio kodeku var ieviest dažādos bezvadu raiduztvērējos, lai nodrošinātu balss datus un/vai mūzikas funkcionalitāti. Kodeksā ir arī mono un stereo kanāli audio izvadei, kā arī stereo ieejas.
Pakešu zudumu slēpšana un datu replikācija
Pārmērīgs latentums, pakešu zudums un augsta latentuma satricinājums var pasliktināt komunikācijas kvalitāti. Pēkšņa pakešu zudumu iespējamība palielinās līdz ar tīkla slodzi un rada pārtraukumus, ko lietotājs var dzirdēt. Izturīgu audio pārraidi pār Wi-Fi var uzlabot, izmantojot tādas uzlabotas funkcijas kā Cypress pakešu zudumu slēpšanas tehnoloģija. Sistēmas arhitektūras avots/uztvērējs ir šāds: viens avots uztver audio, multipleksē PCM datus caur RTP straumes struktūru un sinhronizē pulksteni ar visiem uztvērējiem, kas savienoti ar PLC avotu.
Ņemiet vērā, ka komunikācijas saites veiktspēja ir atkarīga no saites budžeta veiktspējas kvalitātes. Šo saites budžetu nosaka trīs faktori: pārraidīt jaudu, pārraida antenas pieaugumu un saņem antenas pieaugumu. Piemēram, uzticama komunikācija pa 802.11 tīklu ir iespējama, ja saites ceļa jauda, atskaitot pieejamās telpas zaudēšanu, ir lielāka nekā saņēmēja radio minimālais saņemtais signāla līmenis (sk. 4. attēlu).
Komunikācijas saites veiktspēja ir atkarīga no saites budžeta veiktspējas kvalitātes
Runas saprotamības uzlabošana (SIE)
Fona troksnis audio sistēmā var samazināt runas saprotamību. Ja troksnis pārsniedz noteiktu līmeni, lietotājam var būt grūti saprast runu. Reāllaika nepārtrauktas runas atpazīšanas pieejamībai iegultās ierīcēs nepieciešama sistēma, kas uzlabo trokšņa traucējuma saprotamību. Izvēloties MCU, kas atbalsta plaši izmantotas lielas leksikas nepārtrauktas runas atpazīšanas (LVCSR) sistēmas pārnešanu un optimizāciju, var vienkāršot attīstību.
Modināšanas frāzes noteikšana
Šī uzlabotā funkcija ļauj lietotājiem ieslēgt sistēmu brīvrokas, aktivizējot ierīci ar savu balsi.
Efektīva multiraide vienam vai vairākiem runātājiem
Multicasting ir tīkla adresēšanas metode, ko izmanto, lai vienlaikus nosūtītu ziņojumus mērķu grupai, izmantojot visefektīvāko stratēģiju. Ziņojumi tiek piegādāti tikai vienu reizi, izmantojot katru tīkla saiti, un kopijas tiek izveidotas tikai tad, ja nākamā saite sadalās uz vairākiem galamērķiem, parasti tīkla slēdžos un maršrutētājos. Tomēr, tāpat kā lietotāja datagrammas protokols (UDP), multicast negarantē ziņojumu straumes piegādi, kas var izraisīt ziņojumu atmest vai neorganizētu ziņojumu piegādi. Uzticama multiraide (RMC) sniedz pateicības par multiraides paketēm (tikai paketēm), lai noteiktas konkrētas multicast paketes varētu droši piegādāt. Raidītājs izvēlas uztvērēju ar vājāko RSSI, lai atzītu rāmi. IoT vidē RMC ieviešana nozīmē, ka Wi-Fi raidītājs izvēlas vienu no daudzajiem Wi-Fi uztvērējiem, lai atzītu kadru uztveršanu. Raidītājs izvēlas uztvērēju ar vājāko RSSI, lai atzītu rāmi. Īstenošana izmanto darbības sistēmu, kas satur patentētus RMC informācijas elementus, lai paziņotu un iespējotu apstiprinātāju. Īstenošana satur arī RMC specifiskas Wi-Fi draivera komandas, lai iestatītu multicast MAC adresi un iespējotu un atspējotu RMC.
Audio un video ar fiksētu un simetrisku pārraides kavēšanos tiek izpildītas laika sinhronizācijas prasības; Piemēram, RMC var paļauties uz ļoti precīzu laiku un sinhronizāciju, lai vienmērīgi pārsūtītu balss, video un mobilos datus. No tehniskā viedokļa nav viegli sasniegt ļoti precīzu un precīzu laika grafiku, tāpēc ir svarīgi atrast ieviešanas, kuras var pārbaudīt, lai atbilstu lietojumprogrammas prasībām.
Ierāmēšanas formāti, uzplaukuma kļūdu korekcija un pakešu replikācija
Audio straumēšanai ir svarīgi, lai pulkstenis tiktu sinhronizēts ar visiem Wi-Fi uztvērējiem. Viena pieeja ir izmantot kopīgu pulksteni gan avotu, gan uztvērēja ierīcēm, ko bieži sauc par sienas pulksteni vai sistēmas pulksteni (STC). Pirmkārt, katrs uztvērējs (uztvērējs) sinhronizē savu STC (sienas pulksteni) ar avota/raidītāja STC (galvenā sienas pulkstenis). Katrs uztvērējs tagad var atgūt raidītāja pulksteni, jo avots ievietots laika posms (pieejams katras RTP paketes pagarinātajā galvenē) atspoguļo barotnes atlasīto momentu attiecībā pret kopējo pulksteni.
STC ir balstīta uz Grandmaster pulksteņa vērtībām, kas aprakstītas 802.1as specifikācijā. Tā kā visas uztvērēja ierīces zina par korelāciju starp STC un avota ierīces multivides pulksteni (jo tas attiecas uz RTP vai multivides laika zīmogu), katrs uztvērējs var rekonstruēt avota ierīces RTP multivides pulksteņa kopiju un attiecīgi rindot tā izvadi pareizai renderēšanai. Caurspīdīga skapja ir tas, kur aparatūra/UCODE var saņemt un pēc iespējas tuvāk MAC/PHY saskarnei saņemtās laika zīmoga paketes. Kaut arī šī pulksteņa vērtība netiek izmantota atskaņošanai, to var izmantot, lai izmērītu satricinājumu visā sistēmā un veiktu pilnu veiktspējas analīzi.
Viedās mājas audio sistēmas piemērs
Lai saprastu IoT audio kontekstā, apsveriet viedās mājas piemēru un lomu audio var būt viedās mājas sistēmas vispārējās funkcionalitātes uzlabošanā. Mājas kļūst par gudru māju, kad tajā esošās ierīces un ierīces var sazināties savā starpā un tur, kas tur dzīvo. Palielinot mūsu savienojamību, viedās mājas uzlabo mūsu dzīves kvalitāti un palielina mūsu drošību.
Viens no galvenajiem audio lietošanas gadījumiem viedajā mājā ir audio glabāšana un koplietošana virs Wi-Fi vai Bluetooth. Wi-Fi izvēle, salīdzinot ar BLE, mainās atkarībā no pielietojuma un ir atkarīga no diapazona un audio kvalitātes prasībām. Piemēram, mājas kontrolieris var atskaņot īpašu skaņu katrā mājas telpā, ja kāds zvana durvju zvanam pie durvīm, nevis tikai iesprauž zvanu vienā mājas daļā. Līdzīgi kontrolieris var ierobežot skaņu ar noteiktām istabām, piemēram, bērnudārzā zīdaiņiem. Iegultie kontrolieri palīdz apstrādāt šo audio un padarīt sistēmu gudrāku, pārvaldot dažādas izejas vadības funkcijas.
Atskaņošanas audio sistēmas
Atkārtotās audio sistēmas ir kļuvušas par svarīgu lietojumprogrammu audio tirgū. Bezvadu audio atkārtojumu sistēmas ir viedās mājas centrā, apvienojot daudz dažādu viedo ierīču mājās un pieņemot saprātīgus lēmumus lietotāja vārdā. Piemēram, audio sistēma var kontrolēt mājas apgaismojuma modeļus, pamatojoties uz mūziku, kas šobrīd spēlē. Tas var arī izmantot teksta-runas konvertēšanu, lai skaļi nolasītu lietotāju paziņojumus vai e-pastus. Lietotājiem ir arī iespēja izveidot zonas vairāku istabu audio sistēmā, izmantojot tīkla audio ierīces, piemēram, bezvadu skaļruņus dažādās mājas telpās. Šī pieeja rada visu ekosistēmu, lai nodrošinātu, ka mājas vienmēr darbojas ar maksimālu efektivitāti, vienlaikus samazinot mijiedarbību ar tur esošajiem cilvēkiem. Lai izveidotu šādu ekosistēmu, IoT dizaineriem jāizvēlas iegults mikrokontrollers ar pareizajām veiktspējas un audio funkcijām, kas ir optimizētas IoT lietojumprogrammām.
Digitālā signāla apstrādes efekti
Audio signāla apstrāde digitālajā domēnā ir svarīga jebkuras audio sistēmas sastāvdaļa, pirms tiek pārsūtīts audio dati, izmantojot bezvadu saiti. Šī apstrāde parasti ietver audio analoga signāla mērīšanu, filtrēšanu un/vai saspiešanu. Iegultais MCU ar integrētu DSP funkcionalitāti nodrošina tādus efektus kā digitālā maisītāja pievienošana un atbalsts tālvadības funkcijām. Ar katra kanāla 5- joslas ekvalaizeru audio atskaņošanu var gudri integrēt ar lielāko daļu sekvenceru lietojumprogrammu, lai izveidotu jaudīgu studijas sistēmu.