KI/ML er veien til avansert, energieffektiv kant-IoT

Kunstig intelligens (KI) og tingenes internett (IoT) er to av de mest innflytelsesrike teknologitrendene i dag. Selv om de er forskjellige, krysser de hverandre i økende grad i nettverkets utkant, hvor KI blir en integrert del av et økende antall stadig mer sofistikerte IoT-enheter.

KI støtter IoT-produkter i nettverkskanten på to forskjellige måter: Den forbedrer ytelsen og muliggjør nye muligheter, samtidig som den introduserer smartere mekanismer for å administrere og til og med redusere energiforbruket.

Fra Moores lov til KI

Tidligere utviklet teknologiske innovasjoner seg vanligvis med en forventet hastighet. Hvis for eksempel ingeniører trengte en viss mengde prosessorkraft til et visst prispunkt for å oppnå et tenkt produkt, kunne de konsultere kurven plottet ut fra Moores lov og bestemme – noen ganger ned til kalenderkvartalet – når ideene deres sannsynligvis ville bli gjennomførbare.

Med hastigheten på utviklingen av teknologier for KI og kant-IoT er imidlertid dette prinsippet blitt snudd. Utviklere av IoT-enheter kan – i dag – bruke KI og oppnå langt mer på en økonomisk måte enn mange av dem er klar over. Kraftige verktøy og teknikker for å designe avanserte, KI-drevne kantbaserte IoT-enheter gir lett tilgjengelige markedsmuligheter for IoT-applikasjonsutviklere.

Overlapping mellom nettverkskant og IoT

Kanten av nettverket er teoretisk, og den konseptuelle plasseringen har flyttet seg og flyttet seg igjen flere ganger bare i løpet av det siste tiåret eller så. For bare noen få år siden ble et datasenter eid av et teleselskap ansett som en del av kanten, fordi det teknisk sett ikke var en del av skyen. Ikke lenge etter det ble lokale serverrack og rutere installert av små og mellomstore bedrifter (SMBer) ansett som kanten.

Nå defineres kanten av langt mindre tilkoblede enheter som samler inn og behandler data på steder som er så fysisk fjernt fra de største datasentrene som mulig. Disse enhetene kan være alt fra sikkerhetskameraer til tilkoblede apparater til kroppsnære enheter og individuelle sensorer – kort sagt, de typene enheter som definerer IoT. Etter hvert som IoT har utvidet seg, har kanten flyttet seg for å møte den, det være seg smarte byer, smarte hjem, jordbruksland eller til og med maritime oljerigger.

Nesten alle enheter i dette brede elektroniske miljøet deler de samme to utfordringene. For det første kommer ekstremt begrensede ressurser først av designhensyn. Vekt, størrelse, pris og driftskostnader (som inkluderer energiforbruk) må minimeres. Videre omfatter IoT-kanten et sett med svært konkurransedyktige markedsområder der mindre, billigere og mer økonomiske alternativer alltid er rett rundt hjørnet.

KI og kant-IoT i kombinasjon

KI er blitt stadig mer vanlig i nettverkskanten av flere grunner. For det første er bruk av KI en av de beste måtene å gjøre ting mindre, billigere og mer økonomisk. Samtidig beveger forretningslogikk seg mot datakilden, av økonomiske og sikkerhetsmessige årsaker, og bruk av KI fremmer begge målene.

En annen viktig driver er energieffektivitet. De fleste IoT-enheter kobles trådløst til nettverket, og fra et IoT-enhets ståsted bruker trådløs kommunikasjon en betydelig mengde strøm. Med de siste fremskrittene innen prosessorer med ultralavt strømforbruk og KI, kan det være mer energieffektivt for en målrettet designet kantenhet (for eksempel en som er utstyrt med maskinvareakseleratorer for maskinlæring) å behandle dataene lokalt enn det ville være å laste opp strømmer av rådata via radio til et sted utenfor brikken.

Hvilemodus

Dette er også direkte knyttet til strømstyring på enhetsnivå. Mange kantenheter må bruke minimale mengder strøm. En viktig strømsparingsteknikk er å inkludere et hvilemodus, der enheten settes i en tomgangsmodus der den bare bruker minimale mengder strøm. Enheter i hvilemodus må være klare til å våkne, og like viktig – bare våkne når det virkelig er nødvendig – ikke våkne av falske utløsere.

Muligheten til å avgjøre om en inndatakilde berettiger å ta hele enheten ut av hvilemodus eller ikke, blir mye mer effektiv ved bruk av kunstig intelligens. I noen tilfeller kan kunstig intelligens til og med gjøre det mulig å implementere en effektiv hvilemodus i utgangspunktet.

Utgjør en forskjell

I slike tilfeller kan det å legge til kunstig intelligens i IoT-enheter i kanten utgjøre forskjellen mellom å bruke et stort batteri som gjør produktet for tungvint til å være virkelig bærbart, kontra å bruke et lite, diskret knappebatteri som gjør enheten komfortabel å bruke. Omvendt kan det være variabelen som avgjør om et batteri varer i flere dager, eller om det samme batteriet fungerer i flere uker eller lenger.

I mellomtiden kan ytelsesforbedringer og nye funksjoner som KI kan omgjøre et produkt som var nyttig nå og da, til noe som virkelig er livsviktig. For eksempel lar KI, kombinert med fremskritt innen sensorteknologi, enhetsprodusenter videreutvikle treningsmålere som i utgangspunktet måler noen få vitale tegn som indikerer generell helse, til bærbare enheter som gir pålitelige data som helsepersonell kan bruke til diagnostikk og behandlinger.

Evolusjonen av maskinlæring i KI-klar kant-IoT

Modeller for kant-KI kan være relativt enkle, spesielt sammenlignet med de typene komplekse store språkmodeller (LLMer) som chatverktøy er basert på. Det er én måte å redusere prosesseringsbyrden til KI for kant-IoT applikasjoner. Det finnes andre som involverer design av smarte algoritmer, men poenget her er at KI enkelt kan skaleres ned til å kjøre på svært energigjerrige prosessorer som er passende i størrelse og priset for kantprosessering. Disse pleier å være mikrokontrollere (MCUer) som kjører på lavere frekvenser, ledsaget av noen få megabytes med minne, noen ganger bare kilobytes.

På omtrent samme måte som modeller kan dimensjoneres for kant-KI generelt, kan også maskinlæring ha en tilpasset størrelse. Det pågår en satsing gjennom hele bransjen for å få maskinlæring til å kjøre på de samme små prosessorene. Opprinnelig kalt TinyML, blir det nå ofte referert til som EdgeAI (kant-KI) – nok en indikasjon på at KI og kant-IoT ikke bare krysser hverandre, men smelter sammen.

AI/ML er spesielt nyttig i utkanten av nettverket fordi de aller fleste dataene som samles inn i utkanten ikke er nyttige andre steder, og det er derfor ingen grunn til å overføre dem videre, og det er flere grunner til å aktivt unngå å gjøre det:

• Overføring av rådata bruker energi
• Bruk av et hvilket som helst nettverk har vanligvis en økonomisk kostnad
• Båndbredden er alltid begrenset, og overføring av rådata bruker opp båndbredde som kunne vært dedikert til viktigere trafikk.
• Databehandling i datasentre utføres av prosesseringssystemer som bruker langt mer energi enn kant-IoT-prosessorer
• Returoverføring av de behandlede resultatene bruker mer energi og båndbredde
• Den toveis overføringsprosessen medfører nettverksforsinkelse; den introduserer en tidsforsinkelse mellom input og resultat

Dette betyr at behandling av data samlet inn i nettverkskanten er et spørsmål om forretningslogikk, og forretningslogikk beveger seg mot utkanten fordi KI/ML-behandling i utkanten produserer de nødvendige resultatene samtidig som den bruker færrest ressurser (båndbredde, energi, penger, tid), samtidig som den er mer effektiv.

Hvis noen ber Siri om å slå på lysene, bør svaret komme umiddelbart; nettverksforsinkelse er uakseptabelt.

Svartider kan fremskyndes ved å unngå nettverksforsinkelser, men nettverksbrudd forekommer. Lokal behandling betyr at et svar fortsatt vil komme.

En siste betraktning er at lokal behandling er tryggere siden det reduserer sjansene for at dataene blir fanget opp, særlig sammenlignet med å sende dem gjennom flere overføringer til og fra et datasenter. Myndigheter i flere store markeder har pålagt juridiske forpliktelser for å beskytte personopplysninger, og det har derfor blitt et prinsipp innen databeskyttelse å sikre at lokale data forblir lokale.

KI kant-IoT På, Av, og Venter

Ser vi tilbake på energieffektivitet, har det å redusere strømforbruket viktige konsekvenser for batterier og batterilevetid, og KI/ML spiller en rolle i dette.

Det finnes flere måter å redusere strømforbruket på. Kant-IoT enheter er vanligvis koblet til trådløst, og kommuniserer ved hjelp av en rekke protokoller som inkluderer Wi-Fi og Bluetooth, men oftere alternativer som er designet for å bruke mindre strøm, inkludert Bluetooth Low Energy (BLE), Zigbee og Thread. Men selv når man bruker strømsparende alternativer som disse, koster hver overføring fortsatt energi – ganske mye etter standardene til en batteridrevet enhet.

Knust glass

Ta for eksempel sikkerhetsenheter som lytter etter knust glass. Opprinnelig, og frem til for noen år siden, måtte disse enhetene alltid være på, klare til å evaluere hver lyd for å avgjøre om det faktisk var knust glass eller en annen lyd. Falske positiver hadde en tendens til å inkludere andre skarpe lyder som håndklapp. Disse enhetene brukte deretter enda mer energi på å unødvendig varsle brukere om irrelevante lyder.

KI/ML eliminerer dette problemet. Med TinyML (EdgeAI) utfører enheten lokal prosessering og lærer å oppdage forskjellen mellom glass som knuses og ikke bare ulike lyder, men også lyder som deler noen av de samme soniske egenskapene til glass som knuses, men som ikke er av interesse. Først når den bestemmer at en lyd knuser glass, starter den prosessen med å slå på resten av enheten, inkludert den relativt strømkrevende trådløse radioen, for å utløse en alarm. Enheten forblir i en energisparende hvilemodus inntil den trengs, og lokal prosessering ved hjelp av KI/ML avgjør nøyaktig om den skal gå tilbake til hvilemodus eller våkne. Falske positiver og energikrevende overføringer av irrelevante data elimineres.

Dette er fullt mulig selv uten KI/ML – hvis enheten har en sofistikert nok prosessor. Dette nivået av prosessorkraft vil sannsynligvis koste altfor mye for en kant-IoT enhet. Med KI/ML er denne funksjonaliteten mulig på en prosessor som har en passende størrelse for et kant- IoT-produkt.

Ettersom disse enhetene forventes å kjøre alt fra tre til fem år på ett enkelt batteri, er disse energisparingsprosessene transformative.

Bare begynnelsen

KI/ML gjør det mulig å gjøre ekstraordinære ting på IoT-enheter i nettverkskanten i dag, på en meget økonomisk måte, ved hjelp av verktøy som gjør designprosessen langt enklere enn man kanskje skulle tro.

Videre er KI/ML i kant-IoT fortsatt i utvikling. Kontinuerlig enhetsintegrasjon betyr at selv de beskjedne prosessorene som brukes på dette nivået vil bli kraftigere.

Optimaliserte algoritmer og økt kantprosesseringskraft vil garantert føre til betydelige forbedringer i brukeropplevelsen på lokale enheter. TinyML (EdgeAI) er på vei til å bringe konversasjonsbaserte KI-funksjoner ned til kantenheter.