Mange organisasjoner ønsker å integrere kunstig intelligens i sine produkter eller interne prosesser, men uten at det går på bekostning av personvernet. For slike organisasjoner er løsningen å laste ned og distribuere AI-modeller på egne servere i stedet for å sende dataene til skyen. I denne artikkelen skal vi diskutere denne lokale strategien (også kjent som "edge AI").
On-premise eller edge computing refererer til praksisen med å behandle og lagre data nærmere kilden, i stedet for å sende dem til en sentralisert skyinfrastruktur. I denne tilnærmingen er databehandlingsressursene plassert i nærheten av systemene som sender dataene.
On-premise og edge computing er med andre ord trendy uttrykk som beskriver det faktum at en applikasjon distribueres på egne servere i stedet for å bruke en ekstern skytjeneste som et SaaS-API.
2 scenarier kan betraktes som "on-premise": enten har du dine egne maskiner i egne lokaler, eller så benytter du en skyleverandør som AWS, GCP, Azure... Strengt tatt er sistnevnte mindre "on-premise" fordi du ikke har kontroll over den underliggende serveren, men generelt kan begge betraktes som gyldige on-premise/ edge-løsninger.
On-premise eller edge computing har flere fordeler. For det første gir on-premise eller edge computing en dramatisk forbedring av personvernet og datasikkerheten ved å holde sensitiv informasjon nærmere kilden, redusere risikoen for uautorisert tilgang eller datainnbrudd under transport til skyen og forhindre at skyaktører utnytter dataene dine til uønskede formål. Det hjelper også organisasjoner med å overholde datareguleringer og lover som krever lokal lagring og behandling.
I tillegg reduseres ventetiden ettersom dataene ikke trenger å reise lange avstander for å nå skyen, noe som muliggjør raskere behandling og sanntidsanalyse. I tillegg minimerer det avhengigheten av nettverkstilkobling, slik at driften kan fortsette selv når internett er upålitelig eller forstyrret.
AI er en svært god lokal kandidat.
Den første grunnen er at organisasjoner har en tendens til å sende ekstremt sensitive data til AI-modeller. Dette gjelder spesielt på kritiske områder som medisinske og finansielle applikasjoner... Men ikke bare det.
Den andre grunnen er at AI-aktører på markedet i dag har en tendens til å gjenbruke kundedata i sin egen virksomhet. OpenAI er et godt eksempel: Når organisasjoner for eksempel sender data til ChatGPT, blir dataene gransket, og OpenAI kan gjenbruke dataene til å trene opp sine egne AI-modeller. Personvernhensyn i forbindelse med ChatGPT og GPT-4 er sentrale spørsmål som får mange organisasjoner til å fokusere på lokale strategier.
Implementering av AI-modeller på stedet innebærer å sette opp infrastrukturen for å hoste, administrere og betjene AI-modellen i organisasjonens eget datasenter eller administrerte infrastruktur, i stedet for i skyen.
Her er noen vanlige trinn i implementeringen av en lokal AI-modell:
Disse stegene kan forenkles ved å bruke en dedikert leverandør som NLP Cloud til din lokale AI-modell. Med NLP Cloud får du for eksempel tilgang til et Docker-image som inneholder en AI-modell som er klar til bruk og optimalisert for inferens.
Lokal databehandling eller edge computing har sine begrensninger. Databehandlingsressursene som er tilgjengelige i edge, er vanligvis begrenset sammenlignet med skyinfrastruktur, noe som kan begrense kompleksiteten i applikasjonene som kan distribueres. I tillegg kan det være utfordrende å vedlikeholde og administrere distribuerte dataressurser på flere steder, noe som krever ekstra investeringer i IT-infrastruktur og ekspertise.
Generelt er en slik strategi mer kostbar enn å basere seg på et administrert SaaS-tilbud som OpenAI, Anthropic, NLP Cloud ...
Sist, men ikke minst, er personvernet bare garantert hvis den underliggende lokale infrastrukturen er korrekt sikret.
On-premise AI / edge AI skyter i været nå som AI gradvis får fotfeste blant organisasjoner.
En slik utvikling er forståelig: KI brukes i alle slags kritiske applikasjoner som stiller store krav til personvern, og standard skyaktører kan ikke oppfylle disse kravene.
Hvis du er interessert i en slik strategi for ditt AI-prosjekt, kan du kontakte oss slik at vi kan gi deg råd: [email protected]
Maxime
Ansvarlig for strategiske partnerskap hos NLP Cloud