Na de hogy érint minket az adatmérgezés?
Egy nem is olyan régen megtörtént eset:
Anno 2016, a Microsoft büszkén veti a nép elé az új chatbotot és várja a reakciókat.
Azonnal több 1000 ember repül rá és faggatják, beszélnek hozzá, illetve beszéltetik is.
Nagyjából 5 óra leforgása alatt az első kedvesnek tűnő chatbot egy arrogáns
diktátor stílusában kezd értekezni a világról és súlyos véleményt alkot a benne lévő emberekről is.
A Microsoft összehívja a válságstábot, majd dönt: azonnal lekapcsolják a rendszert és visszavonulót fújnak.
No de mi történt pontosan? A válasz: ADATMÉRGEZÉS!
A CHATBOT a gmail levelezéseken edződött és azzal tanították az életszerű társalgásra.
Viszont erről valakik tudomást szereztek (ehhez belső ember is kellett) és azokra az email címekre, – amit a szoftver is figyelt és tanult – nagy mennyiségben kezdtek küldeni uszító és szélsőséges levelek sokaságát.
Ezzel gyakorlatilag “megmérgezték” szándékosan a tanító adatokat a háttérben.
Csak gondolj bele:ha egy AI alapú szoftvert 10.000 kutya képével arra tanítok, hogy ismerje fel a kutyákat a jövőben, akkor kb. 82%-os valószínűséggel meg is fogja tenni azt szinte bármilyen ebet is lát (2024 Q2 adat)
Ám ha csak 2%-a (!) ezeknek a kutya képeknek macskát tartalmaz, máris ez a kutya felismerő képesség 68%-ra csökken!
A mesterséges intelligencia (MI) adatmérgezés egy igen alattomos támadás az MI rendszerek ellen, ahol rosszindulatú szereplők meghamisítják a tanító adatokat a háttérben.
Olyan, mintha rossz információval etetnénk egy tanulási modellt, ami eltorzítja a döntéshozó képességét.
Íme egy áttekintés, hogy mit jelent az adatmérgezés az MI-ben.
Hogyan működik:
A támadók becsempésznek szennyezett adatokat: Ez magában foglalhat új
adatok bevezetését, vagy meglévők módosítását vagy akár fontos adatok
törlését is.
Az MI modell be van csapva: A mérgezett tanító adatok elfogyasztásával a
modell hibás mintákat és torzításokat tanul meg. Pl: “vezető pozícióba csak fehér férfi kerülhet” – ez valós példa.
Rossz döntések: Amikor az MI később előrejelzéseket vagy döntéseket hoz,
azok a mérgezett adatok alapján akár erősen torzulnak.
A támadások típusai:
Elérhetőségi támadások: Ezek arra irányulnak, hogy az egész MI modellt
összeomlasszák azzal, hogy szemét információval etetik, ami pontatlan
kimenetelekhez vezet. A rendszer használhatatlan lesz.
Célzott támadások: Itt a támadók gondosan befecskendeznek bizonyos
adatokat, hogy a modell kimenetelét egy bizonyos módon manipulálják,
például kockázatos hitelfelvevőknek adnak jóváhagyást.
Védekezés az adatmérgezés ellen:
Tanítás előtt/közben: A tanító adatok forrásának és pontosságának biztosítása
Működés közben: Az MI modell teljesítményének folyamatos monitorozása a
hirtelen változások vagy torzítások észlelésére utalhat adatmérgezésre.
Ha ötleted vagy kérdésed van – nem csak a profilozással kapcsolatban, itt megtalálsz: pedro@amtech.hu
Szekrényi Péter – Pedro
tulajdonos, IT mérnök
AMtech Rendszerház
www.amtech.hu
Ha több tech tartalmú cikket olvasnál itt megteheted:
Az AI 5 felhasználási területe