MI az az adatmérgezés és hogyan védekezzünk ellene? A 2% problémája

Na de hogy érint minket az adatmérgezés?

Egy nem is olyan régen megtörtént eset:

Anno 2016, a Microsoft büszkén veti a nép elé az új chatbotot és várja a reakciókat.
Azonnal több 1000 ember repül rá és faggatják, beszélnek hozzá, illetve beszéltetik is.

Nagyjából 5 óra leforgása alatt az első kedvesnek tűnő chatbot egy arrogáns
diktátor stílusában kezd értekezni a világról és súlyos véleményt alkot a benne lévő emberekről is.

A Microsoft összehívja a válságstábot, majd dönt: azonnal lekapcsolják a rendszert és visszavonulót fújnak.

No de mi történt pontosan? A válasz: ADATMÉRGEZÉS!

Adatmérgezés

A CHATBOT a gmail levelezéseken edződött és azzal tanították az életszerű társalgásra.
Viszont erről valakik tudomást szereztek (ehhez belső ember is kellett) és azokra az email címekre, – amit a szoftver is figyelt és tanult – nagy mennyiségben kezdtek küldeni uszító és szélsőséges levelek sokaságát.

Ezzel gyakorlatilag “megmérgezték” szándékosan a tanító adatokat a háttérben.

Csak gondolj bele:ha egy AI alapú szoftvert 10.000 kutya képével arra tanítok, hogy ismerje fel a kutyákat a jövőben, akkor kb. 82%-os valószínűséggel meg is fogja tenni azt szinte bármilyen ebet is lát (2024 Q2 adat)

Ám ha csak 2%-a (!) ezeknek a kutya képeknek macskát tartalmaz, máris ez a kutya felismerő képesség 68%-ra csökken!

A mesterséges intelligencia (MI) adatmérgezés egy igen alattomos támadás az MI rendszerek ellen, ahol rosszindulatú szereplők meghamisítják a tanító adatokat a háttérben.

Olyan, mintha rossz információval etetnénk egy tanulási modellt, ami eltorzítja a döntéshozó képességét.

Íme egy áttekintés, hogy mit jelent az adatmérgezés az MI-ben.

Hogyan működik:

 A támadók becsempésznek szennyezett adatokat: Ez magában foglalhat új
adatok bevezetését, vagy meglévők módosítását vagy akár fontos adatok
törlését is.

 Az MI modell be van csapva: A mérgezett tanító adatok elfogyasztásával a
modell hibás mintákat és torzításokat tanul meg. Pl: “vezető pozícióba csak fehér férfi kerülhet” – ez valós példa.

 Rossz döntések: Amikor az MI később előrejelzéseket vagy döntéseket hoz,
azok a mérgezett adatok alapján akár erősen torzulnak.

A támadások típusai:

 Elérhetőségi támadások: Ezek arra irányulnak, hogy az egész MI modellt
összeomlasszák azzal, hogy szemét információval etetik, ami pontatlan
kimenetelekhez vezet. A rendszer használhatatlan lesz.

 Célzott támadások: Itt a támadók gondosan befecskendeznek bizonyos
adatokat, hogy a modell kimenetelét egy bizonyos módon manipulálják,
például kockázatos hitelfelvevőknek adnak jóváhagyást.

Védekezés az adatmérgezés ellen:

 Tanítás előtt/közben: A tanító adatok forrásának és pontosságának biztosítása

 Működés közben: Az MI modell teljesítményének folyamatos monitorozása a
hirtelen változások vagy torzítások észlelésére utalhat adatmérgezésre.

 

Ha ötleted vagy kérdésed van – nem csak a profilozással kapcsolatban, itt megtalálsz: pedro@amtech.hu

Szekrényi Péter – Pedro
tulajdonos, IT mérnök
AMtech Rendszerház
www.amtech.hu

Tanulj Pedrotol

Ha több tech tartalmú cikket olvasnál itt megteheted:
Az AI 5 felhasználási területe