MI az az adatmérgezés és hogyan védekezzünk ellene? A 2% problémája

Na de hogy érint minket az adatmérgezés?

Egy nem is olyan régen megtörtént eset:

Anno 2016, a Microsoft büszkén veti a nép elé az új chatbotot és várja a reakciókat.
Azonnal több 1000 ember repül rá és faggatják, beszélnek hozzá, illetve beszéltetik is.

Nagyjából 5 óra leforgása alatt az első kedvesnek tűnő chatbot egy arrogáns
diktátor stílusában kezd értekezni a világról és súlyos véleményt alkot a benne lévő emberekről is.

A Microsoft összehívja a válságstábot, majd dönt: azonnal lekapcsolják a rendszert és visszavonulót fújnak.

No de mi történt pontosan? A válasz: ADATMÉRGEZÉS!

Adatmérgezés

A CHATBOT a gmail levelezéseken edződött és azzal tanították az életszerű társalgásra.
Viszont erről valakik tudomást szereztek (ehhez belső ember is kellett) és azokra az email címekre, – amit a szoftver is figyelt és tanult – nagy mennyiségben kezdtek küldeni uszító és szélsőséges levelek sokaságát.

Ezzel gyakorlatilag “megmérgezték” szándékosan a tanító adatokat a háttérben.

Csak gondolj bele:ha egy AI alapú szoftvert 10.000 kutya képével arra tanítok, hogy ismerje fel a kutyákat a jövőben, akkor kb. 82%-os valószínűséggel meg is fogja tenni azt szinte bármilyen ebet is lát (2024 Q2 adat)

Ám ha csak 2%-a (!) ezeknek a kutya képeknek macskát tartalmaz, máris ez a kutya felismerő képesség 68%-ra csökken!

A mesterséges intelligencia (MI) adatmérgezés egy igen alattomos támadás az MI rendszerek ellen, ahol rosszindulatú szereplők meghamisítják a tanító adatokat a háttérben.

Olyan, mintha rossz információval etetnénk egy tanulási modellt, ami eltorzítja a döntéshozó képességét.

Íme egy áttekintés, hogy mit jelent az adatmérgezés az MI-ben.

Hogyan működik:

 A támadók becsempésznek szennyezett adatokat: Ez magában foglalhat új
adatok bevezetését, vagy meglévők módosítását vagy akár fontos adatok
törlését is.

 Az MI modell be van csapva: A mérgezett tanító adatok elfogyasztásával a
modell hibás mintákat és torzításokat tanul meg. Pl: “vezető pozícióba csak fehér férfi kerülhet” – ez valós példa.

 Rossz döntések: Amikor az MI később előrejelzéseket vagy döntéseket hoz,
azok a mérgezett adatok alapján akár erősen torzulnak.

A támadások típusai:

 Elérhetőségi támadások: Ezek arra irányulnak, hogy az egész MI modellt
összeomlasszák azzal, hogy szemét információval etetik, ami pontatlan
kimenetelekhez vezet. A rendszer használhatatlan lesz.

 Célzott támadások: Itt a támadók gondosan befecskendeznek bizonyos
adatokat, hogy a modell kimenetelét egy bizonyos módon manipulálják,
például kockázatos hitelfelvevőknek adnak jóváhagyást.

Védekezés az adatmérgezés ellen:

 Tanítás előtt/közben: A tanító adatok forrásának és pontosságának biztosítása

 Működés közben: Az MI modell teljesítményének folyamatos monitorozása a
hirtelen változások vagy torzítások észlelésére utalhat adatmérgezésre.

 

Ha ötleted vagy kérdésed van – nem csak a profilozással kapcsolatban, itt megtalálsz: pedro@amtech.hu

Szekrényi Péter – Pedro
tulajdonos, IT mérnök
AMtech Rendszerház
www.amtech.hu

Tanulj Pedrotol

Ha több tech tartalmú cikket olvasnál itt megteheted:
Az AI 5 felhasználási területe

Egyedi szoftverekről őszintén

Tekintve, hogy aktívan ezzel foglalkozunk, pontosan látjuk, hogy melyek a legnagyobb problémák és egyben félelmek ügyfeleink szemében az egyedileg fejlesztett szoftver rendszerekkel kapcsolatban.

Mindössze 2 szó! Nem kipróbált. Más szóval nem lehet előre megnézni, kipróbálni, „játszani” vele és megbizonyosodni arról, hogy tényleg nem kidobott pénz és idő pazarlás lesz az egész folyamat.

Mi mindenképp azt javasoljuk, hogy 2 felé bontsuk a szerződést (és a kifizetést is). Tehát válasszuk el egymástól élesen a felmérés és a fejlesztés-bevezetés szakaszt. Így már idejekorán láthatunk egy előzetes vázat a programból és tömör leírást, amiből az is kitűnik, hogy értjük-e egymást a bevezetést végző céggel, tetszik-e a tervezett kezelőfelület, megvannak-e a főbb funkciók, amiket kötelezően elvárunk.

Ha nem, itt még szinte fájdalom mentesen hagyhatjuk abba, s ha meg igen, akkor pedig nyugodtabban alszunk, hogy jó kezekben vagyunk 🙂

Aktuális IT trendek zanzásítva

A minap az alábbi beszélgetésnek voltam fültanúja:

…oké, de az IOT már mindenütt ott van, az okos óvszertől az okos kávéfőzőig…

És vicces, mert 2 hölgy beszélgetett minderről 🙂

Egyébként igaz. A listát nagyban vezeti az IoT, ami a netre kapcsolt (valamire jó) okos eszközök gyűjtőfogalma. Itt most leginkább azon megy a harc, hogy mit lehetne még eképp okosítani, illetve lassan elgondolkodunk a (hiányzó) biztonságtechnikai odalán is a dolognak. Most hogy 2x annyi ilyen eszköz van, mint ember.

Tovább fejlődik és komolyodik a 3d nyomtatás módszere, amivel már 2 emeletes házat is lehet “nyomtatni”.

Business intelligence, ami lassan nem csak adatokat rendszerez és tényszerűen elénk tárja,hanem a következtetéseken és trendek felállításán túl, már akár stratégiai döntésekre vonatkozólag is tehet javaslatot. Sőt megindokolja a javaslatot és mindebből folyamatosan tanul is persze (ez a verzió azért még nem elterjedt).

Mesterséges intelligencia. Fülünkön jön már ki, nagyon keményen dolgozik rajta az emberiség, az biztos. A haladás és drasztikus fejlődés igen rövid távon (5 év) belül is érzékelhető lesz.

Robotok – cél, hogy minél többet vegyenek át tőlünk, s maradnak a kevésbé gépesíthető munkák nekünk embereknek még jó ideig.

Önvezető autók – ezek is csodálatosak, s bár még fogni kell a Tesla legújabb modeljében is a kormányt, nincs messze, amikor jó minőségű utakon (felfestéssel) tényleg az autóra bízhatjuk magunkat.

Felhő alapú szolgáltatásokról is sokat hallani, végre úgy néz ki Magyarországon is nő a bizalom ez irányba. Korábban 10 ügyfélből cask kettő vállalta be, most megfordulni látszik az arány, kevésbé félünk a lehallgatnak/meglopnak/megzsarolnak hármastól.

VR, AR, MR és AV. Szinte örök sláger és időről időre fel-fel bukkan. Rétegtermék, nagyon úgy tűnik, hogy egyelőre inkább a játékipar próbál profitálni belőle. Épphogy felkerült az aktuális listánkra.

IT trends 2017

2017 nyár végi aktualitások

3 érv a felhő alapú ERP-k mellett

1. A felhő alapú ERP rendszerek valóban megreformálják a céget

mert a programot amivel cégünket irányítjuk, bárhonnan elérhetjük, s mindezt különösebb technikai hozzáértés és saját IT-s részleg nélkül tehetjük meg.

2. A felhős rendszerek segítségével végre kizárólag azzal foglalkozhatunk, amihez értünk

sokunkra igaz, hogy nem igazán értünk az IT-hoz, igaz? Miért is kéne nekünk feltalálni a kereket? Foglalkozzon vele az, aki ért hozzá, s akinek ez a szakmája. Mi pedig nyugodtan tudjuk azt csinálni, amiért a céget létrehoztuk, amiben jók vagyunk.

3. A felhőnek a biztonsága kockázata igen csekély

az irányítás elvesztésétől való félelem a „legközkedveltebb” indok, amiért nem ezt a megoldást választják a cégek. Ugyanakkor gondoljunk csak bele: a cég, akinél a programunk és adataink vannak („a felhő szolgáltató”) sokkal többet veszíthet, mint mi, hisz sokaknak szolgáltat. Ergo többet tesz a biztonságért mi mint valaha is tudnánk, vagy akarnánk.

Modern ERP a felhőben

/A Panorama Consulting Solution cikkének kivonata/

2017.06.02