A mesterséges intelligencia (AI) és a gépi tanulás (Machine Learning, ML) világa elképzelhetetlen adatok nélkül. Sokszor hallani, hogy az adatok jelentik az „új olajat” – ez a hasonlat jól szemlélteti, milyen értékesek lehetnek a megfelelően gyűjtött és feldolgozott információk. De ahhoz, hogy az adatok valóban hasznosak legyenek egy AI-projektben, fontos, hogy megértsük, honnan származnak, hogyan tisztítsuk őket, milyen lépésekkel érdemes előkészíteni, és mi történik, ha rossz minőségűek. Ebben a cikkben az adatok szerepét járjuk körbe, és igyekszünk átlátható módon bemutatni, miként épülnek be a mesterségesintelligencia-megoldásokba.

1. Miért kulcsfontosságúak az adatok?

Az AI-rendszerek döntéseiket (vagy előrejelzéseiket) a betanulás során gyűjtött tapasztalatokra alapozzák. Ha nincs elég jó minőségű adat, az algoritmus nem fog tudni pontos mintákat megfigyelni, vagy téves következtetéseket von le. Az adatokból a gépi tanulás algoritmusai mintázatokat, összefüggéseket és szabályszerűségeket tanulnak. Ez a tanulás történhet felügyelt, felügyelet nélküli vagy megerősítéses formában, de a központi elem mindig maga az információ.

1.1. A döntéshozás alapja

Egy AI-projekt eredménye attól függ, milyen adatokat kap a rendszer. Gondoljunk bele: egy kép alapú képfelismerő rendszer attól függően fog „tanulni”, hogy milyen képeket látott korábban. Ha a képadatbázis csak fekete-fehér képeket tartalmaz, később nehezebben boldogul majd a színes fotókkal. Ha hiányoznak a változatos példák, az algoritmus nem tanulja meg, hogyan néznek ki különböző helyzetek, tárgyak vagy emberi arcok. Ez a „szegényes tananyag” elmaradáshoz vezet, és a kész modell pontatlanabb lesz a való életben.

1.2. A mennyiség és a minőség kérdése

Sok AI-fejlesztő és adatkutató (data scientist) azt vallja, hogy a nagyobb mennyiségű adat gyakran még fontosabb, mint az, hogy a felhasznált algoritmus mennyire korszerű. Egy egyszerűbb algoritmus is jól teljesíthet, ha rengeteg változatos példa áll a rendelkezésére. De a mennyiség önmagában nem elegendő – a minőség is kiemelt szerepet játszik. Ha az adatok pontatlanok, hiányosak vagy zajosak, hiába nagy a számuk, a modell nem fog megfelelően általánosítani.

1.3. Üzleti jelentőség

Ha egy vállalkozás AI-megoldást szeretne bevezetni, az első lépés gyakran a rendelkezésre álló adatok auditja. Meg kell nézni, hogy milyen forrásokból, milyen formában és mekkora mennyiségben léteznek az adatok. A hiányosságok azonosítása segít felvázolni, hogy milyen további adatgyűjtési stratégiát érdemes bevezetni. Üzleti szempontból ez a stratégiai döntéshozatal kulcsa. Egy jó adatgyűjtési terv például megalapozhatja a sikeres ügyfélelvándorlás-előrejelzést, a hatékony marketingkampányokat vagy a pontosabb készletgazdálkodást.

2. Hogyan gyűjtsünk adatokat?

2.1. Belső adatforrások

Egy vállalatnak először is érdemes körbenéznie a saját rendszereiben. Ilyenek lehetnek a következők:

• Értékesítési adatok: bevételek, tranzakciók, ügyfél-információk.
• Weboldal- és alkalmazáshasználati adatok: milyen oldalakat néznek meg a látogatók, mennyi időt töltenek ott, milyen műveleteket végeznek.
• Ügyfélkapcsolati menedzsment (CRM) rendszerek: hívásnaplók, ügyfélszolgálati jegyek, panaszok, visszajelzések.
• Gyártási logfájlok: gépek szenzoradatai, minőségellenőrzési jegyzőkönyvek.

Ezek az információk különböző formátumúak lehetnek (táblázatos adatok, szöveges leírások, logfájlok, képi információk), és gyakran más-más rendszer tárolja őket. Érdemes felmérni, hogyan integrálhatóak egy egységes adatbázisba vagy data lake-be.

2.2. Külső adatforrások

Ha a meglévő belső adatok nem elégségesek, érdemes körülnézni a külső forrásoknál is:

• Nyilvános adatbázisok: sok országban elérhetők statisztikák, meteorológiai adatok, demográfiai jelentések.
• API-k és adatpiacok: léteznek vállalatok, amelyek kifejezetten adatkereskedelemmel foglalkoznak, vagy ingyenes adatokat kínálnak (például meteorológiai szolgáltatók).
• Kutatási célra összegyűjtött adatkészletek: egyetemek, kutatóintézetek gyakran tesznek közzé nyílt adatokat.

A külső adatforrások segíthetnek kiegészíteni a vállalat saját adatait, és olyan külső tényezőket is bevonni a modellbe, mint az időjárás, a versenytársak piaci tevékenysége, a gazdasági mutatók, vagy épp a közösségi média hírei.

2.3. Adatgyűjtési stratégiák

Az adatgyűjtés nem egyszeri feladat, hanem folyamatos tevékenység. A vállalkozásnak érdemes kialakítania egy stratégiát arra, hogy miként és milyen gyakran frissíti az adatokat. Például:

• Valós idejű adatgyűjtés: szenzorok, webes API-k.
• Időszakos frissítés: napi, heti, havi adatbázis-szinkronizálás.
• Eseti, kampányszerű gyűjtés: új termék bevezetésekor felmérés, piackutatás.

A sikeres AI-projektekhez hosszú távon gondolkodva érdemes már korán rögzíteni, hogy milyen változókat, mezőket kívánunk tárolni. Így célirányosan tudjuk felhasználni az adatokat később a modellépítés során.

3. Adattisztítás és előfeldolgozás

Miután megvannak az adatok, a következő fontos lépés az úgynevezett adattisztítás (data cleaning) és előfeldolgozás (data preprocessing). Sokszor meglepő, hogy a gépi tanulási projektek idejének jelentős része erre megy el – nem a modellépítésre vagy a kódolásra. Az ok egyszerű: a valós adatok gyakran „piszkosak”, hiányosak, duplikáltak vagy éppen ellentmondásosak.

3.1. Tipikus problémák a nyers adatokkal

1. Hiányzó értékek: Például egy felmérési űrlap kitöltésénél nem minden mezőt töltöttek ki. Hogyan kezeljük ezt? Kitöröljük az adott bejegyzést, vagy pótoljuk valamilyen átlaggal, mediánnal?
2. Rosszul formázott adatok: Lehet, hogy ugyanazt a mezőt különböző formátumokban tárolják (például a dátumokat eltérő sorrendben: év-hónap-nap, nap-hónap-év stb.).
3. Zaj és kiugró értékek: Lehet, hogy egy szenzor időnként rossz adatot küld, vagy valaki véletlenül nullát írt egy logisztikai szoftverbe, miközben a valós érték 1000 lett volna. Ezek befolyásolhatják a modell pontosságát.
4. Duplikációk: Előfordul, hogy ugyanazt az ügyfelet többször is rögzítik a rendszerben, enyhén eltérő adatmezőkkel.
5. Különböző mértékegységek: Ha egy riport méterben, egy másik centiméterben tárol adatokat, akkor ezek összekeverése hibákhoz vezet.

3.2. Előfeldolgozási lépések

A fenti problémákat kezelni kell, mielőtt a gépi tanulási algoritmus bevetésre kerül. Néhány tipikus lépés:

• Hiányzó értékek pótlása vagy eldobása: Eldobhatjuk a hiányos sorokat (ha nem túl sok), vagy imputálással pótolhatjuk (például átlag, medián, k-means clustering alapú becslés).
• Skálázás: Sok gépi tanulási algoritmus érzékeny a változók nagyságrendjére. Ha egyik jellemzőnk 1 és 100 között van, a másik 10000 és 20000 között, akkor érdemes normalizálni vagy standardizálni az adatokat.
• Kategóriák kódolása: Egyes modellek nem tudnak mit kezdeni a szöveges kategóriákkal (például „Budapest”, „Pécs”, „Szeged”). Ilyenkor át kell alakítani őket például One-hot encodinggal, ami bináris változókra bontja a kategóriákat.
• Kiugró értékek kezelése: Megvizsgálhatjuk, hogy egy extrém adatpont valóban érvényes-e, vagy csak mérési hiba. Kisebb adatbázisnál lehet, hogy nem érdemes eldobni, de nagy tömegű adatoknál a kiugró értékek torzíthatják a modellt.
• Dimenziócsökkentés: Ha nagyon sok jellemzőnk van, érdemes lehet összevonni vagy kiszűrni a kevésbé fontosakat, hogy gyorsabban és hatékonyabban tanuljon a modell. Például Principal Component Analysis (PCA) vagy más módszerek használatával.

3.3. Példa a valóságban

Képzeljük el, hogy egy online áruház adatait elemzed. A termékekhez tartozó táblázatban van ár, leírás, eladási dátum, raktárkészlet, szállítási idő. Lehet, hogy az árnál olykor forint, máskor euró szerepel, a leírásban ékezetes és ékezet nélküli változatok is vannak, a szállítási idő helyenként üres mező. Ezt mind egységes formába kell hozni, mielőtt megpróbálsz előrejelzést készíteni arról, mennyi fogy majd egy termékből. A precíz adattisztítással sok időt lehet spórolni később, mert a modellépítés már tiszta alapokra épülhet.

4. Az adatok minőségének hatása az eredményekre

4.1. Túlilleszkedés és torzítás

Ha rossz minőségű adatot használunk, a modellek hajlamosabbak a túlilleszkedésre (overfitting). Ez azt jelenti, hogy túlzottan igazodnak a tanító adatokhoz, és nem tudnak jól teljesíteni új, ismeretlen helyzetekben. De az is megeshet, hogy olyan adatokra tanítjuk a rendszert, amelyek nem reprezentálják a valós populációt. Ilyenkor torz előrejelzések születhetnek. Például, ha egy banki hitelbírálati modell csak fiatal, magas jövedelmű városi lakosokra lett tréningezve, akkor igazságtalan döntéseket hozhat, ha egy másik csoport igényel hitelt.

4.2. Pontatlanság és megbízhatatlanság

Minél koszosabb vagy hiányosabb egy adathalmaz, annál nagyobb a valószínűsége a rossz előrejelzésnek. A modell is arra következtet, hogy a zajos adatot valósnak kell tekintenie, és ezért teljesen téves összefüggést tanulhat meg. Például, ha néhány szenzor téves hőmérsékleti adatokat jelentett, a rendszer esetleg nem fogja felismerni a hőmérséklet és a gép meghibásodásának valódi összefüggését.

4.3. Költségek és idő

A rossz adat nem csak rossz modellt eredményez, hanem drága lehet a hibák kijavítása. Ha egy vállalkozásnak hirtelen újra kell tanítania a modellt, vagy extra adatgyűjtésbe kell fognia, az időt és pénzt visz el. Emellett a hibás döntések – például rossz marketingkampány, félrevezető készletgazdálkodás – további költségekhez vezethetnek. Ezért a lehető legkorábban érdemes gondoskodni az adatminőség biztosításáról.

5. Adatgyűjtés, -tárolás és -kezelés jogi és etikai szempontból

5.1. GDPR és adatvédelem

Az Európai Unióban a GDPR (General Data Protection Regulation) szigorú szabályokat ír elő a személyes adatok gyűjtésére, tárolására és felhasználására vonatkozóan. Ez különösen fontos az AI-projekteknél, ahol gyakran dolgozunk ügyfelek vagy felhasználók személyes információival. A vállalkozásoknak tisztában kell lenniük azzal, hogy milyen adatot gyűjthetnek, milyen célra, és meddig tárolhatják azt. Emellett tájékoztatniuk kell a felhasználókat, és biztosítani a törlés lehetőségét, ha valaki kéri.

5.2. Anonimizálás és pszeudonimizálás

Ha az AI-projekt nem igényli kifejezetten a konkrét személyek azonosítását, akkor érdemes a személyes adatokat anonimizálni vagy pszeudonimizálni. Így csökkenthető a jogi kockázat, és védhető a felhasználók magánélete. Az anonimizálás során a személyes adatokhoz nem lehet visszakövetkeztetni, a pszeudonimizálásnál egy kódot használunk az egyének helyett, de elvileg egy kulcs segítségével vissza lehet fejteni az eredeti adatokat.

5.3. Etikai kérdések

Nem csak a törvényi előírások számítanak. Egy vállalat hírneve múlhat azon, mennyire bánik felelősségteljesen az adatokkal. Bizonyos adatgyűjtések akár visszatetszést is kelthetnek a felhasználókban, ha úgy érzik, túlzottan beavatkoznak a magánszférájukba. Fontos, hogy egyensúly legyen az üzleti érdekek és a felhasználók védelme között. AI-projekteknél a transzparencia és a bizalom építése alapfeltétel.

6. Adatmegőrzés, frissítés és életciklus

6.1. Az adat életciklusa

Az adatgyűjtés nem ér véget a tárolással. Ahogy korábban már említettük, az AI-modelleknek folyamatosan friss adatokra lehet szükségük, hogy ne avuljanak el. Az adat életciklusát gyakran így írják le:

1. Létrehozás vagy megszerzés: Az adatok megszületnek, például egy új rendelés rögzítése.
2. Tárolás: Adatbázisba vagy adatközpontba kerülnek.
3. Hasznosítás: AI-modellek tanítása, riportok készítése, döntéstámogatás.
4. Archíválás vagy törlés: Ha az adatokra már nincs szükség, archiváljuk vagy töröljük őket (például a GDPR előírások miatt).

6.2. Verziókezelés és nyomon követés

Egy adatbázis tartalma idővel változhat. Ha AI-modellek épülnek rá, fontos, hogy képesek legyünk reprodukálni, mely adatokkal tanítottuk őket. Ez azt jelenti, hogy kell egyfajta verziókezelés: meg kell jelölni, melyik modell melyik adatverzióra épült, hogy később is visszanézhessük, hogyan születtek a döntések. Ez segít a hibák felderítésében és a fejlesztések követésében.

6.3. Adatfrissítés fontossága

Sok iparágban dinamikusan változnak a viszonyok: új termékek jelennek meg, változnak az árak, a felhasználói viselkedés pedig folyamatosan alakul. Emiatt nem elég egyszer összegyűjteni és megtisztítani az adatokat; folyamatos aktualizálásra van szükség. Egy régi, már nem releváns adatbázis ugyanúgy félreviheti a modellt, mintha rossz minőségű lenne.

7. Példák konkrét iparágakból

7.1. E-kereskedelem

Egy e-kereskedelmi cég nagy mennyiségű adatot gyűjt: vásárlói kosáradatok, termék-kattintások, hírlevél-megnyitások, keresőmezőbe írt kulcsszavak. Ezekből célzott ajánlórendszert hozhat létre, ami vásárlókat irányít a számukra releváns termékekhez. De csak akkor működik jól, ha:

• Az adatbázis naprakész.
• Nincsenek duplikált felhasználói fiókok vagy téves kattintási adatok (botok).
• A rendszer figyeli, ha valaki mobilról vs. asztali böngészőről nézelődik, mert eltérő viselkedést mutathat.

Ha a termékek leírása hiányos vagy elavult, az ajánlórendszer is pontatlan lesz, és a felhasználó nem találja meg, amit keres.

7.2. Gyártóipar és IoT

A gyártó cégek szenzoradatokat használnak a gépek állapotának felügyeletére. A szenzorok folyamatosan hőmérsékletet, rezgési adatokat, nyomást és egyéb paramétereket mérnek. Ezekből jóslatot lehet készíteni arról, hogy mikor várható egy alkatrész meghibásodása. A prediktív karbantartás így csökkenti a váratlan leállások számát. Viszont a szenzorokból érkező adatok gyakran zajosak, hiányosak vagy rossz időbélyeggel érkeznek. A gyártónak gondoskodnia kell az adatok folyamatos tisztításáról, szinkronizálásáról, és arról, hogy a gépi tanulási modell mindig friss információk alapján dolgozzon.

7.3. Pénzügy és kockázatelemzés

A pénzügyi intézményeknél (bankok, biztosítók) rengeteg tranzakciós adat, ügyfélinformáció, pénzügyi mutató és piaci adat áll rendelkezésre. Ebből lehet hitelezési kockázatot számolni, biztosítási díjat testre szabni vagy éppen csalásokat észlelni. Az adatminőségnek itt létfontosságú szerepe van. Ha például a csalásfelderítésnél helytelenül rögzítik a gyanús tranzakciók tulajdonságait, akkor a modell később nem tanulja meg, mi számít valóban gyanúsnak. A pénzügyben a hatósági előírások miatt különösen szigorú szabályok vonatkoznak az adatkezelésre, így az AI-projekteknek alkalmazkodniuk kell például a PSD2 vagy a Basel szabályokhoz is (EU-s pénzügyi direktívák és banki tőkeszabályozás).

8. Adatminőségi mutatók és ellenőrzés

8.1. Adatminőségi keretrendszerek

Egyes vállalatok bevezetik az úgynevezett Data Governance keretrendszert, amely szabályokat és folyamatokat ad az adatkezelésre. Ezen belül különböző mutatókkal (metric) mérik az adatminőséget:

• Teljesség (completeness): hány százalékban hiánytalanok a mezők?
• Pontosság (accuracy): mennyire valósak az adatok, és milyen gyakran fordulnak elő hibák?
• Konzisztencia (consistency): ugyanazt az adatot több helyen is tárolhatjuk – vajon mindenhol egyezik?
• Időszerűség (timeliness): milyen gyakran frissítik az adatokat, mennyi a késés?

Ha ezek a mutatók rendszeresen ellenőrzésre kerülnek, és van felelős személy vagy csoport, aki javítja az észlelt hibákat, akkor hosszú távon sokkal stabilabb AI-projekteket lehet építeni.

8.2. Adatminőség a modell élesítése után

Az adatminőség ellenőrzése nem csak a tanítás előtti folyamatban fontos. Ha már élesben működik a rendszer, akkor is érdemes figyelni, hogy nem romlik-e a bemenő adatok minősége. Például, ha hirtelen elmarad egy kulcsfontosságú adatforrás, mert megszűnik a partneri kapcsolat vagy technikai hiba lép fel, akkor a modell is félrecsúszhat. Ezért hasznos valamilyen monitoring eszköz, ami jelzi, ha drasztikusan megváltozik az adatok statisztikai eloszlása, vagy ha egyre több mező hiányzik.

9. Módszerek a jobb adatgyűjtés és -kezelés érdekében

9.1. Adatvalidálás beépítése a folyamatba

A „piszkos” adat egyik fő forrása az emberi hibázás. Ha manuálisan visznek be adatokat egy rendszerbe, mindig fennáll a félreütés, a rossz formátum vagy a hiányos kitöltés veszélye. Ezt csökkenthetjük:

• Űrlapvalidálás: a mezők csak érvényes formátumot fogadjanak el (például dátum csak év-hónap-nap formában).
• Kötelező mezők: ne lehessen menteni az űrlapot, ha a kritikus mezők nincsenek kitöltve.
• Automatikus kitöltés: ha lehet, a rendszer maga generáljon alapértelmezett értékeket (például aktuális dátumot).

9.2. Integrált adatplatformok

Ha több forrásból gyűlnek az adatok, érdemes integrált platformot kialakítani (pl. data warehouse vagy data lake). Így könnyebb szabványosítani a formátumokat, központilag kezelni a duplikációkat, és nyomon követni a változásokat. Nagyobb cégeknél bevett gyakorlat egy ETL-folyamat (Extract, Transform, Load) vagy ELT-folyamat, amely során a forrásadatot kinyerik, átalakítják egységes formára, és betöltik egy központi tárolóba.

9.3. Automatizált adatellenőrzés

Léteznek eszközök és scriptek, amelyek automatikusan átfésülik az adatbázist, és kimutatják a logikai ellentmondásokat, a duplikációkat vagy a hiányzó értékeket. Egy jól beállított automatizmus naponta, hetente riportokat generál, így a felelősök idejében értesülhetnek a hibákról. Ez megelőzi a nagyobb torzulásokat, mielőtt még a modell használni kezdené a rossz adatokat.

10. Hogyan hat a jó adat az AI-projekt sikerére?

10.1. Nagyobb pontosság

A legkézzelfoghatóbb előny, hogy a jobb minőségű, releváns és változatos adatokból tanult modellek pontosabb előrejelzést és következtetést adnak. Ez közvetlenül javítja az AI-megoldások hasznosságát: a felhasználók bíznak a rendszerben, és az üzleti döntéshozók is biztosabbak lehetnek abban, hogy jó irányba halad a projekt.

10.2. Gyorsabb fejlesztési ciklus

A jól karbantartott adatbázisokkal rendelkező szervezeteknél az AI-modellek fejlesztése is gördülékenyebb. Nem kell minden új projekt elején hosszú heteket tölteni a duplikált, rossz minőségű rekordok takarításával. Ehelyett sokkal hamarabb lehet a tényleges elemzésre és a kísérletezésre fókuszálni, ami felgyorsítja az innovációt.

10.3. Skálázhatóság és fenntarthatóság

Ha már az elején gondot fordítunk az adatarchitektúra és az adatfolyamatok jó tervezésére, akkor később könnyebben bővíthetjük a rendszert. Ez lehet több adatforrás, nagyobb mennyiségű adat feldolgozása vagy új alkalmazási területek bevonása. Egy stabil, jól dokumentált adatkezelési folyamat lehetővé teszi, hogy a vállalat megbízhatóan skálázza az AI-projekteket.

11. Összefoglaló gondolatok

Az AI és a gépi tanulás sikere jelentős részben az adatok minőségén múlik. Ha a vállalkozás nem veszi komolyan az adatgyűjtést és -tisztítást, akkor a legmodernebb algoritmusok sem fognak csodát tenni. A rossz minőségű adat félrevezető eredményekhez vezethet, ami a cég számára akár anyagi veszteséget is jelenthet, nem beszélve a reputációs kockázatokról.

Az adat életciklusának felügyelete – a gyűjtéstől a tisztításon át a tárolásig és frissítésig – kritikus fontosságú. Emellett a jogi és etikai szempontok sem elhanyagolhatók: a felhasználók és ügyfelek bizalma könnyen elvész, ha nem bánunk tisztességesen az adataikkal. A GDPR és más adatvédelmi szabályozások pedig komoly büntetéseket is kilátásba helyeznek, ha megszegjük őket.

A cégmérettől függetlenül érdemes időt és erőforrásokat szánni a Data Governance megoldásokra, az adatminőség-mutatók folyamatos ellenőrzésére és a jól kialakított adatarchitektúrára. Ezekre épülhetnek sikeres AI-fejlesztések és gépitanulás-projektek, amelyek valódi üzleti értéket hoznak. Végeredményben tehát nem csupán technológiai kérdésről van szó, hanem üzleti stratégiáról is: a mai versenyben az nyer, aki okosan tudja felhasználni a rendelkezésre álló információk tárházát.

12. Merre tovább?

A következő cikkben (5. cikk) a mélytanulásról és a neurális hálózatokról lesz szó. Láthatjuk majd, hogy ez a gépi tanulás egy speciális, mégis rendkívül erőteljes iránya, ahol a több rétegű neurális hálózatok forradalmasították a képfelismerést, a beszédfelismerést és a természetes nyelvfeldolgozást. Ám ezek a modellek is csak akkor működnek igazán jól, ha elég nagy mennyiségű és kellően változatos adaton tanítjuk őket. Ezért az adatminőség ebben a területben is központi kérdés marad.

Ha a vállalkozásod már felállította vagy tervezgeti az AI-stratégiát, de bizonytalan abban, hogy az adatok mennyire megbízhatók, érdemes akár külső szakértőket is bevonni. Egy alapos adat-audit segít látni, hol vannak a gyenge pontok, és milyen fejlesztésekre lehet szükség ahhoz, hogy az AI-projekt valóban sikeres legyen.

A lényeg, hogy mielőtt a gépi tanulás vagy a mélytanulás algoritmusaiba vágnánk a fejszénket, gondoskodjunk a megfelelő adat-alapokról. Ez hosszú távon biztosítja, hogy a mesterséges intelligenciába fektetett idő és pénz megtérüljön, és a vállalkozás versenyképesebb, innovatívabb legyen a piacon.