Prije podešavanja AI modela, pregledajte podatke

Godine 2023. objavio sam bilješku pod naslovom Data-centric AI / Big data vs. Good data.

Naslov je namjerno bio jednostavan. U tom trenutku veliki dio javnog razgovora o AI-u bio je usmjeren na veće datasetove i bolje modele. Praktičan rad stalno je vraćao pažnju na manje atraktivan problem: model često naslijedi nedosljedne oznake, nejasne definicije i odluke koje niko nije dokumentovao.

Danas bih zaključak formulisao opreznije. Više podataka može biti važno. Izbor modela može biti važan. Ali nijedno ne popravlja dataset čije se značenje mijenja od jednog reda, izvora ili anotatora do drugog.

Zašto timovi prvo podešavaju model

Promjene modela su vidljive. Možete promijeniti algoritam, pokrenuti eksperiment i uporediti metriku.

Rad na podacima je manje uredan. Zahtijeva praćenje izvora, pregled dvosmislenih primjera, pitanja domenskim stručnjacima o tome šta oznaka stvarno znači i ponekad priznanje da je prvobitni cilj bio loše definisan.

Zato je podešavanje modela primamljivo čak i kada je usko grlo negdje drugo.

Bolje početno pitanje nije „Koji model ćemo probati sljedeći?“ nego:

Koji dokaz pokazuje da trenutni podaci predstavljaju odluku koju želimo da sistem donosi?

Dobri podaci nisu savršeno čisti podaci

„Dobri podaci“ ne znače dataset bez praznih vrijednosti ili neobičnih zapisa. Stvarni operativni podaci rijetko su tako uredni.

To znači da su podaci prikladni za jasno definisanu upotrebu:

• jedan red i jedna oznaka imaju dogovoreno značenje;
• izvor i transformacije mogu se pratiti;
• važni rubni slučajevi su zastupljeni;
• trening i evaluacijski zapisi pravilno su razdvojeni;
• poznate praznine i isključenja su dokumentovani;
• greške se mogu povezati s konkretnom odlukom o podacima.

Veliki dataset može pasti na svih šest provjera. Manji dataset i dalje može biti koristan ako su njegove granice poznate.

Praktična data-centric petlja

Workflow koji koristim je iterativan:

1. Definišite jedinicu i cilj. Zapišite šta jedan zapis predstavlja i za koju odluku će se izlaz koristiti.
2. Pratite izvor. Dokumentujte odakle dolaze polja i oznake, uključujući transformacije i ručne odluke.
3. Pronađite neslaganja. Uporedite anotatore, sisteme ili poslovna pravila. Neslaganje je dokaz da definiciju treba doraditi.
4. Pregledajte rijetke i dvosmislene slučajeve. Ukupna tačnost često skriva primjere koji su najvažniji u produkciji.
5. Pretvorite odluke u provjere. Riješen rubni slučaj treba postati validacijsko pravilo, test ili uputa za označavanje.
6. Analizirajte greške po segmentima. Pregledajte greške prema izvoru, klasi, periodu, geografiji ili drugoj poslovno smislenoj dimenziji.
7. Napravite povratnu spregu za podatke. Produkcijske greške trebaju unaprijediti dataset i dokumentaciju, a ne nestati u backlogu.

To nije jednokratno čišćenje prije „pravog“ razvoja modela. To je dio razvoja modela.

Gdje ulaze domenski stručnjaci

Domenski stručnjaci nisu tu samo da odobre završni demo.

Oni pomažu definisati šta je validna oznaka, koja dvosmislenost je prihvatljiva, koja greška je skupa i kada sistem treba vratiti „nepoznato“ umjesto samouvjerenog odgovora.

Ta saradnja je posebno važna kada dataset opisuje kliničke odluke, adrese i lokacije, korisničke operacije, finansijske događaje ili bilo koji workflow u kojem tehnički validna vrijednost i dalje može imati pogrešno poslovno značenje.

Šta to znači prije razvoja AI funkcionalnosti

Prije ulaganja u AI funkcionalnost pregledao bih četiri stvari:

• poslovnu odluku koju izlaz treba podržati;
• porijeklo i dosljednost dostupnih podataka;
• rubne slučajeve koji mogu stvoriti lažnu sigurnost;
• povratni mehanizam nakon što sistem uđe u upotrebu.

Ponekad taj pregled potvrdi da su podaci spremni za prototip. Ponekad pokaže da prvo treba napraviti validacijski sloj, uputu za označavanje ili manji projekat kvaliteta podataka.

Oba ishoda su korisna. Otkrivanje slabih temelja prije razvoja modela je jeftinije nego otkrivanje istog problema nakon ispoliranog demoa.

Granica dokaza

Ova bilješka je praktično tumačenje data-centric AI pristupa, a ne novi istraživački rezultat niti tvrdnja da je kvalitet podataka jedini faktor u radu modela.

Originalni članak iz 2023. govori o model-centric i data-centric pristupima, ulozi domenskih stručnjaka i primjerima nedosljednog označavanja. Možete ga pročitati na Mediumu ili u izvornoj Atlantbh objavi.

Naslovna fotografija: Alex Knight; ponovo je korištena iz originalnog članka.