Iterera datakvalitet eller hitta ny data

Iterera datakvalitet eller hitta ny data

I de flesta ML-projekt når man inte önskad prestanda med den första modellen. Det är helt normalt och en förutsedd del av processen. Det vanligaste skälet till otillräcklig prestanda är inte att du valt fel algoritm utan att data inte är tillräckligt bra. Att iterera på datakvaliteten eller hitta kompletterande datakällor är ofta det mest effektiva sättet att förbättra en ML-modells resultat. Det är här det riktiga arbetet börjar.

Diagnostisera dataproblem

Innan du börjar förbättra data behöver du förstå vad som är fel. Vanliga dataproblem inkluderar:

• Saknade värden – Data som inte registrerats, exempelvis användare som blockerat tracking eller ofullständiga formulärsvar.
• Brus och felaktigheter – Felregistrerade händelser, dubbla transaktioner eller inkonsistenta datapunkter.
• Obalanserade klasser – Långt fler negativa än positiva exempel, vilket gör det svårt för modellen att lära sig sällsynta beteenden som churn eller bedrägeri.
• Otillräcklig data – Inte tillräckligt med datapunkter för att identifiera tillförlitliga mönster.
• Irrelevanta features – Variabler utan samband med det du förutsäger lägger till brus utan prediktivt värde.

Strategier för att förbättra datakvaliteten

Förbättra tracking och datainsamling. Om saknade värden är problemet kan lösningen vara att förbättra er tracking-uppsättning och samla in mer komplett data framöver. Det bygger en starkare grund för framtida modeller.

Datarensning. Gå igenom data systematiskt. Ta bort eller korrigera felaktiga datapunkter, standardisera format och enheter, och hantera outliers som kan snedvrida modellen.

Feature engineering. Ibland kan du skapa bättre features från befintlig data. Kombinera variabler, beräkna relativa mått istället för absoluta, eller skapa tidsfönster-baserade aggregeringar. En väl genomtänkt feature kan ha större effekt än att byta modelltyp.

Hantera obalanserade klasser. Använd tekniker som oversampling av den underrepresenterade klassen, undersampling av den överrepresenterade klassen eller syntetisk datagenerering med SMOTE.

Hitta nya datakällor

Om förbättring av befintlig data inte räcker kan nya datakällor vara lösningen:

• Tredjepartsdata – Firmografisk data från Dun & Bradstreet, intentdata från Bombora eller demografisk data från offentliga register.
• Webbskrapning – Offentligt tillgänglig information som priser, recensioner eller produktinformation från konkurrenter.
• Enkäter och feedback – Kvalitativ data som kan kvantifieras och läggas till som features, exempelvis NPS-poäng eller kundnöjdhetsdata.
• Partnerdata – Data från samarbetspartners som kan berika er kunddatabas med nya perspektiv.

Iterationsprocessen

Iteration bör vara systematisk. Gör en förändring åt gången, träna om modellen och utvärdera resultatet. Dokumentera varje iteration med vilka ändringar som gjordes och vilken effekt de hade. Denna dokumentation är ovärderlig för att förstå vilka datakvalitetsfaktorer som har störst påverkan. Om du har följt stegen från datainsamling och applicering av data grundligt har du en bra utgångspunkt att iterera från.

Veta när det är dags att gå vidare

Det finns en avtagande avkastning på dataiteration. Om du har genomfört flera iterationer utan meningsfull förbättring kan det vara dags att acceptera modellens nuvarande prestanda, ompröva problemformuleringen eller undersöka om en fundamentalt annorlunda approach behövs. Det nästa steget när prestandan är tillfredsställande är att säkerställa att modellen driver faktiska affärsresultat.

Vanliga frågor

Hur vet man om problemet är data eller modell?

Jämför modellens prestanda på träningsdata med dess prestanda på testdata. Om den presterar bra på träningsdata men dåligt på testdata är problemet sannolikt overfitting, vilket kan lösas med mer data eller en enklare modell. Om den presterar dåligt på både tränings- och testdata tyder det på att data saknar tillräckligt prediktivt innehåll.

Hur mycket förbättring kan man förvänta sig från dataiteration?

Det varierar enormt. I vissa fall kan en enskild ny feature eller rensning av felaktig data förbättra prestandan med tio till tjugo procent. I andra fall krävs många iterationer för marginella förbättringar. Det viktigaste är att ha realistiska förväntningar baserade på det specifika problemets komplexitet.