Hei acolo! În calitate de furnizor de produse Nan, m -am ocupat de o mulțime de date în datele de date Pandas, iar o problemă neplăcută care apare întotdeauna este acele valori „nan”. Știi, acele mici semifabricate care îți pot încurca întreaga analiză dacă nu ești atent. În acest blog, voi împărtăși câteva sfaturi despre cum să gestionez aceste valori „nan” precum un profesionist.
În primul rând, să vorbim despre ce înseamnă de fapt „Nan”. „Nan” înseamnă „nu un număr” și, în principiu, este un mod de a spune că există date lipsă sau nevalide în datele dvs. de date. Se poate întâmpla din tot felul de motive - poate că datele nu au fost colectate corect sau a existat o eroare în introducerea datelor. Oricare ar fi cauza, valorile „nan” pot arunca cu adevărat o cheie în analiza datelor dvs., de aceea este important să știți cum să le faceți față.
Unul dintre cele mai simple moduri de a gestiona valorile „nan” este doar să le renunți. Pandas are o metodă cu adevărat utilă numităpicătură ()pe care îl puteți folosi pentru a scăpa de orice rânduri sau coloane care conțin valori „nan”. Iată un exemplu:
Import Pandas ca PD Import Numpy ca NP # Creați un eșantion de date de date cu valorile 'nan' date = {'Col1': [1, 2, np.nan, 4], 'COL2': [5, np.nan, 7, 8], 'Col3': [9, 10, 11, np.nan]} df = PD.Dataframe (date) # drop rows cu „nan” Vale df_dropped_rows = df.dropna () # coloane de picătură cu valori „nan” df_dropped_cols = df.dropna (axis = 1)
În codul de mai sus,picătură ()Fără niciun argument va scădea niciun rând care conțin cel puțin o valoare „nan”. Dacă treciAxa = 1, în schimb, va arunca coloane. Această metodă este excelentă dacă aveți o mulțime de date, iar valorile „nan” sunt relativ rare, dar poate duce și la o pierdere semnificativă a datelor dacă există o mulțime de valori „nan”.
O altă opțiune este completarea valorilor „nan” cu o valoare specifică. Pandas are o metodă numităUmple ()pe care îl puteți folosi pentru a face acest lucru. Puteți completa valorile „nan” cu o valoare constantă, media, mediana sau modul coloanei sau chiar valoarea anterioară sau următoare din coloană. Iată câteva exemple:
# Completați valorile „nan” cu o valoare constantă df_filled_constant = df.fillna (0) # completați valorile „nan” cu media coloanei df_filled_mean = df.fillna (df.mean ()) # completați valorile „nan” cu valoarea anterioară din coloana df_filled_prev = df.fillna (metoda = ” Coloana df_filled_next = df.fillna (metodă = 'bfill')
Umplerea valorilor „nan” poate fi o modalitate bună de a vă păstra datele, dar trebuie să fiți atenți la ce valoare utilizați pentru a le umple. Utilizarea mediei sau a medianei poate funcționa bine dacă datele sunt distribuite în mod normal, dar s -ar putea să nu fie adecvate dacă datele au o mulțime de valori.
Dacă aveți de -a face cu datele din seria de timp, este posibil să doriți să utilizați interpolarea pentru a completa valorile „nan”. Interpolarea este o metodă de estimare a valorilor între punctele de date cunoscute. Pandas are o metodă numităinterpola()pe care îl puteți folosi pentru a face acest lucru. Iată un exemplu:
# Interpolat valorile „nan” df_interpolat = df.interpolat ()
Interpolarea poate fi o modalitate excelentă de a completa valorile „nan” în datele seriei de timp, deoarece ține cont de tendința datelor. Cu toate acestea, este important de menționat că interpolarea este doar o estimare, iar valorile reale ar putea fi diferite.
Acum, să vorbim despre câteva tehnici mai avansate pentru gestionarea valorilor „nan”. O abordare este utilizarea algoritmilor de învățare automată pentru a prezice valorile lipsă. Puteți antrena un model pe datele care nu sunt lipsite și apoi să îl utilizați pentru a prezice valorile „nan”. Aceasta poate fi o modalitate mai exactă de a completa valorile „nan”, dar necesită, de asemenea, mai multe resurse de calcul și expertiză.
O altă abordare este utilizarea imputării multiple. Imputarea multiplă este o tehnică statistică care implică crearea mai multor copii ale datelor de date, completarea valorilor „nan” în fiecare copie folosind o metodă diferită și apoi combinând rezultatele. Acest lucru poate ajuta la reducerea prejudecății și a incertitudinii asociate cu umplerea valorilor „nan”.
În experiența mea de furnizor Nan, am descoperit că o combinație a acestor tehnici funcționează de obicei cel mai bine. De exemplu, aș putea începe prin a renunța la rânduri sau coloane cu un număr mare de valori „nan”, apoi să completez valorile rămase „nan” folosind o combinație de valori constante, media și interpolarea. Și dacă am nevoie de o estimare mai exactă, aș putea folosi învățarea automată sau imputarea multiplă.
Înainte de a mă încheia, vreau să menționez câteva produse care ar putea să vă intereseze. Dacă sunteți în industria de imprimare, poate doriți să consultațiCerneală de sublimare vopsită. Este o cerneală de înaltă calitate, perfectă pentru imprimare pe o varietate de materiale. Și dacă sunteți în industria farmaceutică, s -ar putea să vă interesezeFlorfenicol CAS nr.: 73231-34-2şiOxytetracycline HCL HCL CAS NR.: 2058-46-0. Acestea sunt ambele materii prime farmaceutice API care sunt utilizate pe scară largă în producția de antibiotice.
Dacă sunteți interesat de oricare dintre produsele noastre Nan sau aveți întrebări cu privire la gestionarea valorilor „nan” din datele dvs., nu ezitați să vă prezentați la o discuție despre achiziții. Suntem întotdeauna fericiți să vă ajutăm!


Referințe:
- McKinney, W. (2012). Python pentru analiza datelor: date care se confruntă cu Pandas, Numpy și IPython. O'Reilly Media.
- Vanderplas, J. (2016). Manual Python Data Science: instrumente esențiale pentru lucrul cu date. O'Reilly Media.
