کار با مقادیر از دست رفته در پایتون - بخش اول

احتمالا عنوان این پست کمی برای شما عحیب باشد. آیا مگر داده ای از دست می رود؟ (🧐)
برای روشن شدن بحث اجازه بدهید مثالی بزنم. فرض کنید در شرکتی کار می کنید که هر روز صبح باید اول وقت ساعت ورود خود را ثبت کنید. از قضا چند روز در ماه به علت عجله ای که داشتید فراموش کردید ساعت ورود خود را ثبت کنید. ساعت ورود شما در این چند روز نه False است، نه 0 (صفر) و نه خالی ( ) است بلکه هیچ است، یعنی هیچ مقداری برای آن ثبت نشده است. در پایتون مقدار هیچ با عبارت None نشان داده می شود.اگر بخواهم یک مثال مالی زده باشم می توانم به میانگین متحرک اشاره کنم.یک سری زمانی با 20 متغیر را در نظر بگیرد. اگر یک میانگین متحرک 3 روزه را روی این داده ها اجرا کنیم، برای سه روز اول طبیعی است که هیچ مقداری نداریم.
هنگامی که با داده های بزرگ کار می کنیم داده های از دست رفته ممکن است باعث بروز خطا در محاسبات و یا محاسبه ناصحیح شوند. از این رو آشنایی با شیوه صحیح کار با داده های از دست رفته بسیار حائز اهمیت است.
در پست های آتی مفصل در این خصوص صحبت می کنیم.

#missing_values
#پایتون_مالی

@python4finance

کار با مقادیر از دست رفته در پایتون - بخش دوم

در پایتون داده های از دست رفته با عبارت None مشخص می شود. عمده موارد None هنگامی است خود ما در جمع آوری داده مشکل داشته باشیم. یا اینکه بخواهیم یک متغیری را درست کنیم و بعدا به آن مقدار بدهیم.(چون در برنامه های بزرگ دادن مقدار به متغیرهایی که استفاده نمی شوند ممکن است باعث بالارفتن مصرف حافظه در برنامه شده و رایانه را کند یا با خطا مواجه کند)
در تصویر این پست مثالی از کار با داده های None در پایتون نشان داده شده است. در پست های آتی در خصوص مقادیر از دست رفته در Numpy و Pandas صحبت خواهیم کرد.


#missing_values
#داده_ازدست_رفته
#پایتون_مالی

@python4finance

کار با مقادیر از دست رفته در پایتون، ماژول Numpy - بخش سوم

احتمالا Numpy رایجترین کتابخانه پایتون است که در همه کارکردهای پایتون از آن استفاده می شود. البته در Numpy مقادر None با nan متفاوت هستند. nan نشان دهنده not a number است، یعنی یک مقدار غیر عددی. برای مثال در حالت هایی که پاسخ به طور کلی تعریف نشده باشد با nan مواجه می شویم. برای مثال اگر جذر یک عدد منفی را بخواهید محاسبه کنید یا از یک عدد منفی لگاریتم بگیرید نتیجه یک مقدار nan خواهد بود. البته در محاسبات اگر یک مقدار nan‌ را مثلا با عددی جمع یا از عددی کسر کنید پیام خطا دریافت نمی کنید اما نتیجه همیشه nan خواهد بود. در صورتی که وجود مقادیر None در محاسبات باعث ایجاد خطای Run time می شود.

#missing_values
#داده_ازدست_رفته
#پایتون_مالی

@python4finance

کار با مقادیر از دست رفته در پایتون، ماژول Pandas- بخش چهارم

پانداس مهمترین کتابخانه پایتون برای کار با داده هاست. در پانداس هم None و هم np.nan‌ به عنوان مقادیر nan در نظر گرفته می شوند و در محاسبات بدون خطا ظاهر می شوند. البته همانطور که گفته شد حاصل هر عمل ریاضی با مقادیر nan مقدار nan خواهد بود.
پانداس برای کار با داده های nan‌ توابع زیر را درنظر گرفته است.

isnull()
notnull()
dropna()
fillna()
replace()
interpolate()
در مثال این پست که تصویر آن ضمیمه شده است، تعداد مقادیر nan در یک دیتافریم محاسبه و نمایش داده می شود.
ان شاء الله در پست های آتی در خصوص سایر توابع صحبت خواهیم کرد.

#missing_values
#داده_ازدست_رفته
#پایتون_مالی

@python4finance