کلان داده یا Big Data چیست

کلان داده یا Big Data به مجموعه داده‌‌های بسیار انبوه ، پرشتاب و گوناگون گفته می‌شود که نیاز به روش‌های پردازشی تازه‌ای دارند تا تصمیم‌گیری و بهینه سازی پردازش پیشرفته را فراهم آورند.

کلان داده یا بیگ دیتا ، مسیر حرکت کسب و کارها و فرایند چرخش اطلاعات در جهان را مشخص می‌کنند. در بیگ دیتا با داده‌های متمایز و بزرگ که دائماً از لحاظ حجم ، نرخ تولید داده و تنوع در حال تغییر هستند سروکار داریم.

داده‌های پرشتاب داده‌هایی‌ هستند که با شتاب بالایی در لحظه تولید می‌شوند. کلان داده از چند ۱۰ ترابایت به چندین پتابایت در یک مجموعه گسترش می‌یابند.

نمونه‌هایی از کلان‌ داده مانند: اطلاعات دنیای وب ، سامانه‌های رادیویی ، شبکه‌ حسگرها ، شبکه‌های اجتماعی ، تصاویر و متن‌های اینترنتی ، جستجوهای اینترنتی ، داده‌های اخترشناسی ، پزشکی و پژوهش‌های علمی و بازرگانی و داده‌هایی در اندازه‌های بزرگ که ذخیره سازی آنها کار بسیار دشوار و پردازش این داده‌ها برای هدفی خاص بسیار پیچیده است.

کلان داده شامل مجموعه اطلاعاتی است که به‌ طور معمول فراتر از حدی است که بتوان در ابزارهای مدیریت اطلاعات در یک زمان واحد پردازش شود.

اندازه کلان داده به نوع هدف بستگی دارد ، از سال ۲۰۱۲ که در حد چند ترابایت بوده در سال‌های اخیر به پتابایت رسیده‌ است.

برای پردازش کلان داده باید از مجموعه‌ای تکنیک‌ها و فناوریهایی جدید استفاده کرد که برای دسته‌ بندی اطلاعات به منظور روشن شدن ارزش‌ آنها از پایگاه داده استخراج شوند که بسیار پیچیده و دارای مقیاس بزرگی است و ابزار مدرن مورد نیاز می‌باشد.

در سال‌های اخیر شرکت‌های فناوری به این نتیجه رسیدند که چالش‌ها و فرصت‌های توسعه اطلاعات دارای سه بعد می‌باشد که به معنای حجم افزایشی داده (مقدار اطلاعات) ، سرعت تبادل داده (سرعت اطلاعات خروجی و ورودی)، و تنوع داده (دامنه نوع اطلاعات و منابع).

به این ترتیب تعریف جدیدی از کلان‌داده با ویژگی‌هایی نظیر حجم زیاد ، سرعت بالا و تنوع بالا ارائه شد که برای استفاده از آن به فرایند بهینه‌سازی و پردازش نیاز است.

برخی از این ویژگی‌های کلان‌داده عبارتست از:

• اندازه اطلاعات حد مشخصی ندارد و فقط سرعت رشد آن به نوع داده‌ای بستگی دارد که ثبت می‌کند.
• پردازش بر روی کلان‌داده در زمان ثبت آسان‌تر است.
• کلان‌داده از متن ، تصاویر ، صدا و ویدئو بدست می‌آید به علاوه از طریق اتصال و جمع داده‌ها گسترش می‌یابد و کامل‌تر می‌شود.
• یادگیری ماشین به پردازش کلان داده کمک می‌کند و الگوها را پیدا می‌کند
• کلان‌داده محصولی بدون هزینه از تعاملات دیجیتالی جهان می‌باشد.

مراکز تجزیه و تحلیل کلان‌داده از آمارهای استقرایی و مفاهیم استنباطی شامل مجموعه‌ای بزرگ از اطلاعات و الگوها که دارای حجم وسیعی هستند کمتر استفاده می‌کنند و اطلاعات را در بخش‌هایی کوچکتر آنالیز می‌کنند.

نتیجه این آنالیزها برای نشان دادن رابطه‌ها و برای انجام پیشگویی‌ رفتار جوامع و سیستم‌ها استفاده می‌شود.

کاربردهای کلان داده Big Data

بهداشت و درمان: با واکاوی کلان داده‌ها می‌توان در صنعت بهداشت و درمان در قالب ارائه خدمات بهتر به عموم مردم کمک کرد که این امر منجر به شناسایی روش‌های شخصی‌سازی شده برای درمان بیماران می‌شود. این شخصی‌سازی درمان می‌تواند منتج به افزایش سلامت جامعه و کاهش هزینه‌های دولت در بخش بهداشت و درمان شود.

آموزش: کلان داده‌ در صنعت آموزش می‌تواند به شخصی‌سازی فرایند یادگیری کمک کند. موضوعی که تا قبل از پیدایش سیستم‌های یادگیری الکترونیکی و جمع‌آوری داده‌های آموزشی مطرح نبود. این شخصی‌سازی به نوبه خود می‌تواند باعث شکوفایی استعدادهای دانش‌آموزان و دانشجویان شود و پویایی محیط یادگیری را افزایش دهد.

تولید: در صنعت تولید استفاده از کلان داده‌ها می‌تواند باعث تولید مطابق نیازهای مشتری، کاهش زمان تولید محصول و افزایش کارایی شود. همین‌طور با استفاده از شبیه‌سازی و بهینه‌سازی با استفاده از کلان داده‌ها می‌توان خط تولید را به صورت بهینه طراحی کرد و بسیاری از عیوب خط تولید و کالاها را پیش از شروع به کار خط تولید شناسایی کرد.

خرده فروشی: در صنعت خرده فروشی از کلان داده‌ها برای شناسایی بهتر نیازهای مشتریان و ارائه تبلیغات و بازاریابی سفارشی‌ استفاده می‌شود. این شرکت‌ها در تلاشند با جمع‌آوری داده‌های عددی، متنی و تصویری تجربه خرید مشتری از کانال‌های مختلف را بهبود بخشند و بتوانند نیازهای آنان را برآورده سازند.

دولت: دولت‌ها می‌توانند از کلان داده‌ها برای ایجاد شفافیت، خدمت‌ رسانی بهتر به مردم، استفاده بهینه از منابع محدود و تخصیص بودجه به فعالیت‌های مفید استفاده کنند. همین‌طور می‌توانند برای کمک به مردم در زمان بحران، اطلاع‌رسانی با روش‌های جدید به مردم و مبارزه با فقر ، جرم و جنایت ، کلان داده‌ها را بکار بگیرد.

علوم اجتماعی: در مطالعات علوم اجتماعی ، کلان داده‌ می‌تواند ابزاری جدید برای بررسی پیچیدگی رفتار انسان‌ها اعم از رفتارهای فردی و اجتماعی باشد و دریچه‌ای جدید برای مطرح کردن سؤال‌های جالب تر و یافتن الگوهایی که تا پیش از این ناشناخته بودند باشد.

ورزش: در علوم ورزشی از کلان داده‌ها برای افزایش کارایی ورزشکاران در تمرین و مسابقه ، پیشگیری از بروز مصدومیت و یافتن بهترین راهبرد برای مسابقات پیش رو استفاده می‌شود.

انتقادات از جمع آوری و پردازش کلان داده‌ها حاصل دو پرسش اساسی است که سوال اول در مورد نحوه جمع آوری اطلاعات ، نقض حریم خصوصی و سوال دوم در مورد روش و هدف استفاده از این اطلاعات می‌باشد.