منظور از کلان داده یا بیگ دیتا چیست و چه کاربردی دارد؟

تعریف کلان داده (big data) چیست؟

کلان داده‌ها ترکیبی از انواع داده‌های یک سازمان، افراد یا هر چیز دیگری هستند که با تجزیه و تحلیل این داده‌ها بتوان به یک بینش قوی در موضوعی خاص دست پیدا کرد. در همه‌ی بخش‌ها ما داده‌ها و اطلاعاتی داریم که گرچه وجود دارند اما مورد بررسی قرار نمی‌گیرند. حتی در برخی از موارد توان پیدا کردن ارتباط بین آنها برای انسان وجود ندارد.

تجزیه و تحلیل کلان داده به ما امکان کشف روندها، الگوها و همبستگی بین موارد مختلف در سازمان یا مسائل دیگر را می‌دهد. با استفاده از این تحلیل‌ها افراد و مدیران می‌توانند تصمیمات مبتنی بر داده را اتخاذ کنند. این تصمیمات در سازمان‌ها اگر بر اساس داده‌ها و تحلیل‌های درست باشد تبدیل به بهترین و قوی‌ترین تصمیمات می‌شوند.

دو مولفه در اینجا مطرح است: اول اینکه این داده‌ها باید ویژگی‌هایی برای معتبر بودن داشته باشند و از طرفی باید به درستی مورد تحلیل و بررسی قرار گیرند. ما تلاش می‌کنیم در بخش‌های بعد این موارد را به صورت کامل بررسی کنیم. دقت کنید که به کلان داده، Big Data و مه داده هم می‌گویند و در مقاله از این نام‌ها برای معرفی آن استفاده می‌شود.

ویژگی‌های کلان داده (ده V)

مهمترین بخش برای کلان داده‌ها جمع‌آوری و ویژگی‌های آنهاست. داگ لنی در سال ۲۰۰۱ زمانی که در گروه مشاوره متا به عنوان تحلیل‌گر فعالیت می‌کرد، به ۳ ویژگی اصلی اشاره کرد. گارتنر در سال ۲۰۰۵ پس از تصاحب گروه متا این ویژگی‌ها را محبوب کرد و پس از آن ویژگی‌ها و توضیحات بیشتری به آنها اضافه کردند. به همین دلیل تا به الان به ده V برای داده‌ها رسیده‌ایم. ما سعی می‌کنیم کوتاه و به طور کلی این مشخصه‌ها را بررسی کنیم.

حجم (Volume)

یکی از ویژگی‌های بارز و مشخص داده‌ها برای تبدیل شدن به کلان داده، حجم بسیار زیاد داده‌هاست. البته از طرفی با توجه به وضعیت حال حاضر، چیزی که بسیار عمیق و با حجم بسیار زیادی وجود دارد هم همان داده‌هاست. شبکه‌های اجتماعی، اینترنت و مهم‌تر از آنها هوش مصنوعی می‌تواند به ما در جمع آوری حجم بسیار زیاد داده‌ها بسیار کمک کند. هم‌چنین در حال حاضر با استفاده از فضاهای ابری و سرورهای قدرتمند می‌توان حجم بسیار زیادی داده‌ها را ذخیره سازی و پردازش کنند. این در حال است که در گذشته این امکان وجود نداشت.

اما منظور از این حجم زیاد چیست؟ در سطوح مختلف می‌تواند متفاوت باشد ولی قطعاً این اعداد در بیشتر حوزه‌ها باید از هزاران و میلیون‌ها بگذرند تا بتوان تحلیل‌های دقیق روی آن انجام داد. هر چقدر این داده‌ها بیشتر باشند، امکان رسیدن به یک نتیجه دقیق‌تر و تصمیم‌گیری بهتر بیشتر خواهد بود. دقت کنید حتی برخی از اپلیکیشن و سایت‌های ایرانی در ماه داده‌هایی برابر چند ده میلیون به دست می‌آورند که برای تحلیل و نتیجه‌گیری جذاب است. البته این نکته هم مهم است که هر چقدر این کلان داده‌ها بزرگتر باشند ذخیره و پردازش هزینه‌برتری هم خواهند داشت.

سرعت (Velocity)

در تمامی مواردی که به داده‌ها نیاز داریم، سرعت جمع‌آوری و به دست آمدن این داده‌ها بسیار مهم است. هر چقدر این سرعت بیشتر باشد، شما داده‌هایی پویا در اختیار دارید که می‌توانید به سرعت حتی نتایج تجزیه و تحلیل‌های خود را هم دریافت کنید. به همین دلیل سرعت باعث می‌شود بسیار زودتر به جواب برسید و هم‌چنین عامل زمان زیاد می‌تواند داده‌ها را با خطا مواجه کند.

به طور مثال در شبکه اجتماعی حدود ۲.۴ میلیارد مخاطب در اختیار دارد که ماهانه در این پلتفرم حضور دارند. داده‌های تماشای پست‌ها در اینستاگرام به سرعت در حال جمع‌آوری و آزمایش هستند که می‌تواند نتیجه را بسیار دقیق‌تر کند.

تنوع (Variety)

ما برای رسیدن به یک نتیجه مناسب و دقیق لازم است که تنوع بالایی از داده‌ها در زمینه‌های مختلف داشته باشیم. در کلان داده اکثراً دیتاها با یکدیگر یکپارچه نیستند و مجموعه‌ای از انواع داده‌ها را تشکیل می‌دهند.

بخشی از آنها شامل داده‌های ساختار یافته، نیمه ساختار یافته و بدون ساختار هستند که در بخش دیگری آنها را بررسی می‌کنیم. این داده‌ها می‌تواند شامل رسانه‌های اجتماعی، ایمیل‌ها، صداها، تصاویر، فایل‌ها و ... می‌شود. تمیز کردن و ساختار دادن به این داده‌ها یکی از اصلی‌ترین فعالیت‌های متخصصین دیتاست. طبق تحقیق نشریه فوربس بیش از ۶۰درصد زمان متخصصین در این حوزه صرف تمیز کردن داده‌ها صرف می‌شود.

صحت و درستی (Veracity)

برای اینکه بتوان به یک کلان داده اطمینان کرد باید از صحت منابع داده آن مطمئن بود. صحت را می‌توان یکی از مهمترین موارد برای رسیدن به تصمیم‌گیری‌های درست در نظر گرفت. پیدا کردن الگو در اتفاقات نیاز دارد که اطلاعات قبلی، از منابعی درست و با ارزش تهیه شده باشند.

نوسانات (Volatility)

متخصصین برای در استفاده از داده‌ها باید ملاحظات زمانی را در آن در نظر بگیرند. این مورد به این منظور است که محاسبه کنیم که به طور مثال داده‌های سال گذشته برای پیش‌بینی امسال تا چه حد قابل استفاده هستند و چه ویژگی‌هایی را برای امسال باید در نظر گرفت.

آسیب پذیری (Vulnerability)

بیشتر موارد بیگ دیتا در مورد مصرف کنندگان و مشتریان است. ما اغلب آسیب‌های اشتراک‌گذاری اطلاعات خود را در نظر نمی‌گیریم و متوجه ارسال اطلاعات محرمانه خود با داده‌های خود نیستیم. به طور مثال فروشگاه تارگت با داده‌های مشتریان می‌توانست زودتر از والدین متوجه بارداری یک دختر جوان شود. یا گوگل با سوالات شما می‌تواند با تجزیه و تحلیل متوجه قصد و عملکرد شما بشود. این مورد می‌تواند آسیب‌هایی به افراد وارد کند که در داده‌ها باید کنترل شود.

تجسم (Visualization)

یکی از نقاطی می‌تواند کمک بسیار زیادی به نتیجه‌گیری و تصمیم‌سازی با داده‌ها بیانجامد، تجسم و تصویرسازی آن است. دیگر نمودارهای ساده x-y که در گذشته از آنها برای نمایش داده‌ها استفاده می‌کردیم کافی نیست و با توجه به پیچیدگی و عمق داده‌ها فهم این داده‌ها به روش‌های قدیمی دیگر مقدور نیست.

دیگر ویژگی‌ها

ویژگی‌های دیگری مانند تغییر پذیری (Variability)، اعتبار (Validity)، ارزش (Value) نیز برای داده‌ها وجود دارند که باید مدنظر قرار بگیرند. در مقاله "Mastering the 10 Vs of big data" تمامی این موارد بررسی شده است که می‌توانید آن را به طور کامل مطالعه کنید. البته بیشتر متخصصین ۳ عامل حجم، سرعت و تنوع را ۳ مشخصه اصلی دانسته و بقیه موارد را در وهله دوم در نظر می‌گیرند.

چرا کلان داده اهمیت بالایی دارد؟

تجزیه و تحلیل کلان داده‌ها به این دلیل مهم است که با بررسی اطلاعات، نتایجی در اختیار ما می‌گذارد که از توان ذهن انسان خارج است. به طور مثال در یک فروشگاه شما برای پیش‌بینی فروش فردا با ذهن خود کار بسیار دشواری دارید و اگر بسیار حرفه‌ای باشید می‌توانید با بازه‌ای بسیار بزرگ میزان فروش و مشتریان خود را تشخیص دهید. این در حالی است که به کمک داده‌های مشتریان گذشته خود، عوامل محیطی، روز و تاریخ و بسیاری از داده‌های دیگر، با تجزیه و تحلیل می‌توانید به نزدیک‌ترین عدد ممکن برای مشتریان خود برسید. تصور کنید این دقت در بلند مدت چقدر می‌تواند به انبارداری، تامین محصول و کاهش هزینه‌ی نیروی انسانی کمک کند. این مورد فقط بخشی از استفاده از کلان داده‌هاست.

حال این استفاده را در صنعت‌ها، هواشناسی، پزشکی، ورزش، زندگی روزمره و ... در نظر بگیرید. با تحلیل و استفاده از این داده‌ها زندگی‌های بسیاری تغییرات اساسی خواهد کرد. البته شما در بخش‌هایی مانند شبکه‌های اجتماعی تحت تاثیر کلان داده‌ها هستید که مشخصاً بخشی از زندگی‌های حال حاضر را تغییر داده است.

مثال‌هایی از کلان داده در زندگی حال حاضر

تصور کنید ۱۵ تا ۲۰ سال قبل از اینکه مبتلا به آلزایمر شوید بتوانید علائم این بیماری را تشخیص و سرعت آن را کاهش دهید. چقدر می‌تواند به وضعیت شما کمک کند؟ این تنها یکی از مواردی است که با استفاده از کلان داده‌ها و هوش مصنوعی توسط متخصصین اجرایی شده است. شرکت linus health می‌تواند این مورد را با استفاده از تجزیه و تحلیل بیماران اجرایی کند. در شبکه‌های اجتماعی مانند اینستاگرام و یوتیوب هم با استفاده از داده‌های مخاطبان و اشتراکات و علاقه‌مندی‌های آنها پست‌های جدید به شما پیشنهاد می‌دهد. در واقع دلیل اینکه بسیاری از افراد به شبکه‌های اجتماعی معتاد می‌شوند، همین الگوریتم‌های دقیق کلان داده‌هاست که با تحلیل علاقه‌مندی شما، بهترین پیشنهاد را در اختیار شما می‌گذارد.

همین حالا و در وضعیت حاضر هم در بسیاری از شرکت‌ها، فروشگاه‌ها و سایت‌ها از کلان داده استفاده می‌شود. کسانی که در این مسیر نیستند باید متوجه باشند که ممکن است استفاده از این فناوری دیر بشود. وقتی بقیه رقبا داده‌های بیشتری از قبل جمع‌آوری کرده و در حال استفاده از آنها هستند، احتمالاً نتایج بهتری نسبت به شما می‌گیرند و شما در این رقابت شکست خواهید خورد.

انواع داده‌ها در بیگ دیتا

از نظر تنوع، داده‌ها انواع مختلفی دارند که باید با آنها روبه رو شوید. این داده‌ها شامل موارد زیر هستند.

داده‌های ساختار یافته (Structured Data)

به داده‌هایی که بسیار سازماندهی شده‌اند و دیتاها بسیار ساده قابلیت جستجو دارند، داده‌ها ساختار یافته می‌گویند. یک طرح بسیار قدرتمند دارند و در بخش‌های ثابت و فایل‌های قابل دسترسی قرا گرفته‌اند. آدرس و اسم مشتریان در سامانه‌های مدیریت مشتریان، اطلاعات مالی مانند ارقام فروش و مانده حساب، اطلاعات کارکنان در بخش منابع انسانی شامل پست و حقوق آنها مثال‌هایی از این نوع دیتاست.

یکی از مهمترین مزایای این نوع داده‌ها راحتی در ورود و جستجو و تحلیل آنهاست. با این حال این بخش بسیار کوچکی از داده‌هاست. با گسترش اطلاعات و دیتاها بسیاری از داده‌ها در این گروه نمی‌گنجند و امکان سازماندهی دیتاها به این حد بسیار سخت است. هم‌چنین نتایج تجزیه و تحلیل این موارد معمولاً رخدادها یا تغییرات بزرگی ایجاد نمی‌کنند و با اینکه دیتاهای ارزشمندی هستند ولی نمی‌توانند تحولات اساسی را به وجود بیاورند.

داده‌های بدون ساختار (Unstructured Data)

این نوع دیتاها مدل دقیق و از پیش تعیین شده ندارند و این موضوع جمع‌آوری، اعتبار سنجی و پردازش آنها را بسیار دشوارتر می‌کند. بیشتر داده‌های امروزی از این جنس هستند و به صورت‌های مختلفی جمع آوری می‌شوند. موارد زیر مثال‌هایی از این نوع داده‌هاست:

• محتواهای متنی از اسناد، ایمیل‌ها، شبکه‌های اجتماعی و ...
• محتواهای چندرسانه‌ای مانند تصاویر، فایل‌های صوتی و فیلم‌ها
• دیتاهای دستگاه‌های اینترنت اشیا (IoT) شامل حسگرها، داده‌های زمانی و گزارش‌ها

چالش اصلی پیش روی این داده‌ها، بدون ساختار بودن، پیچیدگی و عدم یکنواختی است. به همین دلیل به روش‌های پیچیده‌تری برای نمایش، جست و جو و تجزیه و تحلیل آنها داریم. مواردی مانند یادگیری ماشین، یادگیری عمیق، پردازش زبان طبیعی و پلتفرم‌های تحلیلی پیشرفته برای استخراج یک نتیجه معنادار از داده‌های بالا بسیار لازم است. علاوه بر این سخت‌افزارهای بسیار قدرتمندتری برای تحلیل این دیتاها باید در دسترس قرار گیرد.

داده‌های نیمه ساختار یافته (Semi-structured data)

این نوع داده‌ها چیزی بین دو نوع بالایی هستند. نه آنقدر ساختار دارند که بتوان به راحتی آنها را جستجو و تحلیل کرد و نه آنقدر بدون ساختار هستند که قابلیت شناسایی الگوی آنها بسیار سخت باشد. موارد زیر مثال‌هایی برای این نوع از داده‌ها هستند:

• فایل‌های JSON و XML که بیشتر برای تبادل داده‌های وب از آنها استفاده می‌شود.
• ایمیل‌هایی که به صورت کلی دارای ساختار هستند (مثلاً سربرگ، موضوع، متن) ولی داخل بخش‌ها کاملاً بدون ساختار هستند.
• پایگاه‌های داده NoSQL

این داده‌های علاوه بر اینکه نسبت به داده‌های ساختار یافته اطلاعات بیشتری در اختیار ما قرار می‌دهند و منعطف‌تر هستند، نسبت به داده‌های بدون ساختار تجزیه و تحلیل ساده‌تری دارند. این مورد در اپلیکیشن‌ها و سایت‌ها و بخش‌های دیگر می‌تواند به عنوان یک گزینه مفید مورد بررسی قرار گیرد.

نظر متخصصان در مورد داده‌ها

بزرگان بسیاری در مورد اهمیت کلان داده صحبت کرده‌اند. در واقع کسب و کارها و سازمان‌هایی که داده‌های بیشتری در اختیار داشته باشند و بهتر از آنها استفاده کنند، در آینده موفقیت بیشتری خواهند داشت. جفری مور که یکی از مشاوران معروف مدیریتی است درباره کلان داده‌ها می‌گوید: " بدون بیگ دیتا شما کور و ناشنوا در وسط یک بزرگراه هستید".

داده‌ها توانمندی بسیاری دارند و در گذشته هم کسانی که داده‌ی بیشتری داشتند احتمال موفقیت‌شان بیشتر بود. در حال حاضر و با وجود بیگ دیتا و تحلیل آنها، موفقیت برای کسانی که داده‌های زیاد و معتبر در اختیار دارند. شاید شما هم اپلیکیشن‌های رایگان و جذابی که چهره را با تغییرات جذاب ارائه می‌دهند را دیده باشید. بیشتر این موارد برای ایجاد بیگ دیتاهای معتبر ایجاد می‌شوند و افراد هم با توجه به رایگان بودن آنها داده‌های خود را به راحتی در اختیار آنها می‌گذارند.

کلایو هامبی یکی از کارآفرینان انگلیسی در سخنانش داده را نفت جدید معرفی کرده است. باید ارزش داده‌ها را بیش از پیش دریابید و در راه آن قدم بردارید. به احتمال زیاد حیات کسب و کار شما در بلند مدت بسیار تحت تاثیر این قدم‌ها خواهد بود.

مزایای کلان داده چیست؟

سازمان‌ها و افراد در استفاده از کلان داده باید مزایای آن را درک کنند. بسیاری از افراد استفاده از فناوری‌ها را فقط به عنوان هزینه‌کرد می‌بینند در حالی که منظور و مفهوم کلان داده کمک به تصمیم‌گیری‌های درست است. به همین دلیل سازمان‌ها و کسب و کارهایی که بیگ دیتا در اختیار دارند بهتر است از سودها و مزایای آن به صورت دقیق باخبر باشند.

تصمیمات آگاهانه‌تر

از گذشته تا به الان داده‌ها و اطلاعات بیشتر موجب تصمیم‌گیری بهتر بوده است. بیگ دیتا می‌تواند بسیاری از الگوها، روندها و همبستگی‌ها را بیابد و کشف کند. کاری که ذهن انسان از انجام آن عاجز است. این تجزیه و تحلیل‌ها در نهایت باید به مدیران و تصمیم‌گیران جهت‌گیری بدهد و آنها را از روندها و الگوها آگاه کند. این تصمیم‌گیر‌ها می‌توان تمامی بخش‌های یک سازمان را متحول کرده و شما را به سمت درست هدایت کند. بهتر است با بیگ دیتا تصمیماتی داده‌محور بگیرید و ریسک‌های سازمان را تا حد ممکن کاهش دهید.

این مورد در زمینه مشتریان می‌تواند کاملاً سود شما را بهبود ببخشد. بهتر است داده‌های مشتریان را به دقت تجزیه و تحلیل کنید و روندهای بهتری برای آنها ایجاد کنید.

افزایش سرعت تصمیم‌گیری

یکی از مهمترین ارزش‌های بیگ دیتا در سازمان‌ها بالا بردن سرعت تصمیم‌گیری است. در بسیاری از اوقات مدیران قدرت و امکان تصمیم‌گیری در لحظه و به موقع را ندارند و این موضوع مشکلات بسیاری را به وجود می‌آورد. سازمان‌ها می‌توانند حجم بسیار زیادی از داده‌ها را در لحظه تجزیه و تحلیل کنند و تصمیمات را اتخاذ کنند. شاید مثال شبکه‌های اجتماعی بسیار مناسب باشد. الگوریتم‌های این پلتفرم‌ها بسیار سریع داده‌ها را تجزیه می‌کند و مخاطبان را به محتوای مدنظرشان می‌رساند. حال اگر این کار با سرعت انجام نشود با توجه به حجم بالای داده‌ها مخاطبان از پلتفرم ناراضی خواهند شد.

بینش بهتر به مشتریان و بازار

کلان داده‌ها می‌توانند شما را با روندها و الگوهای مشتریان و بازار بیشتر آشنا کنند. این به شما کمک می‌کند تا خواسته‌هایی که شاید حتی مشتریان به زبان نیاورند را به راحتی شناسایی کنید. این شناسایی درست بازار و مشتریان می‌تواند زنجیره تامین، کارمندان و توسعه محصولات جدید را به بهینه‌ترین حالت ممکن برساند. یکی از مزایای هوش مصنوعی در کنار کلان داده، امکان استفاده و جمع‌آوری داده در فضاهای حضوری و فیزیکی است. به طور مثال از ترددشمار می‌توانید برای فروشگاه‌های حضوری استفاده کنید و داده‌های مشتریان خود را به دقت بررسی کنید. این مورد کمک می‌کند تا فضای حضوری مانند آنلاین قابلیت توسعه بیشتری داشته باشد.

صرفه جویی در هزینه‌ها

همان‌طور که در موارد قبل گفتیم، بیگ دیتا و تحلیل آن توانمندی بسیاری در بهینه‌سازی و افزایش کارایی بخش‌های مختلف دارد. این مورد می‌تواند در زمینه‌های مختلفی هزینه‌های شما را بسیار کاهش دهد. در زمینه زنجیره تامین محصول، انبارداری، نیروی انسانی، عملیات‌های اجرایی و ... تفاوت‌های زیادی را رقم بزند. علاوه بر این، تجزیه و تحلیل‌های پیش‌بینی کننده می‌تواند به شما روندهای آینده را نمایش دهد و شما بر اساس آن می‌تواند استراتژی و منابع خود را به درستی تخصیص دهید.

جلوگیری از اشتباهات هم بخشی از کاهش هزینه‌هاست. بسیاری از سازمان‌ها هزینه‌های بسیار زیادی برای خطاها و اشتباهات پرداخت می‌کنند. با استفاده از کلان داده می‌تواند این خطاها را به کمترین حالت ممکن برسانید و حتی هزینه خطاهای خود را بسیار کاهش دهید.

بهینه‌سازی مدیریت ریسک

داده‌ها به خوبی شما را نسبت به خطرات آگاه می‌کنند. مدیران در سازمان‌ها در بسیاری از اوقات نمی‌توانند درست متوجه خطرات پیش رو شوند یا پیش‌بینی کاملاً درستی ندارند. بیگ دیتا با شناسایی، ارزیابی و رسیدگی به تهدیدات در سریع‌ترین زمان می‌تواند جلوی مشکلات سازمان را بگیرد. بسیاری از این مشکلات به خاطر ضعف مدیران نیست بلکه انسان قابلیت تحلیل این داده‌ها را با این سرعت و دقت ندارد. به همین دلیل می‌توان گفت بهترین راه در حال حاضر برای جلوگیری از ریسک‌های سازمان، بیگ دیتاست.

معایب و چالش‌های کلان داده

برای رسیدن به یک سازمان‌های داده‌محور چالش‌ها و مشکلاتی پیش پای مدیران وجود دارد. نیاز است تا تصمیم‌گیران در این زمینه‌ها چاره‌اندیشی‌های درست و به موقعی را انجام دهند. بسیاری از این چالش‌ها می‌تواند سازمان را با مشکلات بسیار زیادی روبه رو کند.

نیازهای مهارتی و نیروی انسانی

اولین و حساس‌ترین بخش برای تحلیل کلان داده‌ها نیاز به مهارت و نیروی انسانی ماهر است. ما در این زمینه با توجه به جدید بودن آن متخصصین زیادی نداریم و افرادی که در اختیار هستند اکثراً تجربه کافی را ندارند. استقرار و مدیریت سیستم‌های مبتنی بر کلان داده نیاز به مهارت‌هایی دارد که توسعه دهندگان دیگر قادر به اجرایی کردن آن نیستند. به همین دلیل لازم است از متخصص با تجربه در این حوزه استفاده کنیم و در صورت کمبود این افراد، آموزش‌های لازم را به دیگر توسعه دهندگان بدهیم. آموزش در زمینه کلان داده، هوش مصنوعی و یادگیری عمیق برای آینده سازمان‌ها بسیار حیاتی است.

هزینه‌ها

این مسئله که تجزیه و تحلیل‌های کلان داده هزینه‌ها را کاهش می‌دهد کاملاً درست است ولی نیاز به یک هزینه‌ی اولیه دارد که مقدار کمی نیست. هزینه نیروی انسانی متخصص، هزینه جمع‌آوری داده‌ها، سخت افزار مورد نیاز برای تحلیل و رسیدن به یک سامانه کارآمد هزینه اولیه را به مدیران و سازمان‌ها وارد می‌کند. بسیاری از سازمان‌ها با مشاهده این هزینه‌ها علاقه خود را به این مقوله از دست می‌دهند ولی سود حاصل از این توسعه بسیار بیشتر از هزینه‌ی انجام شده است.

دسترسی پذیری

یکی از چالش‌های بزرگ متخصصین داده، دسترسی به دیتاهای دقیق و معتبر است. نبود این داده‌ها می‌تواند مشکلات زیادی را به وجود بیاورد و کل ساختار را با مشکل روبه رو کند. برای کمک به متخصصین این حوزه بسیاری از مدیران و تیم‌های مدیریتی در حال جمع‌آوری دیتاست‌های مختلف هستند تا بتوانند در حوزه‌های مختلف از آنها استفاده شود. در صورتی که در سازمان یا کسب و کار خود هنوز دیتاها را جمع‌آوری نمی‌کنید، برنامه‌ای برای این حوزه در نظر بگیرید. شاید در حال حاضر توانایی اجرایی یک برنامه داده‌محور را نداشته باشید ولی در صورت جمع‌آوری دیتا، می‌توانید در آینده این فعالیت را با سرعت بسیار بالاتری اجرایی کنید.

مهاجرت به ساختار جدید

مهاجرت از داده‌های داخلی و درون سازمانی به یک ساختار ابری و پردازش آنها یک مهاجرت پر ریسک است. باید افراد سازمان بتوانند این تغییرات را قبول کنند و زحمت آن را به دوش بکشند. هم‌چنین تغییر ساختار از روش‌های سنتی تصمیم‌گیری به اجرای تصمیمات داده‌محور مهاجرتی است که مدیران باید نسبت به مشکلات آن در کنار تمامی مزایا آگاه باشند.

یکپارچه سازی

فرآیند یکپارچه‌سازی مجموعه‌های کلان داده پیچیده است، مخصوصاً زمانی که تنوع و سرعت جمع‌آوری دیتاها بسیار بالاست، این کار پیچیدگی بیشتر نیز پیدا می‌کند. این فرآیند می‌تواند زمان زیادی از سازمان بگیرد و باید به درستی مدیریت شود.

انواع کاربرد کلان داده چیست؟

از تجزیه و تحلیل کلان داده می‌توان در حوزه‌های مختلف و در بخش‌های متنوعی استفاده کرد. در هر صنعت و حوزه‌ای فضای استفاده از آنها تغییر می‌کند که ما سعی می‌کنیم در این بخش با مثال‌هایی از حوزه‌های مختلف آن را بررسی کنیم. این بخش فقط مثال‌هایی از کاربرد بیگ دیتاست به همین دلیل فقط معطوف به آنها نشوید و برای کسب و کار و سازمان خود راه‌حل‌های موجود را بیابید. ما در این بخش ۷ حوزه مختلف که کلان داده در آنها کاربردهای فراوانی دارد را بررسی می‌کنیم و سعی می‌کنیم در آپدیت‌های بعدی صنایع بیشتری را به آن اضافه کنیم.

استفاده از کلان داده در بانکداری و مالی

نظارت بر افراد، تراکنش‌ها و اتفاقات می‌تواند امنیت مالی افراد را مرتفع کند. کمیسیون بورس اوراق بهادار آمریکا (SEC) از کلان داده‌ها برای نظارت بر فعالیت‌های بازار مالی استفاده می‌کند. آنها از تجزیه و تحلیل داده‌ها برای شناسایی فعالیت‌های غیرقانونی در بازارهای مالی بهره می‌برند. هم‌چنین بازیگران بازارهای مالی مانند بانک‌های بزرگ، صندوق‌ها و معامله‌گران برای تصمیم‌گیری، سنجش احساسات و پیش‌بینی بازارها از بیگ دیتا استفاده می‌کنند. علاوه بر این بیگ دیتا می‌تواند کارهایی مانند تحلیل ریسک، مبارزه با پولشویی، کشف تقلب و تحلیل رقبا را در زمینه مسائل بانکداری و مالی انجام دهد.

داده‌ها در بخش بانکی شامل موارد زیر هستند:

• داده‌های تراکنش مالی
• اطلاعات فردی و شخصی مشتریان
• دیتاهای بازاری و اقتصادی
• اطلاعات سهام و معاملات
• داده‌های اعتبارات و وام‌ها
• دیتاهای کشف تقلب
• اطلاعات پرتفوها و سرمایه‌گذاری
• داده‌های دارایی‌ها و بدهی‌ها
• خدمات مشتری و داده‌های پشتیبانی
• اطلاعات مدیریت ریسک

در این حوزه بهتر است کلان داده‌هایی با این دیتاها بسازید و با تجزیه و تحلیل پاسخ‌های مدنظر خود را بگیرید. با توجه به اینکه بیشتر این دیتاها در دسترس است، امکان پیاده‌سازی این فناوری در این زمینه بسیار زیاد است.

کلان داده در سلامتی و پزشکی

صنعت پزشکی استفاده‌های بسیار زیادی از بیگ دیتا برای بهبود مراقبت از بیمار، تشخیص بیماری‌ها و مدیریت هزینه‌ها می‌کند. به طور کلی علوم تجربی سنتی که در حال حاضر تبدیل به صنعت پزشکی حال حاضر شده است بیشتر بر مبنای تجربه‌های افراد و شناخت از بدن رشد و توسعه پیدا کرده است. حال با استفاده از کلان داده‌ها می‌توان الگوها و بینش‌های دقیقی را در این زمینه یافت که به درمان بیماران و سرعت تشخیص بیماری بسیار کمک می‌کند. البته در این زمینه با توجه به حساس بودن موضوع، داده‌های بسیار متنوع در بدن انسان‌ها و حریم خصوصی آنها چالش‌های بیشتری نسبت به دیگر حوزه‌ها دارد. با این حال مزایای فوق‌العاده‌ای که می‌تواند در بلند مدت ایجاد کند، موجب حرکت کشورها و پزشکان به سمت استفاده از آن شده است.

دیتاها و اطلاعات مختلفی در این زمینه وجود دارد که با استفاده از آن‌ها می‌توان کار پردازش و تجزیه و تحلیل را انجام داد. این داده‌ها شامل موارد زیر هستند:

• اطلاعات بیمار شامل تاریخچه پزشکی، درمان‌ها، داروها و علائم حیاتی
• دیتاهای نسخه‌های پزشکی بیمار
• اطلاعات کارآزمایی‌های بالینی و سایر مطالعات
• مطالبات و صورت‌حساب‌های شرکت‌های بیمه
• اطلاعات بهداشت عمومی و داده‌های سلامت جمعیت
• داده‌های تصویربرداری‌های پزشکی مانند سی تی اسکن و MRI
• اطلاعات ژنتیکی
• اطلاعات دستگاه‌های پوشیدنی مانند ردیاب‌های تناسب اندام
• داده‌های عوامل اجتماعی تعیین کننده مانند درآمد، تحصیلات و شرایط زندگی
• دیتاهای ارائه‌دهندگان خدمات پزشکی مانند پزشکان، پرستاران و سایر افراد دخیل

با استفاده از این داده‌ها علاوه بر اینکه می‌توان خدمات بهتری ارائه داد، می‌توان مشکلات تیم درمان و بیمه‌ها را هم مرتفع کرد. البته استفاده از فناوری‌های جدید به اینجا ختم نمی‌شود. شما می‌توانید در بخش هوش مصنوعی در پزشکی اطلاعات بیشتری در این زمینه به دست بیاورید.

کاربرد بیگ دیتا در رسانه

رسانه‌ها برای تجزیه و تحلیل رفتار و ترجیحات مخاطبان و مصرف‌کنندگان بسیار به تحلیل کلان داده‌ها نیاز دارد. با توجه به اینکه این رسانه‌ها پیشرفته هستند و بیشتر در بستر اینترنت قرار دارند، دسترسی به دیتاها کار سختی نیست. با استفاده از این تحلیل‌ها رسانه‌ها می‌توانند هدف‌گذاری بهتری کنند، محتواهای شخصی سازی شده ارائه دهند و تبلیغات و خدمات بر طبق میل مشتری منتشر کنند. علاوه بر این، تحلیل‌های کلان داده می‌تواند شما را به احساسات مشتری و تشخیص الگوها و روندهای مخاطبان در کمترین زمان برساند. مقوله زمان در رسانه‌ها بسیار با اهمیت است و رسانه‌های که سرعت و دقت بالاتری دارند در بازار موفقیت بیشتری هم خواهند داشت.

در حال حاضر رسانه‌هایی مانند نتفیلیکس، یوتیوب و فیسبوک از این الگوریتم‌ها برای رشد و رضایت مخاطبان استفاده می‌کنند. نتفیلیکس برای ردیابی عادات، ترجیحات و شناسایی پرسونا مخاطبان از بیگ دیتا استفاده می‌کند و پیشنهاداتی مناسب در اختیار شما می‌گذارد. هم‌چنین برای تولید فیلم و سریال‌های جدید از این داده‌ها استفاده‌های بسیاری می‌کند.

داده‌های این صنعت شامل موارد زیر است:

• دیتاهای رسانه‌های اجتماعی
• داده‌های موبایل مانند میزان مصرف داده و گزارش تماس‌ها و پیام‌ها
• اطلاعات عملکرد محتوا مانند بازدید، لایک و اشتراک‌گذاری
• اطلاعات مشتریان مانند تعاملات، تاریخچه‌ و کوئری‌های جستجو و سابقه خرید
• داده‌های رفتاری مانند نرخ کلیک، اطلاعات مکانی و الگوی استفاده از سامانه‌ها
• اطلاعات شخصی مانند سن، جنسیت، کشور و ...

ما در بخش هوش مصنوعی در رسانه فناوری‌های متنوعی را برای استفاده در این صنعت بررسی کرده‌ایم.

بیگ دیتا در تولید و صنعت

بهینه‌سازی فرآیندهای تولید، پیش‌بینی خرابی تجهیزات و بهبود مدیریت زنجیره تامین فقط بخشی از استفاده‌ی صنعت از کلان داده است. به عنوان مثال شرکت‌ها می‌توانند از حسگرها برای ردیابی الگوی استفاده از ماشین‌آلات استفاده کنند. تحلیل این اطلاعات می‌تواند کمک کند تا تعمیر و نگه‌داری آنها به موقع انجام شود و کمتر دچار خرابی شوند. در بخش معدن و استخراج هم می‌توان از اطلاعات زمین‌شناسی استفاده کرد و فرآیند استخراج را به بهینه‌ترین حالت ممکن درآورد.

با توجه به بخش‌های مختلف صنعت و تولید نیازهای داده‌ای متفاوتی را می‌توان در نظر گرفت. ما بخشی از آنها را در اینجا معرفی می‌کنیم:

• دیتاهای تولید مانند سنسور ماشین‌ها، خروجی تولید و نگهداری
• داده‌های زنجیره تامین مانند سطح موجودی، اطلاعات لجستیکی و معیارهای عملکرد تامین کننده
• اطلاعات محیط زیستی مانند شرایط آب و هوایی، سطح آب و میزان آلودگی هوا
• داده‌های ایمنی و امنیتی مانند گزارش حادثه‌ها و بازرسی‌های ایمنی
• اطلاعات عملکردی دارایی‌ها مانند تجهیزات و تاریخچه استفاده از آنها
• دیتاهای فروش و بازاریابی شامل سفارشات مشتری، روندهای بازار و معیارهای عملکردی محصول

فناوری‌های جدید تحول بسیاری را در بخش‌های صنعتی ایجاد کرده‌اند. ما در بخش هوش مصنوعی در صنعت ابعاد مختلف آن را بررسی کرده‌ایم.

استفاده از کلان داده در ورزش

تجزیه و تحلیل کلان داده‌ها در ورزش در سال‌های اخیر محبوبیت بسیاری پیدا کرده است. این دیتاها و تحلیل‌ها می‌تواند به تیم‌ها، مربیان و بازیکنان کمک کند تا تصمیمات بهتری بگیرند و دید دقیق‌تری نسبت به خود و رقیبان داشته باشند. اطلاعات در این زمینه می‌توان از کانال‌های مختلفی مانند ردیابی بازیکنان، گزارش آسیب‌دیدگی‌ها، آمار عملکرد و آمار بازی به دست بیایند. تجزیه و تحلیل آنها می‌تواند به شناسایی الگوها، درک نقاط قوت و ضعف بازیکن و تیم و پیگیری عملکرد آنها در طول زمان کمک بسیار زیادی بکند. هم‌چنین در تیم‌ها از این اطلاعات برای خرید بازیکن و هم‌خوانی او با تیم می‌توان کمک بسیار زیادی گرفت.

این تجزیه و تحلیل‌ها ورزش را نسبت به قبل بسیار پیشرفته‌تر و پویاتر کرده است و در حال حاضر هم بسیاری از تیم‌ها و بازیکنان از آنها استفاده می‌کنند. دیتاها در این زمینه شامل موارد زیر هستند:

• داده‌های عملکرد بازیکن شامل ویژگی‌های فیزیکی و مهارتی
• اطلاعات تعامل طرفداران شامل دیتاهای شبکه‌های اجتماعی و تعاملات در ورزشگاه
• دیتاهای رویداد ورزشی شامل مکان، فروش بلیط، آمار پخش و عملکرد مالی
• اطلاعات پخش شامل میزان بازدید، میانگین زمان تماشا و درآمد حاصل از تبلیغات
• داده‌های اطلاعات حامیان مالی
• دیتاهای اطلاعات افراد دخیل در ورزش مانند مدیران، مربیان و ...

فناوری‌های روز تغییرات بسیار زیادی در ورزش ایجاد کرده است. ما این موارد را در بخش هوش مصنوعی در ورزش بررسی کرده‌ایم.

کلان داده در آموزش

همه‌ی مردم در هر سنی با آموزش در سطوح مختلف سر و کار دارند. این موضوع باعث به وجود آمدن فضای خوبی برای کار با کلان داده‌هاست. استفاده از این فناوری در جهان در حوزه آموزش به طور فزاینده‌ای در حال افزایش است. مزایایی که این فناوری در این زمینه ایجاد می‌کند می‌تواند انقلابی در بخش آموزش ایجاد کند. تجزیه و تحلیل عملکرد دانش آموزان، شخصی سازی آموزش، پیش‌بینی موفقیت و تعیین روش موثر آموزشی برای دانش‌پذیران بخشی از استفاده درست از بیگ دیتاست. بهتر است در صورتی که در این زمینه فعالیت می‌کنید به سمت استفاده از این فناوری بروید.

اطلاعات لازم برای استفاده در این زمینه شامل موارد زیر است:

• داده عملکرد دانش پذیران شامل نمرات آزمون‌ها، سوابق حضور و غیاب و ...
• دیتاهای یادگیری و رفتاری مانند مشارکت دانش پذیر
• اطلاعات شخصی افراد مانند سن، جنسیت، قومیت و وضعیت اجتماعی-اقتصادی
• داده‌های شغلی و حرفه‌ای مانند انتظارات فرد از آینده شغلی
• بازخورد دانش‌پذیران و رضایت آنها در ارزیابی‌ها
• دیتاهای سیستم مدیریت یادگیری (LMS) از نظر پیشرفت دانش پذیران
• داده‌های منابع آموزشی و مواد درسی

علاوه بر اینکه کرونا بحث آموزش را تا حدی تغییر داد، فناوری‌های جدید تغییرات بسیار بیشتری در آن ایجاد خواهند کرد. ما این موارد را در بخش هوش مصنوعی در آموزش بیشتر بررسی کرده‌ایم.

کاربرد کلان داده در فروش

استفاده از فناوری‌های جدی برای سود بیشتر در فروشگاه بسیار رایج است. افراد به سرعت به سمت استفاده از این فناوری‌ها می‌روند تا بتوانند فروش بیشتری را تجربه کنند. داده‌های کلان مشتریان، سبد خرید و محصولات می‌تواند به دید بهتر شما نسبت به فروشگاه بسیار کمک کند. با تجزیه و تحلیل آنها در کنار مواردی مانند اطلاعات آب و هوایی می‌توانید علاوه بر اینکه سود خود را افزایش می‌دهید، در نیروی انسانی و انبارداری صرفه‌جویی‌های خوبی هم انجام دهید. سامانه ترددشمار دیدبان با این دید و برای استفاده از کلان داده‌ها در زمینه فروشگاه‌ها توسعه پیدا کرده است که می‌توانید اطلاعات آن را در صفحه مربوطه مشاهده کنید.

داده‌های این زمینه شامل موارد زیر است:

• اطلاعات مشتریان شامل میزان خرید، زمان بازگشت و محصولات خریداری شده
• دیتاهای ورود و خروج بازدیدکنندگان به فروشگاه شامل میزان حضور در فروشگاه و جنسیت آنها
• داده‌های محصولات شامل ویژگی‌های فیزیکی، سایزها و ...
• دیتاهای فروشندگان و صندوق‌داران شامل ساعات حضور، میزان فروش بخش‌های مختلف و درصد تبدیل بازدیدکننده به مشتری
• اطلاعات محیطی شامل وضعیت آب و هوا، ترافیک و اتفاقات و رخدادها
• دیتاهای تقویمی مانند تعطیلات، اعیاد، مناسبت‌ها و بررسی فصل‌های مختلف

تمامی این اطلاعات و تجزیه و تحلیل آنها می‌تواند دید بهتری نسبت به فروش و فروشگاه در اختیار شما بگذارد.ما در بخش هوش مصنوعی در فروش کاربرد فناوری‌های روز در این زمینه را بررسی کرده‌ایم.

مشاغل مربوط به بیگ دیتا چیست؟

در حال حاضر بسیاری از سازمان‌ها و کسب و کارها نیاز به متخصصین این حوزه دارند. بر طبق آمار از سال ۲۰۱۲ تا ۲۰۲۳ نیاز به متخصصین این حوزه ۶۵۰ درصد رشد داشته است و این روند رشد بیشتری را نیز در آینده تجربه خواهد کرد. آینده‌ای جذاب برای کسانی که به سمت این حوزه حرکت می‌کنند انتظار می‌رود. شما در این حوزه می‌توانید عناوین شغلی زیر را بر اساس خواسته‌ها و توانمندی‌ها انتخاب کنید:

• دانشمند داده (Data scientist)
• تحلیلگر داده (Data analyst)
• مهندس داده (Data engineer)
• مهندس یادگیری ماشین (Machine learning engineer)
• تحلیلگر هوش تجاری (Business intelligence analyst)
• متخصصی تصویرسازی داده‌ها (Data visualization specialist)
• معمار داده (Data architect)

هرکدام از این موارد فضای مختلفی دارند که می‌توانید در آنها فعالیت داشته باشید. البته یک نکته اهمیت بسیار بالایی دارد. بهتر است شما در حوزه‌ای تخصصی دیگر هم تجربه داشته باشید. تمامی این تخصص‌های دیتا در کسب و کارهای مختلفی باید استفاده شوند و آشنایی شما با آن حوزه می‌تواند در تمامی مراحل به شما کمک کند.

از نظر حقوق هم این حوزه یکی از بالاترین حقوق‌ها در سطح جهان را به خود اختصاص داده است. حتی در ایران همه متخصصین این حوزه حقوق‌های بسیار بالایی دریافت می‌کنند. در بخش‌های مختلف این حوزه کاری حقوق‌های متنوعی هستند که می‌توانید میانگین حقوق سالانه‌ی آن را در تصویر مشاهده کنید.

تاریخچه کلان داده

با اینکه مفهوم کلان داده یا همان بیگ دیتا قدمت زیادی ندارد ولی منشا اصلی آنها مربوط به سال‌های ۱۹۶۰ تا ۷۰ میلادی برمی‌گردد. زمانی که به تازگی اولین مراکز داده و پایگاه‌های داده‌ی رابطه‌ای شکل گرفته بود. سال ۲۰۰۵ بود که متوجه شدند مردم چقدر داده‌های مهم و زیادی را در شبکه‌های اجتماعی مانند فیسبوک و یوتیوب و ... منتشر می‌کنند. در همان سال Hadoop که یک فریم‌ورک متن باز برای تجزیه و تحلیل داده‌های بزرگ بود را توسعه دادند. NoSQL هم در همین سال‌ها محبوبیت بیشتری پیدا کرد.

در سال‌های بعد با توجه به افزایش فزاینده داده‌ها نیاز به توسعه بیشتر فریم‌ورک‌ها احساس شد و در مراحل مختلفی این کارها انجام گرفت. با وارد شدن داده‌ها به صنایع مختلف، فقط انسان‌ها داده‌ها را تولید نمی‌کردند. با تولید داده توسط تجهیزاتی مانند سنسورهای اینترنت اشیا (IoT) و اطلاعات داخل صنعت باعث ورود بیگ دیتا به فضایی جدیدتر شد. هم‌چنین با افزایش کاربرد یادگیری ماشین و یادگیری عمیق این داده‌ها روز به روز بیشتر شد.

با افزایش دیتاها، تازه مفید بودن این تجزیه و تحلیل‌ها بیشتر و در سطح کلان‌تر خود را نشان داد و این مسیر ادامه ‌خواهد داشت. درست است که از تعریف مفهوم کلان داده چیست سال‌های زیادی نمی‌گذرد ولی این فناوری کاربردهای خود را به خوبی به مدیران نمایش داده است.

زندگی در عصر داده‌ها

ما در عصری زندگی می‌کنیم که دیتاها حرف اول را می‌زنند و تازه این شروع یک مسیر پرپیچ و خم است. افراد در حالی که متوجه نیستند با تمام کارهای خود در حال وارد کردن داده به فرآیند تجزیه و تحلیل کلان داده‌ها هستند. ما با تمامی فعالیت‌هایی که می‌کنیم از گشتن در شبکه‌های اجتماعی تا حضور در فروشگاه‌های حضوری در حال انتقال داده‌های خود هستیم. این فراتر از چیزی است که انسان می‌تواند از افراد یک جامعه یا مشتریان یک فروشگاه متوجه شود.

ما در گذشته برای به دست آوردن اطلاعات نیاز داشتیم تا با افراد مصاحبه کنیم و با خطای بسیار بالا نتیجه‌گیری خود را انجام دهید. این در حالی است که با استفاده از دیتاهای افراد شما می‌توانید دقیق‌ترین و خالص‌ترین نظرات را نه از یک نفر بلکه از تمامی نفرات استخراج کنید. این در آینده به صورت فزاینده‌ای افزایش پیدا خواهد کرد و در هر سازمان یا کسب وکاری که فعالیت می‌کنید به این فناوری نیاز خواهید داشت.

حرکت به سمت این فناوری، گریزناپذیر است اما کسانی که زودتر به سراغ آنها می‌روند پیروز میدان خواهند بود. هرچه زودتر داده جمع‌آوری کنید و از آن استفاده کنید رشدی سریع‌تر را تجربه خواهید کرد و عقب ماندن از آن می‌تواند سازمان شما را با مشکل مواجه کند. عقب افتادن در این زمینه می‌تواند آینده کسب و کارها و حتی یک کشور را تحت تاثیر خود قرار دهد.

منابع : oracle و techtarget و ibm و Medium