مقاله #502

چکیده: کلان داده اصطلاحی برای تعریف داده‌هایی با سه ویژگی اصلی است. اول، شامل حجم زیادی از داده‌ها است. دوم، داده نمی‌تواند در جداول پایگاه‌داده‌ی منظم سازمان‌دهی شود و سوم، داده با سرعت زیادی تولید شده‌ است و باید به سرعت گرفته و پردازش شود. اوراکل ویژگی چهارم را برای این نوع از داده‌ها می‌افزاید که آن چگالی کم مقدار است، به این معنی که گاهی اوقات حجم بسیار بزرگی از داده‌ها برای پردازش، قبل از پیدا کردن اطلاعات با ارزش مورد نیاز، وجود دارد. کلان داده اصطلاح نسبتاً جدیدی است که از نیاز شرکت‌های بزرگ مانند یاهو، گوگل، فیس بوک برای تحلیل مقادیر بزرگی از داده‌های بدون ساختار آمده است، ولی این نیاز می‌تواند در تعدادی از شرکت‌های بزرگ دیگر در زمینه‌ی تحقیق و توسعه شناسایی شود. چارچوب پردازش کلان داده شامل تعدادی از ابزارهای نرم‌افزاری است که در این مقاله ارائه و به طور خلاصه ذکر شده‌اند. یکی از این ابزارها هادوپ است، بستر منبع بازی که شامل هسته‌ی هادوپ، سیستم فایل توزیع شده‌ی هادوپ (HDFS)، نگاشت-کاهش و چندین ابزار مرتبط است.

دو مورد از مشکلات اصلی که در هنگام مطالعه‌ی کلان داده رخ می‌دهد، ظرفیت ذخیره‌سازی و قدرت پردازش هستند. و این جایی است که استفاده از فن‌آوری گرید می‌تواند کمک کند. محاسبات گرید به نوع خاصی از محاسبات توزیع شده اشاره دارد. سیستم محاسبات گرید، باید شامل عنصر محاسباتی (CE)، و تعدادی از عناصر دخیره‌سازی (SE) و گره‌های کارگر (WN) باشد. CE ارتباط با دیگر شبکه‌های گرید را فراهم می‌کند و از یک سیستم مدیریت بار کاری برای اعزام کارها به گره‌های کارگر استفاده می‌کند. عنصر ذخیره‌سازی مسئول ذخیره‌سازی ورودی و خروجی داده‌های مورد نیاز برای اجرای کار است. هدف اصلی این مقاله، ارائه‌ی یک روش پردازش کلان داده با استفاده از تکنولوژی گرید است. برای این منظور، چارچوب مدیریت کلان داده به همراه روش پیاده‌سازی آن در معماری گرید ارائه خواهد شد.