مقاله #342

چکیده

کاوش داده از پایگاه داده ی وب در سال های اخیر بدلیل انفجار حجم داده ها، افزایش وب پویا و افزایش کارایی امنیت وب بسیار چالشی است. کاوش داده از یک پایگاه داده ی وب از داده کاوی از سایت های وب متفاوت است زیرا در نظر دارد تا داده ی خاصی را از یک سایت وب تنها جمع آوری کند. جمع آوری داده ی بسیار بزرگ در زمان محدود تمایل دارد تا به عنوان حمله ی سایبری شناسایی شود و از اتصال به سرور وب ممنوع شده است. برای پرهیز از این مسئله، این مقاله یک روش خزیدن برای کاهش را پیشنهاد می کند تا پایگاه های داده ی وب را آسانتر و ارزانتر از خزنده های وب مرسوم کاوش کند. این روش استفاده شده است تا صدها ترد از یک خزنده ی وب تنها را در یک کامپیوتر تنها اجرا کند و تردها را درون صدها یا هزاران سرور پروکسی در دسترس عموم توزیع می کند. این استراتژی خزنده ی وب به میزان بسیار زیادی سرعت کاوش را افزایش می دهد و نسبت به استفاده از ترد خزنده ی وب امن تر است.