تشخیص هرزنامه وب به کمک تکنیک های داده کاوی
نوع فایل: word (قابل ویرایش)
تعداد صفحات : 100 صفحه
چکیده:
امروزه هرزنامه ها یکی از مشکلات اصلی موتورهای جستجو هستند، به این دلیل که کیفیت نتایج جستجو را نامطلوب می سازند. در طول سالهای اخیر پیشرفتهای بسیاری در تشخیص صفحات جعلی وجود داشته است اما در پاسخ تکنیک های هرزنامه جدید نیز پدیدار شده اند. لازم است برای پیشی گرفتن به این حملات، تکنیکهای ضد هرزنامه بهبود یابد.
یک مساله عادی که ما با آن در این زمینه مواجه می شویم این است که خیلی از اسناد رتبه بالایی را توسط موتور جستجو بدست آورده اند در حالی که سزاوار آن نبوده اند. با توجه به گسترش روزافزون وب و همچنین ظهور تکنیک های جدید هرزنامه توسط هرزنامه نویسان، هدف از این پایان نامه بررسی روش های مبتنی بر داده کاوی جهت شناسایی هرچه بهتر صفحات هرزنامه از غیرهرزنامه است.
الگوریتم ها و نرم افزارهای داده کاوی از جمله ابزارهای مورد استفاده در این پژوهش هستند. از مجموعه داده استاندارد UK2007 و نرم افزار وکا جهت ارائه مدلهایی بهینه استفاده شده است و سعی بر ارائه مدلهایی است که ضمن کاهش ویژگی های مورد استفاده جهت شناسایی صفحات هرزنامه از غیرهرزنامه کارایی مطلوبی را نیز ارائه دهد.
کلید واژه:هرزنامه-تکنیک های داده کاوی
فهرست مطالب:
چکیده ۱
فصل اول:مقدمه۲
۱-۱ پیش گفتار ۳
1-2 بیان مسئله ۳
۱-۳ اهمیت و ضرورت انجام تحقیق ۴
ساختار پایان نامه ۵
فصل دوم:وب و هرزنامه های وب۶
۲-۱ وب جهان گستر 7
۲-۱-۱ وب به عنوان گراف۸
۲-۱-۲ گراف وب در صفحه و سطح میزبان۸
۲-۱-۳ اتصال۹
۲-۲ موتورهای جستجو۱۰
۲-۲-۱ معماری موتورهای جستجوی وب۱۱
۲-۲-۲ سرویس دهنده پرس و جوی موتور جستجو۱۳
۲-۳ رتبه بندی ۱۳
۲-۳-۱ رتبه بندی مبتنی بر محتوا۱۳
۲-۳-۲ الگوریتم های مبتنی بر لینک۱۵
۲-۴ هرزنامه وب۱۹
۲-۴-۱ هرزنامه محتوا۲۰
۲-۴-۲ هرزنامه لینک ۲۲
۲-۴-۳ تکنیک های مخفی ۲۷
۲-۵ یادگیری ماشین ۲۹
۲-۵-۱ NaΪVe Bayes 30
۲-۵-۲ درخت تصمیم 31
۲-۵-۳ ماشین بردار پشتیبان۳۳
۲-۶ ترکیب طبقه بندی کننده ها۳۵
۲-۶-۱ Bagging 35
۲-۶-۲ Boosting 36
۲-۷ روش های ارزیابی 37
۲-۷-۱ ارزیابی متقاطع ۳۸
۲-۷-۲ دقت و فراخوانی۳۸
۲-۷-۳ منحنی ROC 39
۲-۸ جمع بندی۴۰
فصل سوم: پیشینه تحقیق 41
۳-۱ مجموعه داده های مورد استفاده توسط محققین ۴۲
۳-۱-۱ UK2006 42
۳-۱-۲ UK2007 43
۳-۱-۳ مجموعه داده جمع آوری شده با استفاده از جستجوی MSN 44
۳-۱-۴ DC2010 44
۳-۲ مطالعات مبتنی بر محتوا۴۷
۳-۳ روش های مبتنی بر لینک۵۱
۳-۳-۱ الگوریتم های مبتنی بر انتشار برچسب ها ۵۱
۳-۳-۲ رتبه بندی تابعی 55
۳-۳-۳ الگوریتم های هرس لینک و وزن دهی دوباره۵۶
۳-۳-۴ الگوریتم های مبتنی بر پالایش برچسب ها ۵۷
۳-۴ روش های مبتی بر لینک و محتوا ۵۸
۳-۴-۱ مطالعات مبتنی بر کاهش ویژگی ۵۷
۳-۴-۲ مطالعات مبتنی بر ترکیب طبقه بندی کننده ها۵۹
۳-۴-۳ مطالعات مبتنی بر تست اهمیت ویژگی های متفاوت در تشخیص هرزنامه 63
۳-۴-۴ مطالعات مبتنی بر پیکربندی وب ۷۱
۳-۴-۵ تشخیص هرزنامه از طریق آنالیز مدلهای زبانی۷۶
۳-۴-۶ تاثیر زبان صفحه بر ویژگی های تشخیص هرزنامه وب۷۹
۳-۴-۷ رویکرد ترکیب ویژگی های مبتنی بر محتوا و لینک برای صفحات عربی ۸۲
۳-۵ جمع بندی ۸۳
فصل چهارم: پیاده سازی ایده پیشنهادی ۸۵
۴-۱ مقدمه۸۶
۴-۲ ویژگی های مجموعه داده انتخابی ۸۷
۴-۳ پیش پردازش ۹۲
۴-۳-۱ پیش پردازش مجموعه داده UK2007 93
۴-۳-۲ کاهش ویژگی ها با اعمال الگوریتم های داده کاوی۹۳
۴-۴ داده کاوی و ارزیابی مدل ها ۹۶
4-4-1 نتایج الگوریتم ها با اعمال روش های کاهش ویژگی 102
۴-۴-۲ مقایسه مقدار F_measure بدست آمده از الگوریتم ها با اعمال بر روی ویژگی های بدست آمده از الگوریتم های کاهش ویژگی۱۰۹
۴-۵ تفسیر نتایج۱۱۰
۴-۶ جمع بندی ۱۱۴
فصل پنجم: نتیجه گیری و کارهای آتی ۱۱۵
۵-۱ نتیجه گیری ۱۱۶
۵-۲ کارهای آتی- ۱۱۷
منابع۱۱۸
فایل ورد قابل ویرایش
چطور این فایل رو دانلود کنم؟
برای دانلود فایل کافیه روی دکمه "خرید و دانلود" کلیک کنید تا صفحه "پیش فاکتور خرید" برای شما باز شود و مشخصات (نام و نام خانوادگی ، تماس و ایمیل ) رو با دقت ثبت کنید و روی دکمه "پرداخت آنلاین" کلیک کنید بعد از پرداخت هزینه از طریق سیستم بانکی به سایت برگشت داده میشوید و صفحه دانلود برای شما نمایش داده میشود
آیا فایل رو بلافاصله بعد از خرید تحویل می گیرم؟
بله. بلافاصله بعد از پرداخت آنلاین ، صفحه دانلود فایل برای شما نمایش داده میشود و می توانید فایل خریداری شده را دانلود نمایید
نمی توانم به صورت آنلاین خرید انجام دهم
در صورتی که امکان پرداخت آنلاین برای شما میسر نمی باشد می توانید هزینه فایل را به صورت آفلاین ( کارت به کارت) پرداخت نمایید تا فایل برای شما ارسال شود برای این کار کافیست در پیش فاکتور خرید مراحل خرید آفلاین را دنبال کنید
هزینه رو پرداخت کردم اما نمی توانم فایل را دانلود کنم
در سایت ام پی فایل چند روش پشتیبانی برای راحتی شما در نظر گرفتیم تا با سرعت بیشتری به پیام های شما رسیدگی کنیم. برای دریافت سریع فایل می تونید از گزینه پیگیری پرداخت یا تماس با ما (واقع در منوی بالای سایت) و یا از طریق شماره 09395794439 با ما در ارتباط باشید .
فایل دانلود شده با توضیحات ارائه شده مطابقت ندارد
اگر فایل با توضیحات ارائه شده توسط فروشنده همخوانی ندارد کافیست از طریق قسمت تماس با ما یا شماره 09395794439 با ما در میان بگذارید تا پیگیری های لازم صورت گیرد و فایل اصلی برای شما ارسال شود در صورتی که به هر دلیلی فایل اصلی در دسترس نباشد هزینه پرداختی شما برگشت داده میشود
برای به مشکل نخوردن در زمان خرید چه اقدامی انجام دهم ؟
برای اینکه در زمان پرداخت آنلاین به مشکل برخورد نکنید باید V P N خاموش باشد و از مرورگرهای موزیلا فایرفاکس و کروم استفاده کنید. و ضمنا در صفحه "پیش فاکتور خرید" مشخصات خود را به شکل صحیح وارد کنید تا در پیگیری های بعدی با مشکل مواجه نشوید