آموزش سئو

جلوگیری از خزش روبات گوگل (جلوگیری ایندکس شدن)

به منظور جلوگیری از محتوای نامطلوب در ایندکس‌های جستجو، مدیران شبکه می‌توانند به عنکبوت‌ها (به انگلیسی: Spider) دستور بدهند که فایل‌ها یا دایرکتوری‌های خاصی را درون فایل استاندارد robots.txt در دایرکتوری اصلی دامنه، مورد بررسی و خزش (به انگلیسی: Crawl) قرار ندهند. بعلاوه، یک صفحه می‌تواند صراحتاً از پایگاه‌داده‌ها مورد جستجو خارج شود که این عمل از طریق استفاده از متاتگ‌های مخصوص به ربات‌ها صورت می‌گیرد.

جلوگیری از ایندکس شدن، فقط سئو

فایل robots.txt نمونه به صورت زیر می‌باشد:

همانگونه که در فایل زیر مشخص می‌باشد، در این فایل ادمین سایت به کرالرها و یا ربات‌های خزنده موتورهای جستجوگر اعلام میکند که همه ربات ها زیر مجموعه های faghatseo.com/folder و غیره را بررسی نکنند.

در وردپرس قسمت ادمین سایت معمولا با اسلاگ wp-admin شروع میشود، معمولا در فایل robots.txt اعلام میشود که زیر مجوعه‌های این قسمت از سایت را کرال و یا خزش ننمایند.

نمونه‌های دیگر:

  • administrator
  • wp-admin
  • wp-login
  • components
  • plugins

نمونه فایل robots.txt جهت جلوگیری از کرال و یا خزش نکردن موتورهای جستجوگر برای صفحات مورد نظر، فقط سئو

جهت مشاهده فایل robots.txt همین سایت، سایت فقط سئو میتونین کلیک کنین و ببینین.


نمونه‌ای از متا تگ‌های سایت nytimes.com


هنگامی که یک موتور جستجو از یک سایت بازدید می‌کند فایل robots.txt واقع در دایرکتوری اصلی، نخستین جایی است که مورد خزش قرار می‌گیرد. سپس فایل robots.txt تجزیه شده و به ربات دستور داده می‌شود که کدام صفحات نباید مورد بررسی و خزش قرار می‌گیرد. از آنجایی که خزنده موتور جستجو ممکن است که یک نسخه از این فایل را نگه دارد گاهی ممکن است که صفحاتی مورد خزش قرار می‌گیرند که مدیر شبکه تمایلی به آنها ندارد. بطور معمول، صفحاتی که از خزش خارج می‌شوند عبارتند از صفحات ورودی خاص مانند صفحات مربوط به کارتهای خرید و صفحات مربوط به محتوای شخصی کاربر نظیر نتایج جستجوی حاصل از جستجوهای داخلی. در مارس ۲۰۰۷، گوگل به مدیران شبکه هشدار داد که باید از ایندکس شدن نتایج جستجوی داخلی جلوگیری کنند زیرا این صفحات، هرزنامه جستجو هستند.

برچسب ها

سجاد

عاشق تکنولوژی، علاقمند به سئو و دیجیتال مارکتینگ از نوع وایت هت، مهندس و کارشناس نفت!

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

همچنین ببینید

بستن
بستن
بستن