robots.txt محدود کردن موتورهای جستجو – آموزش بهینه سازی سایت – #۹

فایل robots.txt یک فایل متنی است و به موتورهای جستجو این پیام را می دهد که اجازه دسترسی به کدام قسمت سایت شما برای جستجو شدن را دارند


امیر سروری ۲۲ دیدگاه بهینه سازی وب سایت یکشنبه, 22nd می , 2011 32263 بازدید

استفاده مناسب از robots.txt

محدود کردن موتورهای جستجو بوسیله robots.txt

فایل robots.txt یک فایل متنی است و به موتورهای جستجو این پیام را می دهد که اجازه دسترسی به کدام قسمت وب سایت شما برای جستجو شدن را دارند . این فایل که robots.txt نام دارد در ریشه یا root سایت شما قرار داده می شود .

شاید شما به هر دلیل نخواهید صفحه ای از سایت شما جستجو شود ( شاید آن صفحه در صورت جستجو شدن توسط موتورهای جستجو برای کاربران قابل استفاده نباشد ) . اگر شما می خواهید که مانع جستجو شدن صفحه وب سایت خود توسط جستجو گران شوید google webmaster tools به شما کمک خواهد کرد یک فایل robots.txt را با استفاده از ابزار robots.txtgenerator برای وب سایت خود بسازید .

به یاد داشته باشید اگر سایت شما از زیر دامنه ها استفاده می کند و شما می خواهید که یک صفحه خاص از یک زیر دامنه جستجو نشود شما باید فایل rrobots.txt جداگانه ای برای زیر دامنه خود ایجاد کنید.

برای اطلاعات بیشتر در مورد robots.txt ما به شما پیشنهاد می کنیم از راهنمای webmaster help در مورد نحوه استفاده از robots.txt استفاده کنید.

راه های دستی دیگری نیز برای جلوگیری نمایش محتوا در نتایج جستجو وجود دارد مانند افزودن ربات های متا تگ noindex و . httaccess برای مراقبت از رمز عبور دایرکتوری ها و استفاده از google webmaster tools برای پاک کردن اطلاعاتی که قبلا جستجو شده است .

آموزش بهینه سازی وب سایت - webtarget.ir

نمونه ای از یک فایل متنی robots.txt که در اینجا اجازه دسترسی به زیر شاخه های /images و /search محدود شده است

آموزش بهینه سازی وب سایت - webtarget.ir

دسترسی به یک فایل متنی robots.txt از طریق url و آدرس

تمرین


از روشهای امنیتی بیشتری برای محتواهای مهم و حساس استفاده کنید

  • وقتی که مطالب حساس ومحرمانه را بوسیله Robot.txt مسدود کردید شما نباید احساس راحتی کنید. این به این علت است که اگر این url ها به جایی در اینترنت لینک شود ( مانند لاگ های ارجاعی) موتورهای جستجو حتی با توجه به مسدود شدن url ها می تواند به آنها مراجعه کند ( نمایش url ، بدون عنوان و یا نمونه ها ).

  • موتورهای جستجوی نا موافق و سرکش که از استاندارد های ربات ها پیروی نمی کند می توانند از ساختار robots.txt سر پیچی کنند و تمامی مسیر ها را بررسی کنند .

  • یک کاربر کنجکاو می تواند با امتحان کردن دایرکتوریها مسیر فایل robots.txt و آدرس هایی را که شما نمی خواهید دیده شوند را حدس بزند .

رمزنگاری کردن محتوا و یا استفاده از مراقبت رمز عبور به وسیله .htaccess از راه های چاره هستند که در آموزشهای بعدی بهینه سازی سایت مطالب بیشتری در مورد آنها گفته خواهد شد.


از انجام دادن موارد زیر اجتناب کنید :

  • اجازه دهید نتیجه جستجو مثل صفحات جستجو شوند و در صفحه نتایج جستجو ظاهر شوند

    مخاطبان و جستجو گران دوست ندارند از یک صفحه جستجو به صفحه جستجوی دیگری بروند

  • ایجاد لینک های مطالب و کلماتی که توسط جستجوگران جستجو شده است به صورت خودکار


نویسنده / مترجم : امیر سروری

امیر سروری هستم علاقه مند به بازاریابی و تبلیغات آنلاین , طراحی وب سایت و البته آموزش


۲۲ دیدگاه برای این نوشته ثبت شده است


  1. mal2moh
    29 جولای 2011

    سلام
    مطالبت سایت بسیار مفید هستند
    اگر ممکن است در بهیه سازی سیستم جوملا نیز مطالب مفیدی ارائه نمائید




  2. amir
    16 سپتامبر 2011

    tank you for this post.




  3. مریم
    24 اکتبر 2011

    با سلام
    یک سئوال فنی داشتم
    برای سایتم از webmaster tools استفاده کردم و لینک robot رو در سایت گذاشتم اما در تمام قسمت های webmaster بهم پیغام No data available میده
    با اینکه کلیه صفحات من title,keyword هم دارن
    ممنون میشم راهنماییم کنید




    • امیر سروری
      24 اکتبر 2011

      مریم @ سلام . باید کدی رو که گوگل به شما میده داخل وب سایت بزارید . برای اینکه گوگل بشناسه وب سایت شما رو چند روزی طول میکشه .




  4. مریم
    25 اکتبر 2011

    سلام مجدد
    بله کد رو که گذاشتم، پس احتمالاً باید چند روز صبر کنم…
    بسیار ممنون




  5. امبن
    18 ژانویه 2012

    سلام و خسته نباشی .
    من یک وبلاگ رو تازه تاسیس کردم میخوام به گوگل معرفیش کنم اصلا نمیشه ، نمی دونم مشکل سایت گوگل چیه

    جدول URL و Commond اصلا وجود نداره و لطفا راهنمایی کنید




    • امیر سروری
      18 ژانویه 2012

      امین @ نمیدونم چند وقت از آنلاین شدن وب سایتتون گذشته اما باید کمی صبور بود گاهی تا یک ماه معرفی وب سایت شما به گوگل به صورت عادی طول میکشه . پیشنهاد من اینه که از وبلاگ ها و وبسایتها مرتبط با محتوای وب سایت خودتون لینک بگیرید و این باعث میشه زودتر شناسایی بشید . دقیقا همین کاری که اینجا انجام دادین :-) موفق باشید .




  6. مهراز
    21 مارس 2012

    ممنون از مطلب ارزنده شما




  7. Afshin
    23 ژوئن 2013

    Man baraaye websitam Robot.txt saakhtam vali nemidoonam ke chera shenakhteh nemishe.




  8. اموزش برنامه نویسی
    19 جولای 2013

    سلام

    من می خوام دسترسی گوگل رو به همه صفحات یک ساب دامنه ببندم باید چه کدی قرار بدم.

    ممنون. میشم برام ایمیل کنید.




  9. Afshin
    26 آگوست 2013

    سلام
    من این فایل رو ساختم و روی سرور گذاشتم ولی نمیدانم چرا شناسایی نمیشه؟
    لطفا راهنمایی فرمایید




  10. علیرضا
    19 دسامبر 2013

    سلام من از افزونه all in one seo و xml-sitemap استفاده میکنم و در هر کدوم محدودیت های صفحاتم رو مشخص کردم . آیا باز وجود ربوت txt لازمه؟؟




  11. سئو
    9 ژوئن 2014

    متاسفانه سایت های فارسی زیادی رو دیدم این مسئله رو رعایت نمیکنن




  12. جواد
    8 ژانویه 2015

    سلام
    خسته نباشید
    قبلا سایت من در موتور های جستجو بالا میومد
    ولی یک روز به اشتباه موتور های جستجو را در فایل روبوتکست ش بستم.
    دیگه بعد از اون سایتم بالا نیومد در موتور های جستجو
    الان حدود یکماه هست که فایل روبوتش را درست کردم و نقشه سایت هم براش ساختم ودر گوگل وب مستر تولز هم ثبت کردم
    و اون جا هم چک کردم فایل روبوت و مابقی فایل ها هم اروری نداشت.
    ولی هرکاری می کنم دوباره توی نتایج موتورهای جستجو بالا نمیاد.
    خواهشمند است کمک کنید
    هزینه اش را هم پرداخت می کنم.

    ممنون و سپاس گزار




  13. شال
    29 مارس 2015

    عالی بود ، ممنون از سایت خوبتون




  14. شال
    29 مارس 2015

    سپاس فراوان از زحمات شما




  15. ثبت برند
    5 آوریل 2015

    عالی بود ، ممنون از سایت خوبتون




  16. پاکشوما
    9 آوریل 2015

    عالی بود ، ممنون از سایت خوبتون




  17. چمن کاری
    9 آوریل 2015

    عالی بود ، سپاس فراوان از زحمات شما




  18. کیف لپ تاپ
    18 آوریل 2015

    ممنون از مطالب خوبتون




  19. سیم و کابل
    11 می 2015

    عالی بود . ممنون از سایت خوبتون
    موفق باشید




  20. مهرام
    22 آگوست 2015

    ممنون واقعا عالی بود.
    موفق باشید.



دیدگاه خود را بنویسید





نشانی ایمیل شما منتشر نخواهد شد.

کامنت های شما بعد از تأیید توسط نویسنده وبلاگ، منتشر خواهند شد.

لطفا دیدگاهتان تا حد امکان مربوط به پست بالا باشد. اگر حرف دیگری دارید و یا قصد تماس با من را دارید، از فرم تماس استفاده کنید.

شما میتوانید با مراجعه به سایت گراواتار یک آواتار اختصاصی برای خود تعریف کنید، تا در کنار نام شما نمایش داده شود

برای قرار دادن کدهای نمونه می توانید از تگ های [php] ، [html] ، [css] و [js] استفاده کنید.
به عنوان مثال کدهای php را می توان به صورت زیر قرار داد:
[php] var $whoLoveIranians = "WebTarget!"; [/php]



کلیه حقوق مادی و معنوی برای وب سایت وب تارگت محفوظ است ©2021 وب‌تارگت

استفاده از مطالب وب سایت در سایر وب سایت‌ها و نشریات چاپی با ذکر منبع آزاد است.