robots.txt محدود کردن موتورهای جستجو – آموزش بهینه سازی سایت – #۹

فایل robots.txt یک فایل متنی است و به موتورهای جستجو این پیام را می دهد که اجازه دسترسی به کدام قسمت سایت شما برای جستجو شدن را دارند


امیر سروری ۲۲ دیدگاه بهینه سازی وب سایت یکشنبه, ۱ام خرداد , ۱۳۹۰ 20399 بازدید

استفاده مناسب از robots.txt

محدود کردن موتورهای جستجو بوسیله robots.txt

فایل robots.txt یک فایل متنی است و به موتورهای جستجو این پیام را می دهد که اجازه دسترسی به کدام قسمت وب سایت شما برای جستجو شدن را دارند . این فایل که robots.txt نام دارد در ریشه یا root سایت شما قرار داده می شود .

شاید شما به هر دلیل نخواهید صفحه ای از سایت شما جستجو شود ( شاید آن صفحه در صورت جستجو شدن توسط موتورهای جستجو برای کاربران قابل استفاده نباشد ) . اگر شما می خواهید که مانع جستجو شدن صفحه وب سایت خود توسط جستجو گران شوید google webmaster tools به شما کمک خواهد کرد یک فایل robots.txt را با استفاده از ابزار robots.txtgenerator برای وب سایت خود بسازید .

به یاد داشته باشید اگر سایت شما از زیر دامنه ها استفاده می کند و شما می خواهید که یک صفحه خاص از یک زیر دامنه جستجو نشود شما باید فایل rrobots.txt جداگانه ای برای زیر دامنه خود ایجاد کنید.

برای اطلاعات بیشتر در مورد robots.txt ما به شما پیشنهاد می کنیم از راهنمای webmaster help در مورد نحوه استفاده از robots.txt استفاده کنید.

راه های دستی دیگری نیز برای جلوگیری نمایش محتوا در نتایج جستجو وجود دارد مانند افزودن ربات های متا تگ noindex و . httaccess برای مراقبت از رمز عبور دایرکتوری ها و استفاده از google webmaster tools برای پاک کردن اطلاعاتی که قبلا جستجو شده است .

آموزش بهینه سازی وب سایت - webtarget.ir

نمونه ای از یک فایل متنی robots.txt که در اینجا اجازه دسترسی به زیر شاخه های /images و /search محدود شده است

آموزش بهینه سازی وب سایت - webtarget.ir

دسترسی به یک فایل متنی robots.txt از طریق url و آدرس

تمرین


از روشهای امنیتی بیشتری برای محتواهای مهم و حساس استفاده کنید

  • وقتی که مطالب حساس ومحرمانه را بوسیله Robot.txt مسدود کردید شما نباید احساس راحتی کنید. این به این علت است که اگر این url ها به جایی در اینترنت لینک شود ( مانند لاگ های ارجاعی) موتورهای جستجو حتی با توجه به مسدود شدن url ها می تواند به آنها مراجعه کند ( نمایش url ، بدون عنوان و یا نمونه ها ).

  • موتورهای جستجوی نا موافق و سرکش که از استاندارد های ربات ها پیروی نمی کند می توانند از ساختار robots.txt سر پیچی کنند و تمامی مسیر ها را بررسی کنند .

  • یک کاربر کنجکاو می تواند با امتحان کردن دایرکتوریها مسیر فایل robots.txt و آدرس هایی را که شما نمی خواهید دیده شوند را حدس بزند .

رمزنگاری کردن محتوا و یا استفاده از مراقبت رمز عبور به وسیله .htaccess از راه های چاره هستند که در آموزشهای بعدی بهینه سازی سایت مطالب بیشتری در مورد آنها گفته خواهد شد.


از انجام دادن موارد زیر اجتناب کنید :

  • اجازه دهید نتیجه جستجو مثل صفحات جستجو شوند و در صفحه نتایج جستجو ظاهر شوند

    مخاطبان و جستجو گران دوست ندارند از یک صفحه جستجو به صفحه جستجوی دیگری بروند

  • ایجاد لینک های مطالب و کلماتی که توسط جستجوگران جستجو شده است به صورت خودکار


نویسنده / مترجم : امیر سروری

امیر سروری هستم علاقه مند به بازاریابی و تبلیغات آنلاین , طراحی وب سایت و البته آموزش


۲۲ دیدگاه برای این نوشته ثبت شده است


  1. mal2moh
    ۷ مرداد ۱۳۹۰

    سلام
    مطالبت سایت بسیار مفید هستند
    اگر ممکن است در بهیه سازی سیستم جوملا نیز مطالب مفیدی ارائه نمائید




  2. amir
    ۲۵ شهریور ۱۳۹۰

    tank you for this post.




  3. مریم
    ۲ آبان ۱۳۹۰

    با سلام
    یک سئوال فنی داشتم
    برای سایتم از webmaster tools استفاده کردم و لینک robot رو در سایت گذاشتم اما در تمام قسمت های webmaster بهم پیغام No data available میده
    با اینکه کلیه صفحات من title,keyword هم دارن
    ممنون میشم راهنماییم کنید




    • امیر سروری
      ۲ آبان ۱۳۹۰

      مریم @ سلام . باید کدی رو که گوگل به شما میده داخل وب سایت بزارید . برای اینکه گوگل بشناسه وب سایت شما رو چند روزی طول میکشه .




  4. مریم
    ۳ آبان ۱۳۹۰

    سلام مجدد
    بله کد رو که گذاشتم، پس احتمالاً باید چند روز صبر کنم…
    بسیار ممنون




  5. امبن
    ۲۸ دی ۱۳۹۰

    سلام و خسته نباشی .
    من یک وبلاگ رو تازه تاسیس کردم میخوام به گوگل معرفیش کنم اصلا نمیشه ، نمی دونم مشکل سایت گوگل چیه

    جدول URL و Commond اصلا وجود نداره و لطفا راهنمایی کنید




    • امیر سروری
      ۲۸ دی ۱۳۹۰

      امین @ نمیدونم چند وقت از آنلاین شدن وب سایتتون گذشته اما باید کمی صبور بود گاهی تا یک ماه معرفی وب سایت شما به گوگل به صورت عادی طول میکشه . پیشنهاد من اینه که از وبلاگ ها و وبسایتها مرتبط با محتوای وب سایت خودتون لینک بگیرید و این باعث میشه زودتر شناسایی بشید . دقیقا همین کاری که اینجا انجام دادین :-) موفق باشید .




  6. مهراز
    ۲ فروردین ۱۳۹۱

    ممنون از مطلب ارزنده شما




  7. Afshin
    ۲ تیر ۱۳۹۲

    Man baraaye websitam Robot.txt saakhtam vali nemidoonam ke chera shenakhteh nemishe.




  8. اموزش برنامه نویسی
    ۲۸ تیر ۱۳۹۲

    سلام

    من می خوام دسترسی گوگل رو به همه صفحات یک ساب دامنه ببندم باید چه کدی قرار بدم.

    ممنون. میشم برام ایمیل کنید.




  9. Afshin
    ۴ شهریور ۱۳۹۲

    سلام
    من این فایل رو ساختم و روی سرور گذاشتم ولی نمیدانم چرا شناسایی نمیشه؟
    لطفا راهنمایی فرمایید




  10. علیرضا
    ۲۸ آذر ۱۳۹۲

    سلام من از افزونه all in one seo و xml-sitemap استفاده میکنم و در هر کدوم محدودیت های صفحاتم رو مشخص کردم . آیا باز وجود ربوت txt لازمه؟؟




  11. سئو
    ۱۹ خرداد ۱۳۹۳

    متاسفانه سایت های فارسی زیادی رو دیدم این مسئله رو رعایت نمیکنن




  12. جواد
    ۱۸ دی ۱۳۹۳

    سلام
    خسته نباشید
    قبلا سایت من در موتور های جستجو بالا میومد
    ولی یک روز به اشتباه موتور های جستجو را در فایل روبوتکست ش بستم.
    دیگه بعد از اون سایتم بالا نیومد در موتور های جستجو
    الان حدود یکماه هست که فایل روبوتش را درست کردم و نقشه سایت هم براش ساختم ودر گوگل وب مستر تولز هم ثبت کردم
    و اون جا هم چک کردم فایل روبوت و مابقی فایل ها هم اروری نداشت.
    ولی هرکاری می کنم دوباره توی نتایج موتورهای جستجو بالا نمیاد.
    خواهشمند است کمک کنید
    هزینه اش را هم پرداخت می کنم.

    ممنون و سپاس گزار




  13. شال
    ۹ فروردین ۱۳۹۴

    عالی بود ، ممنون از سایت خوبتون




  14. شال
    ۹ فروردین ۱۳۹۴

    سپاس فراوان از زحمات شما




  15. ثبت برند
    ۱۶ فروردین ۱۳۹۴

    عالی بود ، ممنون از سایت خوبتون




  16. پاکشوما
    ۲۰ فروردین ۱۳۹۴

    عالی بود ، ممنون از سایت خوبتون




  17. چمن کاری
    ۲۰ فروردین ۱۳۹۴

    عالی بود ، سپاس فراوان از زحمات شما




  18. کیف لپ تاپ
    ۲۹ فروردین ۱۳۹۴

    ممنون از مطالب خوبتون




  19. سیم و کابل
    ۲۱ اردیبهشت ۱۳۹۴

    عالی بود . ممنون از سایت خوبتون
    موفق باشید




  20. مهرام
    ۳۱ مرداد ۱۳۹۴

    ممنون واقعا عالی بود.
    موفق باشید.



دیدگاه خود را بنویسید





نشانی ایمیل شما منتشر نخواهد شد.

کامنت های شما بعد از تأیید توسط نویسنده وبلاگ، منتشر خواهند شد.

لطفا دیدگاهتان تا حد امکان مربوط به پست بالا باشد. اگر حرف دیگری دارید و یا قصد تماس با من را دارید، از فرم تماس استفاده کنید.

شما میتوانید با مراجعه به سایت گراواتار یک آواتار اختصاصی برای خود تعریف کنید، تا در کنار نام شما نمایش داده شود

برای قرار دادن کدهای نمونه می توانید از تگ های [php] ، [html] ، [css] و [js] استفاده کنید.
به عنوان مثال کدهای php را می توان به صورت زیر قرار داد:
[php] var $whoLoveIranians = "WebTarget!"; [/php]



کلیه حقوق مادی و معنوی برای وب سایت وب تارگت محفوظ است ©2017 وب‌تارگت

استفاده از مطالب وب سایت در سایر وب سایت‌ها و نشریات چاپی با ذکر منبع آزاد است.