فایل Robots.txt چیست؟

فایل Robots.txt

موتورهای جستجو به میلیون ها صفحه وب نگاه می کنند تا نتایج جستجو را بیابند. آنها این کار را با آنچه ما “عنکبوت موتور جستجو” نامیده می شود انجام می دهیم.

این باعث می شود حس – عنکبوت خزنده در اطراف وب باشد. اما یک کلمه دیگر برای آنها “روبات” است، زیرا آنها به سادگی برنامه های بدون سرنشین جمع آوری داده ها به صورت خودکار هستند.

در ابتدا، این ربات ها هر صفحه، هر پرونده ای که به وب متصل است، پنهان می شود. این باعث مشکلات برای هر دو موتورهای جستجو و افرادی که از آنها استفاده می کنند.

صفحاتی که واقعا ارزش دیدن آن را نداشتند، مانند، می گویند، فایل های هدر در همه صفحات در یک سایت، در حال جستجو و نمایش در نتایج جستجو بودند. آیا تا به حال در Google جستجو کرده اید و در نتیجه یک صفحه جزئی دریافت کرده اید؟

راه حل این بود که گوگل و سایر موتورهای جستجو برای شروع یک فایل robots.txt در پوشه ریشه هر سایت برای تعیین آنچه باید و نباید جستجو شود .

این نام “استاندارد خروج رباتها” است. این فایل متنی ساده که توسط Notepad و یا دیگر ویرایشگر متن ساده ایجاد شده است، به شما امکان کنترل کامل را با گفتن روباتها در مورد برخی از پوشه های خاص خود در سایت خود را نمی دهد.

نتیجه خوشحال کننده ترین بازدیدکنندگان است که از موتورهای جستجو به سایت شما می آیند و تنها صفحات کامل را که میخواهید آنها را ببینید، صفحات جزئی، تست و یا اسکریپت هایی که نمی خواهید آنها را مشاهده کنید، دریافت کنید.

بیایید به چند نمونه برای شروع برویم:

این به همه عنکبوت اجازه می دهد همه صفحات را در سایت خود پنهان کند. * یک علامت تجاری است که به معنی “همه عنکبوت” است.

*: User-agent

: Disallow

این مخالف مثال فوق است. این یکی به همه عنکبوت ها اجازه می دهد که تمام سایت شما را عنکبوت نکنند. شما ممکن است این را بخواهید اگر شما یک سایت آزمایشی دارید، مثلا، هنوز زنده نیستید.

*: User-agent

/: Disallow

این مثال به همه روبات ها اجازه می دهد که از پوشه های cgi-bin و تصاویر خارج شوند.

User-agent: *

Disallow: /cgi-bin/

 

Disallow: /images/

این مثال تنها روبات WebFerret را می گوید که صفحه ferret.htm را عنکبوتی نمی کند. این فقط یک مثال است من چیزی در برابر WebFerret ندارم کد عامل کاربر برای Google googlebot است.

User-agent: WebFerret

Disallow: ferret.htm

مهم این است که فایل یک فایل متنی ساده است – از مایکروسافت ورد برای ایجاد آن استفاده نکنید. و مراقب باشید که چطور تایپ کنید – باید دقیقا مانند نمونه های بالا نگاه کنید، فقط کافی است برای اولین حرف، فقط فاصله سمت راست، و غیره. فایل robots.txt خراب شده می تواند به سایت شما آسیب برساند و از آن کمک بخواهد.

 

امکان ارسال دیدگاه وجود ندارد!