Back to Question Center
0

Semalt: چگونگی Block Darodar Robots.txt

1 answers:

فایل Robots.txt یک فایل متنی متنی است که حاوی دستورالعمل هایی در مورد نحوه خزنده ها یا ربات های وب باید یک سایت را خزنده کند. کاربرد آنها در موتور جستجو رباتها مشهود است که در وب سایت های بهینه سازی شده متعدد رایج هستند. به عنوان بخشی از پروتکل ردگیری ربات (REP)، فایل robots.txt یک جنبه اساسی از نمایه سازی محتوای وب سایت و همچنین ایجاد یک سرور برای تأیید درخواست های کاربر بر اساس آن می باشد.

جولیا واشنووا، Semalt مدیر ارشد موفقیت در موفقیت مشتری، توضیح می دهد که پیوند یک جنبه از بهینه سازی موتور جستجو (SEO) است که شامل گرفتن ترافیک از دامنه های دیگر در داخل تو رفتگی در دیوار است. برای پیوند "follow" برای انتقال لینک آب، ضروری است که فایل robots.txt را در فضای میزبانی وب خود قرار دهید تا به عنوان مربی نحوه ارتباط سرور با سایت شما عمل کند. از این بایگانی، دستورالعمل ها با اجازه دادن یا غیرفعال کردن نحوه رفتار برخی عوامل کاربر خاص

وجود دارد.

فرمت اصلی یک فایل robots.txt

فایل robots.txt حاوی دو خط اصلی است:

کاربر-عامل: [نام کاربر-عامل]

نادیده گرفتن: [URL string not crawled]

فایل کامل robots.txt باید شامل این دو خط باشد. با این حال، بعضی از آنها می توانند خطوط مختلفی از عوامل کاربر و دستورالعمل ها را شامل شوند. این دستورات ممکن است حاوی جنبه هایی مانند اجازه، غیرقانونی یا تاخیر خالی باشد. معمولا یک شکست خط وجود دارد که هر مجموعه دستورالعمل را جدا می کند. هر یک از دستورالعملها اجازه یا غیرقانونی است با این شکست خط، به ویژه برای robots.txt با چندین خط جدا می شود.

نمونه ها

به عنوان مثال، فایل robots.txt ممکن است حاوی کد هایی مانند:

کاربر-عامل: darodar

غیر فعال کردن: / پلاگین

غیر فعال کردن: / API

نادیده گرفتن: / _comments

در این مورد، این یک فایل robots.txt بلوک است که وب سایت Darodar را از دسترسی به وب سایت شما محدود می کند. در نحو فوق، کد بلوک جنبه های وب سایت مانند پلاگین، API، و بخش نظرات است. از این دانش، امکان دستیابی به مزایای متعدد از اجرای فایل متنی ربات موثر است. روبات ها.فایل های TXT می توانند قادر به انجام کارهای متعدد باشند. به عنوان مثال، آنها می توانند آماده باشند:

1. همه محتوای خزنده وب را به یک صفحه وب اجازه دهید. به عنوان مثال؛

کاربر عامل: *

غیر فعال کردن:

در این مورد، تمام محتوای کاربر می تواند توسط هر خزنده وب مورد درخواست قرار گیرد که به یک وب سایت دسترسی داشته باشد.

2. یک محتوای وب خاص از یک پوشه خاص را مسدود کنید. به عنوان مثال؛

عامل کاربر: Googlebot

غیر فعال کردن: / مثال زیر پوشه /

این نحو که حاوی نام کاربری کاربر است Googlebot متعلق به Google است. این ربات را از دسترسی به هر صفحه وب در رشته www.ourexample.com/example-subfolder/. محدود می کند.

3. یک خزنده وب خاص را از یک صفحه وب خاص قفل کنید. به عنوان مثال؛

کاربر عامل: Bingbot

نادیده گرفتن: /example-subfolder/blocked-page.html

ربات کاربر-عامل Bing متعلق به خزنده وب Bing است. این نوع از فایل robots.txt از دسترسی به یک صفحه خاص با رشته www.ourexample.com/example-subfolder/blocked-page.

، خزنده وب Bing را محدود می کند.

اطلاعات مهم

  • هر کاربر از فایل robts.txt شما استفاده نمی کند. بعضی از کاربران ممکن است تصمیم بگیرند آن را نادیده بگیرند. بیشتر این خزنده های وب شامل تروجان ها و نرم افزارهای مخرب هستند.
  • برای دیدن یک فایل Robots.txt باید در فهرست وب سایت سطح بالا موجود باشد.
  • شخصیت "robots.txt" حساس به حروف است. به عنوان نتیجه، شما نباید آنها را به هیچ وجه شامل سرمایه گذاری برخی از جنبه ها تغییر دهید
  • "/robots.txt" دامنه عمومی است. هر کسی می تواند این اطلاعات را پیدا کند، با اضافه کردن آن به محتویات هر URL. شما نباید فهرست های ضروری یا صفحاتی را که می خواهید آنها را خصوصی نگه دارید، فهرست نکنید.
November 29, 2017
Semalt: چگونگی Block Darodar Robots.txt
Reply