Ճիշտ robots.txt

Ֆայլը robots.txt — դա հիմնական ֆայլը, որը նկարագրում կանոնները մշակման էջերը որոնողական ռոբոտներ. Տվյալ ֆայլի համար անհրաժեշտ ցուցումներ հիմնական անվան կայքի քարտեզ (sitemap.xml է), բաց եւ փակ բաժինների կայքում.
Ֆայլը robots.txt ներառում է հետեւյալ հրահանգը:

• User-agent — հրահանգը указывающая համար, թե ինչ է ռոբոտը հետևյալ կանոնները
• * - բոլոր ռոբոտները
• Yandex — ի հիմնական ռոբոտը Yandex
• Googlebot — հիմնական ռոբոտը Google-ը
• StackRambler — որոնողական ռոբոտը Рамблер
• Aport — որոնողական ռոբոտը Апорт
• Slurp — ռոբոտը Yahoo
• MSNBot — ռոբոտը MSN
• Disallow — հրահանգը արգելքի մասի կայքը
• Allow — հրահանգը թույլտվության մասի կայքը
• Host — հրահանգը ցուցումներ հիմնական անվան կայքը
• Կայքի քարտեզ— հրահանգը ցուցումներ քարտեզ (sitemap.xml)
• Սողալ-հապաղելու — հրահանգը указывающая քանի վայրկյան ռոբոտը կարող է սպասել պատասխանին կայքի (անհրաժեշտ է խիստ ռեսուրսներում ներբեռնված է, որ ռոբոտը չի համարել կայքը անհասանելի)
• Clean-param — հրահանգը նկարագրելով դինամիկ պարամետրերը չի ազդում է բովանդակության համար կայքը

Помимо директив в robots.txt используются спец символы:

• * - любай (այդ թվում ' եւ դատարկ) հաջորդականությունը նիշ
• $ — է սահմանափակման կանոնները

Կազմելու համար robots.txt օգտագործվում են վերը նշված հրահանգների եւ спет նշաններ է հետևյալ սկզբունքով:

• Նշվում է անունը ռոբոտը որի համար գրվում կանոնների ցանկը
  (User-agent: * - կանոն, բոլոր ռոբոտներին)
• Գրվում է ցանկը արգելված բաժինների կայքի նշված ռոբոտը
  ( Disallow: / արգելքը ինդեքսավորման ընդամենը կայքում)
• Գրվում է ցանկը թույլատրելի բաժինների կայքը
  (Allow: /home/ — թույլատրվում է բաժին home)
• Նշվում է անունը, կայքի
  (Host: crazysquirrel.ru հիմնական կայքի անունը crazysquirrel.ru)
• Նշվում է բացարձակ ճանապարհը մինչեւ ֆայլի sitemap.xml
  (Կայքի քարտեզ: https:// crazysquirrel.ru/sitemap.xml)

Եթե կայքում չկա արգելված բաժիններից, ապա robots.txt պետք է կազմված լինի առնվազն 4 հորիզոնականով:

Ստուգել robots.txt եւ այն, թե ինչպես է նա ազդում է հայտարարվել կայքի կարելի գործիքների օգնությամբ Yandex