Көпчүлүк тажрыйбалуу блоггерлер robots.txt деген эмне экендигин жана бул файл эмне үчүн керек экендигин жакшы билишет. Бирок бир нече авторлор WordPressке блог орноткондон кийин robots.txt файлын түзүүгө шашылышат.
Robots.txt - бул сиздин сайтыңыздын түпкү каталогуна жүктөлгөн жана сойлоп жүрүүчүлөр үчүн көрсөтмөлөрдү камтыган тексттик файл. Аны колдонуунун негизги максаты - сайттын айрым барактарын жана бөлүмдөрүн индекстөөгө тыюу салуу. Бирок, robots.txt колдонуп, туура домен күзгүсүн көрсөтсөңүз болот, сайттын картасына жолду белгилей аласыз жана ушул сыяктуулар.
Көпчүлүк заманбап издөө тутумдары популярдуу CMSти жакшы башкарууну үйрөнүшкөн жана адатта, буга арналбаган мазмунду индекстөөгө аракет кылышпайт. Мисалы, robots.txt сайтында түздөн-түз көрсөтпөсөңүз дагы, Google сиздин WordPress блогуңуздун администратор аймагын индекстебейт. Бирок, айрым учурларда, түздөн-түз тыюу салууларды колдонуу дагы деле пайдалуу болушу мүмкүн. Жана сөз биринчи кезекте кайталанма мазмунга тыюу салуу жөнүндө болуп жатат.
Айрым веб-мастерлер категориялардын жана тегдердин баракчаларын индекстөөгө тыюу салууга чейин барышат, анткени алардын мазмуну негизги барактын мазмунун жарым-жартылай кайталайт. Бирок көпчүлүгү макалалардын мазмунун толугу менен кайталаган жана издөө тутумдарына таптакыр арналбаган трекбек жана канал баракчаларына тыюу салуу менен чектелишет. Мындай чара сайттын натыйжаларын "таза" кылбастан, мүмкүн издөө чыпкаларынан сактап калат, айрыкча жаңы Google Panda алгоритми киргизилгенден кийин.
Бул жерде robots.txt файлына сунуш кылынган директивалар бар (ал дээрлик бардык WordPress блогдорунда иштейт):
Колдонуучу-Агент: * Уруксат: /wp-login.php Уруксат берүү: /wp-register.php Уруксат берүү: /xmlrpc.php Уруксат берүү: / wp-admin Уруксат берүү: / wp-камтыйт Уруксат берүү: / wp-мазмун / плагиндер Уруксат берүү: / wp-content / cache Уруксат берүү: / wp-content / themes Уруксат бербөө: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Эскерте кетсек, robots.txt файлында административдик папкалар wp-admin жана wp-include индекстөө үчүн толугу менен жабык. Wp-content папкасы жарым-жартылай гана жабык, анткени анда индекстелиши керек болгон блогуңуздагы бардык сүрөттөрдү камтыган жүктөөлөр каталогу бар.
Жогорудагы коддон директиваларды көчүрүп алуу керек (ар бир директива жаңы сапта жазылышы керек), аларды robots.txt деп аталган тексттик файлга сактап, өзүңүздүн сайтыңыздын түпкү каталогуна жүктөп коюңуз.
Google Webmaster Tools жана Yandex Webmaster интерфейстери аркылуу robots.txt туура иштеп жаткандыгын ар дайым текшере аласыз.
