Издөө тутумдары аркылуу сайттарды индекстөөнү башкаруунун инструменттеринин бири robots.txt файлы. Ал, негизинен, айрым роботтордун айрым барак топторунун мазмунун жүктөп алуусунун алдын алуу үчүн колдонулат. Бул издөө тутумунун натыйжасында "таштандылардан" арылууга жана кээ бир учурларда ресурстардын рейтингин бир кыйла жакшыртууга мүмкүндүк берет. Ийгиликтүү колдонуу үчүн robots.txt файлынын туура болушу маанилүү.
Зарыл
текст редактору
Нускамалар
1 кадам
Роботтордун тизмесин түзүңүз, алар үчүн атайын четтетүү эрежелери орнотулат же кеңейтилген robots.txt стандартынын директивалары, ошондой эле стандарттуу эмес жана конкреттүү директивалар (белгилүү издөө тутумунун кеңейтүүлөрү) колдонулат. Бул тизмеге сайттын серверине тандалган роботтор тарабынан жиберилген HTTP сурамынын баш аттарынын Колдонуучу-Агент талааларынын маанилерин киргизиңиз. Роботтордун аталыштарын издөө тутумунун сайттарынын маалымдама бөлүктөрүнөн да тапса болот.
2-кадам
Биринчи кадамда түзүлгөн тизмедеги роботтордун ар бирине кирүүгө тыюу салынышы керек болгон сайт ресурстарынын URL топторун тандаңыз. Бардык роботтор үчүн бирдей операция жасаңыз (индекстөөчү боттордун аныкталбаган жыйындысы). Башкача айтканда, натыйжада индекстөөгө тыюу салынган сайттын бөлүмдөрүнө, баракчалардын топторуна же медиа-контенттин булактарына шилтемелер камтылган бир нече тизме болушу керек. Ар бир тизме ар башка роботко дал келиши керек. Бардык башка боттор үчүн тыюу салынган URL даректердин тизмеси дагы болушу керек. Сайттын логикалык түзүмүн сервердеги маалыматтардын физикалык жайгашуусу менен салыштырып, ошондой эле баракчалардын URL даректерин топтоо жолу менен тизмелерди түзүңүз. алардын функционалдык мүнөздөмөлөрү. Мисалы, баш тартуу тизмелерине каалаган кызмат каталогдорунун мазмунун (жайгашкан жери боюнча топтоштурулган) же колдонуучунун бардык баракчаларын (максатына жараша топтоштурулган) киргизе аласыз.
3-кадам
Экинчи кадамда түзүлгөн тизмелердеги ресурстардын ар бири үчүн URL белгилерин тандаңыз. Стандарттуу robots.txt директиваларын жана аныкталбаган роботторду гана колдонгон роботтор үчүн чыгарылуучу тизмелерди иштеп чыгууда, максималдуу узундуктагы уникалдуу URL бөлүктөрүн белгилеңиз. Даректердин калган топтомдору үчүн атайын издөө тутумдарынын өзгөчөлүктөрүнө ылайык шаблондорду түзсө болот.
4-кадам
Robots.txt файлын түзүңүз. Ага директивалардын топторун кошуңуз, алардын ар бири белгилүү бир роботтун тыюу салынган эрежелеринин жыйындысына туура келет, алардын тизмеси биринчи этапта түзүлгөн. Акыркысынан кийин, бардык башка роботтор үчүн директивалар тобу иштеши керек. Эреже топторун бир бош сызык менен бөлүңүз. Ар бир эрежелер топтому роботту идентификациялаган Колдонуучу-агент директивасынан, андан кийин URL топторун индекстөөгө тыюу салган Уруксат бербөө көрсөтмөсүнөн башталышы керек. Үчүнчү кадамда алынган саптарды Дизективага тыюу салуу директиваларынын мааниси менен түзүңүз. Директиваларды жана алардын маанилерин кош чекит менен бөлүңүз. Төмөнкү мисалды карап көрүңүз: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Бул директивалар топтому негизги роботко көрсөтмө берет Yandex издөө тутуму / темп / маалыматтар / сүрөттөр / камтылган URL дарегин индекстөөгө болбойт. Ошондой эле, бардык башка роботтордун / temp / data / камтылган URL даректерин индекстешине жол бербейт.
5-кадам
Robots.txt файлын кеңейтилген стандарттык директивалар же белгилүү издөө тутумунун директивалары менен толуктаңыз. Мындай директивалардын мисалдары болуп төмөнкүлөр саналат: Хост, Сайттын картасы, Суроо-чен, Баруу убактысы, Crawl-кечигүү.
