КАКВО ПРЕДСТАВЛЯВА ROBOTS.TXT И КАКВА Е НЕГОВАТА РОЛЯ ?

При прилагането на Robots.txt не се позволява на Google да индексира дадена част от един уеб сайт или цялото му съдържание. Тези страници от платформата, които са ограничени за роботите на Google,  не се визуализират в резултатите му от търсенията на потребителите, но информацията в тях си остава достъпна за другите търсачки.
Ние от  Sky Prime  препоръчваме в случай, че желаете да спрете достъпа на други търсещи машини до дадени страници в уеб сайта Ви, да използвате различни методи, създавайки например парола за достъп до тях.
Във файла Robots.txt, може да отбележите на търсачките конкретното място на Вашия sitemap.xml, както и на други карти, които имате в платформата,като е желателно URL адресите им да бъдат изписани един под  друг. Не трябва да забравяте, че файла Robots.txt трябва да се намира в главната директория на уеб сайта Ви и да бъде достижим на адрес, както следва www.ДОМЕЙНА.bg/Robots.txt.
При съмнения за допуснати грешки във файла, проверката можете да я извършите с предназначения за това инструмент, намиращ се в Google Search Console.

Коментари