Допуска се, че в определeни CMS системи, Robots.txt файла възниква автоматично, като се има предвид, че се образува по подразбиране. В тези моменти, евентуално настройките му може да ограничават конкретна част от уеб сайта Ви или цялото му съдържание, без да се знаете за това.
При инсталирането на Joomla в Robots.txt, освен директориите, които са предназначени за администратори, заедно с тях се ограничава и индексирането на тази с видео файловете и снимков материал. При което се подразбира, че докато не махнете забраната за Google роботите да индексират дадените административни страници, директорията с медийните фаилове и изображенията, няма да може да се визуализира в резултатите от търсенията в Google търсачката.
По тази причина ние от Sky Prime държим да правим постоянна проверка на файла Robots.txt, в случай, че извършим значителни промени в CMS системата или по платформата.
Коментари
Публикуване на коментар