Robots.txt
A robots.txt egy egyszerű szöveges fájl, amit a weboldalad gyökérkönyvtárában helyezel el (example.com/robots.txt), és ami megmondja a kereső-robotoknak (Googlebot, Bingbot, stb.), hogy melyik URL-eket szabad bejárniuk és melyiket…
Olvasd el