Robotok kiszűrése egy weboldalon

Sokan keresnek az interneten manapság arra, hogyan lehet robotokat kiszűrni egy weboldalon, gondoltam emlékeztetőnek jól fog jönni nekik egy rövidke leírás.

Röviden ha ki akarunk zárni minden robotot, és meg szeretnénk kérni őket arra, hogy ugyan egyáltalán ne indexeljék már az oldalainkat, a következő kellene legyen a weboldalunk gyökerében lévő robots.txt file tartalma:

User-agent: *
Disallow: /

Ezzel sikeresen kizárunk minden robotot a weboldal tartalmából, azaz nem fogják figyelembe venni a nálunk található tartalmat.

Ez alkalmazható átmeneti megoldásként is, de fontos, hogy amikor elkészültünk a weboldallal, és közzé szeretnénk tenni annak tartalmát, akkor távolítsuk el a robots.txt file-t, vagy töröljük ki a fenti sorokat. Így a keresőrobotok legközelebb, mikor visszatérnek, már figyelembe fogják venni az oldalainkon található tartalmakat.