Magento - Robots.txt


De onderstaande code kan geplaatst worden in het Robots.txt bestand. Met de onderstaande code kan worden voorkomen dat bepaalde mappen en bepaalde URL's die bijvoorbeeld worden gemaakt door verschillende filters opgepakt worden door Google.

User-agent: *
Disallow:
Disallow: /*?
Disallow: /*PHPSESSID
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /RELEASE_NOTES.txt
Disallow: /get.php
Disallow: /admin/
Disallow: /app/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /lib/
Disallow: /media/customer/
Disallow: /media/downloadable/
Disallow: /media/tmp/
Disallow: /media/xmlconnect/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /customer/
Disallow: /poll/
Disallow: /sendfriend/
Disallow: /wishlist/
Disallow: /var/
Allow: /*?p=*