Это рекомендуется делать только в том случае, когда частые посещения гуглобота чрезмерно нагружают сайт.