如何告知爬虫不要爬指定的某个子域名下的网页？

如何告知爬虫不要爬指定的某个子域名下的网页？robots.txt里面该如何写？

---

禁止二级域名被搜索引擎蜘蛛抓取的思路