github page 怎么设置不让谷歌爬虫抓取特定文件夹里的内容？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2987 天前的主题，其中的信息可能已经有所发展或是发生改变。

向大家请教一下，自己搭建的 github page ，该怎么设置不让谷歌爬虫抓取特定文件夹里的内容？

7 条回复 • 2016-10-24 23:08:44 +08:00

bazingaterry

2016-10-24 21:03:20 +08:00 via iPhone

robots.txt

yping

2016-10-24 21:05:14 +08:00

@bazingaterry 直接在 repo 里加 robots.txt ？

yping

2016-10-24 21:06:57 +08:00

@bazingaterry 我的地址是 username.github.io 这种格式的，也能起作用吗？

rhen

2016-10-24 22:33:01 +08:00 via Android

@yping 只要域名 /robots.txt 可以访问到就可以，不行可以用谷歌站长工具检查

Trim21

2016-10-24 22:47:14 +08:00 via Android

我记得看到过， GitHub pages 默认就不被 Google 收录。。。。

DoraJDJ

2016-10-24 22:48:00 +08:00 via Android

@Trim21 不是百度不收录 GitHub Pages 吗？

Trim21

2016-10-24 23:08:44 +08:00 via Android

@DoraJDJ 啊看来是我记错了😂