外媒 VentureBeat 报道称，谷歌希望将发展数十年的 robots.txt 解析器开源，以推动 REP 成为搜索引擎爬虫的行业标准。 机器人排除协议（REP）是荷兰软件工程师 Martijn...