对于单页面网站，我们先来看看 当Google和其他搜索引擎索引网站的时候，他们并不执行JavaScript，这似乎是在向单页网站靠拢，其中许多单页网站都依靠JavaScript——与传统网站相比存在明显的劣势。当Google索引一个传统网站的时候，它的网络爬虫（称之为Googlebot）首先会扫描并检索顶层URL内容。一旦这一步骤完成，网络爬虫就会跟踪网页上的所有链接，同时还会给那些网页编写索引。接着就是重复性步骤——继续跟踪后续网页，最终会给此网页上和相关领域内的所有内容编写索引。
我们认真分析一下Google，不过其它大型搜索引擎如Yahoo！和Bing都支持相同的机制。 当Google试图检索一个单页网站的时候，它所看到的只是一个单一的HTML空容器（通常情况下是一个空的div或body tag），所以根本没有东西可以检索，也没有链接可以抓取，更没办法索引相应的网站。当然了，这还没有结束，值得庆幸的是，Google和其它搜索引擎已经意识到单页网站的重要性，同时为开发者提供工具——为网络爬虫提供搜索信息，这可能是比传统网站优越的地方。那么一个优化过后、防网络爬虫的网站主页看上去像什么样子呢？有可能网站Logo或者其它的主要图片会出现在搜索结果里，一些SEO优化的文本可以解释你所搜索的网站是做什么的，Google最好是把网页上的HTML链接编入检索比较好。
不过网页上没有任何CSS样式或复杂的HTML结构，也没有任何JavaScript，或者是我们不希望谷歌索引连接到网站区域。网络爬虫通过网站的路径是可以被控制的，开发者可以指导访客从Google搜索结果到一个指定的主页面。这可能需要在开发过程里花费更多的工作，但是在搜索结果位置和客户保留方面可以得到巨大的回报。
在单页网站里JavaScript也将从那里开始接管并按照计划渲染网页。这为单页网站开发者提供了专门为谷歌和专门为用户进行调整网站的机会，而不必编写访客易读的、网络爬虫易于理解的文本，页面可以为访客和爬虫进行优化，除此之外不用担心其它内容。而检测网络爬虫这可能需要一些命令行，但使用Chrome Developer Tools就能将这一检测变得相当容易，只要点击按钮、检查工具框。
0 Comments