現(xiàn)在大部分網(wǎng)站采用CMS，不需要被索引的內(nèi)容肯定存在，因此 robots.txt 極為重要。另外 robots.txt 無法完全控制的內(nèi)容也最好通過 meta robots 阻止搜索引擎的索引。千萬不要認為收錄越多越好，搜索引擎從一個網(wǎng)站收錄到越多不相關的內(nèi)容，相關內(nèi)容被分散權重的可能性也越大。

　　2. 301 轉向和域名統(tǒng)一

　　有需要跳轉的內(nèi)容一定要采用301轉向，302在Google那里比較敏感，容易被判定為作弊，大部分頁面劫持就是通過302進行的。對于域名統(tǒng)一的問題，除了 www.xxx.com 轉向至 xxx.com，也應該保證 www.xxx.com/a.html 能夠順利轉向至 xxx.com/a.html。這個問題主要是針對百度，Google通過網(wǎng)站管理員工具就可以變相解決。

　　3. 相對路徑和管理入口

　　前面說了，大部分網(wǎng)站采用cms。cms的模板上的一些鏈接最好采取絕對路徑，否則隨著路徑變化404也會多出許多;很多CMS都預留了管理員登錄入口，這個入口留在頁面上就會被搜索引擎抓取到，即便阻止了索引像雅虎百度一類的搜索引擎偶爾還是會將其納入收錄范圍，因此最好保證后臺相關鏈接的孤立性，即從頁面刪除登錄后臺的入口。同時預留管理員鏈接也是一處安全隱患，容易被別有用心的人利用。