如果搜索引擎不能有效的瀏覽到你的內容，那么即使你投入再多的的精力在網站上而無濟于事。而避免此事發生的良方就是完整而有針對性的規劃整個網站結構。
在網站構建之前，我們有必要清楚的了解搜索引擎運轉的模式。它并不是我們想象的有專門的小組到各個網站搜集資料進行評比。而是依靠所謂的蜘蛛爬蟲，一款自動的小機器人，在網站的連接和內容見漫游搜集資料，根據一定的算法規定生成目錄排比，由此而憑秤而論。在此，暗箱操作我們姑且不討論。
確保蜘蛛爬蟲能夠掃描到你網站所有的內容對于網站排名和SEO至關重要，太多的網站構建模式和結構布局混亂導致網站的大部分內容不能被蜘蛛爬蟲掃描到，而無緣無故的丟失很多分數，不能轉變成自身網站的真正價值。
以下我們列舉了5個共同的問題和建議，期望你在網站構建中可以避免。
1.過多的內容顯示在圖片和腳本上
蜘蛛爬蟲不是如我們一樣可以眼觀六路，耳聽八方。他們就是一些虛擬的工具，只能簡單的辯解以文本和腳本為基礎的內容，而一些優秀圖片、動畫是無法被評估的。這也是一些網站網絡提高VI設計而絞盡腦汁設計一大堆高質量的圖片，到頭來卻無濟于事，白忙活一場。
而最簡單的解決方案就是轉換內容形式為一種可識別的載體。同時借助一些搜索引擎模擬器觀察爬蟲到你網站時的反映，如果有過多的內容丟失，或一些信息被屏蔽，那傳遞的信息就是我們需要重新設置向導來引導。
2. 復雜導航 VS 簡單導航
許多網站設計師一開始頭痛的就是向導的設置太復雜，因為爬蟲是在內容和連接間瀏覽的緣故。如果搜索引擎過于復雜，那爬蟲就會經過層層的點擊、連接篩選而到你所指向的內容。說句諷刺的話，或許你是在和爬蟲的耐性打賭，在和用戶較勁，很明白是雞蛋碰石頭的對抗，后果不言而喻。
最直接的解決方案就是設計一個簡單的導航結構，確保用戶在兩只三步就可獲得自己期望的。 可以在主導航條下面設置子挑選條件，或者是增加一些內部連接。
3. 不連貫的連接操作
在建立連接的同時，我們必須小心的思考如何命名他們，搜索引擎是不可能和我們一樣有判斷的標準，爬蟲更多的是以URLs為評判標準，有時兩段不同的連接代碼卻同時指向一片內容，這是爬蟲可能開始迷糊了，雖然我們明白其中的邏輯。但考慮到寄人籬下的緣故，我們還必須讓爬蟲也明白。
為了避免指示信息的錯誤，我們必須有連貫的連接。如果你的網站有這樣類似的疏忽，就使用301跳轉重新定義新的內容，讓爬蟲明白你的連接代碼。
4. 錯誤的重定向
當它涉及到301重定向，就是簡單的在你網站間網頁的轉換。你是否需要重命名他們，或者將這個網站內容引導到一個新的地點保證你能準確的指向那個方向。如果導引錯誤將會減少你千辛萬苦設計的導入鏈接的效果，還可能導致搜索引擎排名的降低。我們應該認真的思考這個問題，在此我也不再累贅。
5. 錯誤的站內地圖
如果想提高站內結構的準入門檻，建立一個簡單的站內地圖無疑會事倍功半，這個功能會讓爬蟲更有傾向性的瀏覽你的網站網頁，但是要確保指示準確。
如果你的網站運行在別人的平臺上，就有必要下載一個插件自動的生成站內地圖，如果不行，就建立一個HTML代碼連接到其他的網頁，提交并供搜索引擎考察。
