熊貓一般是單胎生產(chǎn)，但是現(xiàn)在我們?cè)趧?dòng)物園內(nèi)經(jīng)常能看到雙胞胎或者三胞胎的熊貓，暫且不論原有，我們看到這樣的情況會(huì)感覺(jué)很新奇，但是如果這樣的情況出現(xiàn)在一個(gè)網(wǎng)站中，那么不論是搜索引擎還是用戶看到了，就不是感覺(jué)到新奇了，而是感覺(jué)到厭煩。正因?yàn)槿绱怂阉匾驷槍?duì)重復(fù)內(nèi)容也發(fā)布了針對(duì)性的算法規(guī)則。國(guó)內(nèi)的百度網(wǎng)去重算法和有我們SEO老大谷歌的Panda算法。針對(duì)重復(fù)率這邊，筆者個(gè)人感覺(jué)谷歌這樣的Panda算法更為細(xì)致明顯，所以本篇文章就以谷歌的Panda算法來(lái)進(jìn)行搜索引擎對(duì)重復(fù)文字的判別與處罰問(wèn)題進(jìn)行討論。

    什么是重復(fù)文字呢？字面上的意思就是當(dāng)任何兩個(gè)或更多的網(wǎng)站頁(yè)面共享相同內(nèi)容時(shí)，就存在了重復(fù)內(nèi)容，也就是我們常說(shuō)到的樣板文字。聽(tīng)著如此簡(jiǎn)單，那為什么這么簡(jiǎn)單的概念會(huì)造成如此大的困難呢？一個(gè)問(wèn)題是，人們常常誤以為“頁(yè)面”是位于其Web服務(wù)器上的文件或文檔。對(duì)于爬蟲(chóng)而言，頁(yè)面是它碰巧找到的任何唯一URL，通常通過(guò)內(nèi)部或外部鏈接找到。特別是在大型的動(dòng)態(tài)網(wǎng)站上，創(chuàng)建兩個(gè)位于相同內(nèi)容上的URL非常容易而且常常是網(wǎng)編無(wú)意而為的。

    那么為什么搜索引擎會(huì)對(duì)重復(fù)文字如此重視呢？其實(shí)重復(fù)內(nèi)容是SEO的問(wèn)題，早在Panda更新之前就已經(jīng)存在，并且隨著算法的改變，其形式已經(jīng)多種多樣。簡(jiǎn)單來(lái)舉例列舉一下：

    1、補(bǔ)充索引

    在Google成立之初，僅索引網(wǎng)絡(luò)是一項(xiàng)巨大的計(jì)算挑戰(zhàn)。為了應(yīng)對(duì)這一挑戰(zhàn)，一些被視為重復(fù)項(xiàng)或質(zhì)量很低的頁(yè)面被存儲(chǔ)在稱為“補(bǔ)充”索引的二級(jí)索引中。從SEO角度來(lái)看，這些頁(yè)面自動(dòng)成為二等頁(yè)面且失去了任何競(jìng)爭(zhēng)排名能力。那么在2006年末左右，Google將補(bǔ)充結(jié)果重新納入了主要索引，但是這些結(jié)果仍然經(jīng)常被過(guò)濾掉。我們知道，只要我們?cè)贕oogle搜索引擎結(jié)果頁(yè)面底部看到以下警告，就可以達(dá)到過(guò)濾結(jié)果：在Google中省略了結(jié)果，即使該索引是統(tǒng)一的，結(jié)果仍然被“忽略”，對(duì)SEO產(chǎn)生了明顯的影響。當(dāng)然，在許多情況下，這些頁(yè)面實(shí)際上是重復(fù)的或搜索價(jià)值很小，并且對(duì)SEO的實(shí)際影響可以忽略不計(jì)，但并非總是如此。

    2、抓取“預(yù)算”

    談到Google時(shí)，說(shuō)話總是很困難，因?yàn)槿藗兿Ｍ?tīng)到一個(gè)絕對(duì)的數(shù)字。Google沒(méi)有絕對(duì)的爬網(wǎng)預(yù)算，也沒(méi)有固定數(shù)量的Google將在網(wǎng)站上爬網(wǎng)的頁(yè)面。但是，在某些時(shí)候Google可能會(huì)放棄一段時(shí)間的爬網(wǎng)，特別是如果我們一直在沿著蜿蜒的路徑發(fā)送蜘蛛。盡管“預(yù)算”不是絕對(duì)的，但是即使對(duì)于給定的網(wǎng)站，我們也可以在Google網(wǎng)站站長(zhǎng)工具“抓取統(tǒng)計(jì)信息”中了解Google對(duì)我們的網(wǎng)站的抓取分配：GWT抓取圖，當(dāng)Google擊中了很多重復(fù)的路徑和頁(yè)面而導(dǎo)致一天放棄時(shí)，實(shí)際上，我們想要索引的頁(yè)面可能不會(huì)被抓取。

    3、指數(shù)“上限”

    同樣的Google不會(huì)為網(wǎng)站索引多少頁(yè)面設(shè)置上限。但是，似乎確實(shí)存在動(dòng)態(tài)限制，并且該限制與站點(diǎn)的權(quán)限有關(guān)。如果用無(wú)用的重復(fù)頁(yè)面填充索引，則可以推出更重要，更深的頁(yè)面。

    4、處罰辯論

    在熊貓問(wèn)世之前很久，每隔幾個(gè)月就要進(jìn)行一次辯論，討論是否存在重復(fù)的內(nèi)容懲罰。這些辯論雖然提出了正確的論點(diǎn)，但它們通常側(cè)重于語(yǔ)義，重復(fù)的內(nèi)容是否引起了Capital-P處罰。盡管我們認(rèn)為處罰和過(guò)濾器之間的概念差異很重要，但網(wǎng)站所有者的看法通常是相同的。如果網(wǎng)頁(yè)由于內(nèi)容重復(fù)而沒(méi)有排名，那么無(wú)論我們叫什么名字，都將遇到問(wèn)題。自從Panda以來(lái)，重復(fù)內(nèi)容的影響在某些情況下變得更加嚴(yán)重。過(guò)去，重復(fù)的內(nèi)容只會(huì)損害該內(nèi)容本身。如果有重復(fù)項(xiàng)，則可能會(huì)補(bǔ)充或過(guò)濾掉。通常，沒(méi)關(guān)系。在極端情況下，大量重復(fù)項(xiàng)可能會(huì)使索引膨脹，或?qū)е屡谰W(wǎng)問(wèn)題并開(kāi)始影響其他頁(yè)面。熊貓將重復(fù)內(nèi)容視為更廣泛的質(zhì)量方程式的一部分。現(xiàn)在，重復(fù)內(nèi)容問(wèn)題可能會(huì)影響我們的整個(gè)網(wǎng)站。如果我們受到Panda的打擊，則非重復(fù)頁(yè)面可能會(huì)失去排名能力，完全停止排名甚至落入索引。重復(fù)的內(nèi)容不再是一個(gè)獨(dú)立存在的問(wèn)題。

    我們?cè)谏钊胙芯恐貜?fù)內(nèi)容以及用于處理重復(fù)內(nèi)容的工具之前，筆者想介紹3個(gè)廣泛的重復(fù)類別。

    1、完全重復(fù)，真正的副本是指與另一頁(yè)面100％相同內(nèi)容上的任何頁(yè)面，這些頁(yè)面的唯一區(qū)別在于URL。

    2、幾乎重復(fù)，幾乎重復(fù)的內(nèi)容與另一個(gè)頁(yè)面或多個(gè)頁(yè)面之間的差異非常小，可能是文本塊，圖片甚至內(nèi)容的順序。

    3、跨網(wǎng)域重復(fù)，當(dāng)兩個(gè)網(wǎng)站共享相同的內(nèi)容時(shí)，就會(huì)發(fā)生跨域重復(fù)。

    這些重復(fù)可以是完全或接近重復(fù)，與某些人的看法相反，即使對(duì)于合法的聯(lián)合內(nèi)容，跨域重復(fù)也可能是一個(gè)問(wèn)題。這看起來(lái)似乎是亂序的，但是在深入研究特定例子之前，我們想討論用于處理重復(fù)項(xiàng)的工具。這樣，我們可以推薦適當(dāng)?shù)墓ぞ邅?lái)修復(fù)每個(gè)示例，而不會(huì)引起任何混淆。

    1、404。處理重復(fù)內(nèi)容的最簡(jiǎn)單方法是將其刪除并返回404錯(cuò)誤。如果內(nèi)容確實(shí)對(duì)訪問(wèn)者或搜索沒(méi)有任何價(jià)值，并且沒(méi)有明顯的入站鏈接或訪問(wèn)量，則完全刪除是一種完全有效的選擇。

    2、301重定向。刪除頁(yè)面的另一種方法是通過(guò)301重定向。與404不同，301告訴訪問(wèn)者頁(yè)面已永久移動(dòng)到另一個(gè)位置，用戶訪客無(wú)縫地到達(dá)新頁(yè)面。從SEO角度來(lái)看，大多數(shù)入站鏈接權(quán)限也將傳遞到新頁(yè)面。如果重復(fù)的內(nèi)容具有清晰的規(guī)范URL，并且重復(fù)的內(nèi)容具有流量或入站鏈接，則301重定向可能是一個(gè)不錯(cuò)的選擇。

    3、Robots.txt。另一種選擇是使重復(fù)內(nèi)容可供用戶使用，但將其阻止給搜索爬網(wǎng)程序。執(zhí)行此操作的最古老且可能仍然最簡(jiǎn)單的方法是使用robots.txt文件，通常位于我們的根目錄中，如：

User-agent:*
Disallow:/dupe-page.htm
Disallow:/dupe-folder/

    robots.txt的優(yōu)點(diǎn)之一是封鎖整個(gè)文件夾甚至URL參數(shù)相對(duì)容易。缺點(diǎn)是這是一種極端的解決方案，有時(shí)甚至是不可靠的解決方案。盡管robots.txt可有效阻止未抓取的內(nèi)容，但對(duì)于刪除索引中已有的內(nèi)容卻不是很好。主流搜索引擎似乎也對(duì)它的過(guò)度使用不滿意，因此通常不建議使用robots.txt來(lái)復(fù)制內(nèi)容。

    4、元機(jī)器人。我們還可以使用稱為“元機(jī)器人”標(biāo)記的標(biāo)頭級(jí)指令在頁(yè)面級(jí)別控制搜索機(jī)器人的行為。標(biāo)簽以最簡(jiǎn)單的形式看起來(lái)像這樣：

<head>
<meta name="robots" content="noindex,nofollow"/>
</head>

    該指令告訴搜索機(jī)器人不要為此特定頁(yè)面編制索引或跟隨其上的鏈接，同時(shí)我們還發(fā)現(xiàn)它比Robots.txt更具SEO友好性，并且由于可以使用代碼動(dòng)態(tài)創(chuàng)建標(biāo)簽，因此通常更靈活。Meta Robots的另一個(gè)常見(jiàn)變體是內(nèi)容值“NOINDEX，F(xiàn)OLLOW”，它使機(jī)器人可以在不將頁(yè)面添加到搜索索引的情況下爬行頁(yè)面上的路徑。對(duì)于內(nèi)部搜索結(jié)果之類的頁(yè)面，這可能很有用，我們可能希望阻止某些變化，但仍遵循產(chǎn)品頁(yè)面的路徑。其實(shí)無(wú)需在頁(yè)面上添加帶有“INDEX，F(xiàn)OLLOW”的Meta Robots標(biāo)簽。默認(rèn)情況下，所有頁(yè)面都被索引并遵循索引。

    5、Rel=Canonical。搜索引擎聯(lián)合起來(lái)創(chuàng)建了Rel=Canonical指令，有時(shí)也稱為“Rel-canonical”或“Canonical Tag”。這使網(wǎng)站管理員可以為任何頁(yè)面指定規(guī)范版本。標(biāo)簽位于頁(yè)面標(biāo)題中，如：

<head>
<link rel="canonlcal" />
</head>

    當(dāng)搜索引擎到達(dá)帶有規(guī)范標(biāo)簽的頁(yè)面時(shí)，它們會(huì)將頁(yè)面歸為規(guī)范URL，而不管它們用來(lái)訪問(wèn)該頁(yè)面的URL是什么。因此，搜索引擎通常不會(huì)為附加的非規(guī)范URL編制索引，而是入站鏈接果汁也通過(guò)規(guī)范標(biāo)記傳遞。不過(guò)值得我們注意的是對(duì)于任何給定的網(wǎng)站模板，我們需要清楚地了解什么是正確的規(guī)范頁(yè)面。將整個(gè)站點(diǎn)規(guī)范化為一頁(yè)或錯(cuò)誤的頁(yè)面可能會(huì)造成災(zāi)難性的后果。當(dāng)搜索引擎到達(dá)帶有規(guī)范標(biāo)簽的頁(yè)面時(shí)，它們會(huì)將頁(yè)面歸為規(guī)范URL，而不管它們用來(lái)訪問(wèn)該頁(yè)面的URL是什么。

   6、Rel=Prev & Rel=Next。Google為我們提供了一種新工具，可用于解決特定形式的近重復(fù)內(nèi)容，分頁(yè)搜索結(jié)果。我們可以通過(guò)使用一對(duì)類似于Rel-Canonical的標(biāo)簽來(lái)告訴Google分頁(yè)內(nèi)容如何連接。它們分別稱為Rel-Prev和Rel-Next，舉例來(lái)說(shuō)：

<head>
<link rel="prev" />
<link rel="next" />
</head>

    搜索引擎已登陸搜索結(jié)果的第3頁(yè)，因此我們需要兩個(gè)標(biāo)簽：（1）指向第2頁(yè)的Rel-Prev和（2）指向第4頁(yè)的Rel-Next。但我們幾乎總是必須動(dòng)態(tài)生成這些標(biāo)簽，因?yàn)槲覀兊乃阉鹘Y(jié)果可能是由一個(gè)模板驅(qū)動(dòng)的，結(jié)果表明這些標(biāo)簽確實(shí)有效。

    7、內(nèi)部鏈接。處理重復(fù)內(nèi)容的最佳工具就是不要一開(kāi)始就創(chuàng)建它。當(dāng)然，這并非總是可能的，但是如果我們發(fā)現(xiàn)必須修補(bǔ)許多問(wèn)題，則可能需要重新檢查內(nèi)部鏈接結(jié)構(gòu)和網(wǎng)站架構(gòu)。當(dāng)我們確實(shí)解決了重復(fù)問(wèn)題時(shí)，讓其他網(wǎng)站提示反映出這一變化也很重要。我們經(jīng)?？吹接腥嗽陧?yè)面的一個(gè)版本中設(shè)置301或規(guī)范，然后繼續(xù)內(nèi)部鏈接到非規(guī)范版本，并用非規(guī)范URL填充其XML網(wǎng)站地圖。內(nèi)部鏈接是很強(qiáng)的信號(hào)，發(fā)送混合信號(hào)只會(huì)給我們帶來(lái)麻煩。