無名的 robots.txt 消失了

(先聲明：我是 Google Taiwan 的小小工程師，但本文是我個人的想法，和 Google 公司無關)

上個禮拜 (2007/9/30) ijliao 的部落格文章 Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ? 引發了一連串的討論，包括 xdite、Gea-Suan Lin、永遠的真田幸村等部落格也提供了不少資訊和意見。

在昨天 (2007/10/08) 媒體 CNET 報導這件事之前，無名的 robots.txt 一直沒變，但今天 robots.txt 無預警地消失了，要抓它會拿到 "404 Not Found" 的錯誤訊息，根據 A Standard for Robot Exclusion 規格書，沒有 robots.txt 就表示任何 robot 都可以到這個網站的任何地方去爬，無名真可算是 180 度大轉彎。

想知道無名之前是何時關上大門的話，可以參考《Google 網站管理員工具》裡 Googlebot 的記錄 (需要有 Google 帳號)，抓圖如下：

Googlebot 上次成功爬到無名的內容是 8 月 23 日，所以無名其實惦惦呷三碗公老早就已經把 Yahoo! 以外的搜尋引擎拒在門外了。

當然無名會這麼做並不令人驚訝，畢竟無名現在是 Yahoo! 的，而 Yahoo! 的知識＋ 把別的搜尋引擎擋在門外早就不是新聞了。我比較好奇的是，把自己辛辛苦苦寫的網誌或知識放在一個不准別家搜尋引擎去看的網站，真的值得嗎？

整個網際網路遠遠大於任何單一網站或搜尋引擎，如果我寫的東西放在一個隨時可能不准守規矩的搜尋引擎來看的網站，那代表兩件事：

1. 我在獎賞不守規矩的搜尋引擎
   
   嗯，我不知道別人怎麼想，但讓不守規矩的壞小孩有糖吃？這不是任何合理的人會做的事。


2. 我在鼓勵商業公司不當使用產品優勢
   
   無名是目前台灣人氣最旺的部落格和照片網站，不允許其他搜尋引擎來看無名的內容，對於不知內情的網民而言，顯然會覺得雅虎奇摩的搜尋結果比較好，這是利用產品 A 的優勢拉抬不同領域的產品 B 的行為，就像當年微軟利用 Windows 作業系統的優勢綑綁 IE 瀏覽器來打敗 Netscape 一樣...

在今天這個時間點，無名已經把這個備受爭議的 robots.txt 刪除了。我相信經歷這次部落客的批評和媒體的報導，無名應該不會再犯眾怒做出同樣的事了。但是雅虎奇摩的知識＋仍然在精英俱樂部裡，何時雅虎奇摩才會像 Wikipedia 那樣大氣度呢？