在20世紀90年代中期開始優(yōu)化網(wǎng)站的搜索引擎，作為個搜索引擎編目早期的Web 網(wǎng)站管理員和內容提供商。初，所有的網(wǎng)站管理員需要做的是，“ 蜘蛛 “爬行”的頁面，提取鏈接到其他頁面，并返回上找到的信息發(fā)送到不同的引擎提交一個網(wǎng)頁的地址或URL的頁面，以進行索引。過程涉及到一個搜索引擎蜘蛛下載的頁面和存儲它在搜索引擎中的自己的服務器，在那里一個第二個程序，被稱為一個索引，提取有關的頁面的各種信息，如的話它包含，而這些都位于，以及任何特定的字的重量，以及頁面中包含的所有的鏈接，然后被放置到調度器，用于在稍后的日期爬行。