Alors que les annuaires référencent un nombre de sites assez limité, les moteurs de recherche, grâce à leurs puissants robots ou "spiders", indexent actuellement plusieurs milliards de pages de manière automatique soit en lisant le contenu, soit en utilisant les balises métas présentes dans le code source. Il est néanmoins nécessaire de leur indiquer votre URL de base une première fois.

En outre, là où les annuaires fournissent seulement l'adresse des pages d'accueil, les moteurs peuvent analyser en profondeur chaque site et proposer pour une requête donnée le lien direct vers la page correspondante.

Google et Fast sont les moteurs de recherche les plus performants : ils sont également capables d'indexer d'autre formats de fichiers que le HTML : les fichiers Word (.doc), Acrobat (.pdf) ou Flash (.swf), et même certaines pages dynamiques ASP ou PHP si l'on prend quelques précautions dans la conception des pages