Der Schlüssel zu einer Suchmaschine den Erfolg liegt in der speziellen Programme, sogenannte "Spider" - die automatisierte virtuelle Roboter - das Erstellen von Listen von Wörtern, die sich auf einer Web-Seite oder Website. Sie sind in der Regel an die von einem zentralen Computer und richtet sich an populären Webseiten und Server, dass die Erfahrungen schweren Einsatz. Die Spidern über die Web-Seite, die Worte Katalogisierung und Links (und die folgenden Links zu anderen Websites), und dann die Schaffung eines Index oder Auflistung der "wichtigsten Suchbegriffe", dass die Online-Nutzer verwenden können, um die Seiten they.re suchen .
Im Laufe der Jahre, Suchmaschinen wurden Ausbau und die Verbesserung ihrer Systeme, um mehr Komfort und schnellere Reaktionszeiten zu ihren Nutzern. Ein solches System ist die Verwendung von "Meta-Tags" - die wichtigsten Wörter auf einer Web-Seite, die eine Seite leichter für eine Spinne zu erkennen und zu indizieren.
Nachdem die Spinnen haben, die die Daten erhoben hat, diese verarbeitet und gespeichert werden die Suchmaschine in einer Weise, dass es einfach für Menschen, um auf sie zuzugreifen.
Es wäre einfach zu einfach Geschäft der Wort-und URL-Adresse in einer durchsuchbaren Datenbank, aber es gibt keine Möglichkeit, dass ein Benutzer, wenn es die nackten Knochen Informationen, würde wissen, welche Seite noch wichtiger ist, oder steht in Einklang mit der Suche hat er im Auge.
Zum Beispiel, kann man auf der Suche nach "Apfel" zu finden, Äpfel für Apfelkuchen-machen oder ein Bild von Äpfeln. Wenn die Datenbank wurden einfach Liste "Äpfel" und die URL, würde man zu tun haben, seine eigene langwierige Suche nach dem spezifischen Kontext der Wort, das er sucht.
Aus diesem Grund sind die meisten Suchmaschinen-Index und zusammen mehr als bloße Worte und URL-Adressen: Sie können Index Worte, die an bestimmten Orten auf der Seite (Titel und Untertitel-Gebieten, zum Beispiel), Meta-Tags, die Häufigkeit der Wörter auf der Seite, etc.
Google und andere Suchmaschinen sind in einem ständigen Wettlauf um die Verbesserung ihrer Fähigkeiten wie Suche Konzept-basierte Suche verwendet statistische Analyse, die auf den Seiten mit den Worten, die man sucht, um zu ermitteln, anderen Seiten von Interesse. Ein weiterer Ansatz ist natürlich-sprachliche Anfragen, bei denen ein Ein-Fragen in der gleichen Art, wie er im Gespräch mit Menschen - "Was ist eine Suchmaschine?" zum Beispiel.
Die beliebteste Suchmaschine mit Fragen der natürlichen Sprache ist AskJeeves.com, die "Zoom-in" auf die wichtigsten Wörter (z. B. was, Search Engine) und nutzt diese als Ausgangspunkt für die Überprüfung durch den Index der Wörter.