تتعدد الطرق التي تعمل بها محركات البحث غير أنها تؤدي في الغالب ثلاث مهام محددة:
- الزحف عبر المواقع المختلفة على شبكة الإنترنت Crawling لجمع أكبر قدر ممكن من البيانات عن هذه المواقع ومحتوياتها تمهيداً لتحليلها ومعالجتها لاحقاً.
- معالجة البيانات وفهرستها Indexing وفقاً لخوارزميات Algorithms معينة لتحليل المحتوى وفرز الكلمات المفتاحية والعديد من العمليات المعقدة الأخرى ومن ثم تخزينها.
- عرض وتقديم المعلومات التي تم تخزينها للباحثين عنها من خلال نتائج البحث في هذه المحركات.
تتفاوت محركات البحث في نوع العمليات والمهام التي تقوم بها وما يهمنا في هذه المقام هو التعرف إلى تلك العمليات المتعلقة بالبحث والفهرسة وإنعكاساتها السلبية أو الإيجابية على موقعنا، وعلى إعتبار أن العثور على أي صفحة من صفحات أي موقع على نتيجة البحث هو رهن في المقام الأول بعثور محرك البحث في الأساس على هذه الصفحة فإننا في حاجة ماسة لمعرفة الكيفية التي تتم بها عملية العثور على هذه الصفحات من قبل محركات البحث.
تعتمد محركات البحث في عملية فهرسة الصفحات Indexing على برمجيات خاصة ومعينة تسمى Robots or Crawlers - حيث تقوم هذه البرمجيات (وكما يوحي إسمها) بالزحف والتنقل بين الصفحات المختلفة على شبكة الإنترنت وجمع معلومات معينة من هذه الصفحات وعناوينها URLs كما أنها تقوم بتتبع الروابط الموجودة في كل صفحة في حالة وجودها لتعود بإدق التفاصيل الممكنة عن هذه الصفحات تمهيداً لفهرستها.
تبدأ بعد ذلك المرحلة الثانية وهي مرحلة الفهرسة Indexing وتتم في هذه العملية معالجة وتخزين البيانات التي تم العثور عليها في العملية الأولى ضمن قاعدة بيانات هذا المحرك وبالتالي يصبح بالإمكان الإستفادة منها في عمليات البحث.
الجدير بالذكر هنا هو أن العمليات السابقة تتم بصورة آلية وبدون تدخل العنصر البشري فيها وهذا ربما مايميز محركات البحث عن ما يعرف بأدلة المواقع Web Directories حيث تتم عملية الفهرسة والتصنيف في هذه الأدلة من قبل محررين تتركز مهمتهم في تقييم المواقع المختلفة على شبكة الإنترنت ومن ثم تقرير قبولها للإدراج في هذه الأدلة أو رفضها.
إن تفاصيل هذه العمليات وتتابعها وطريقة الفهرسة تبقى دائماً ضمن أعلى درجات السرية التي يحافظ عليها أي محرك بحث حرصاً من مسيريه على عدم إكتشاف آلية عمل البرمجيات المختلفة فيه، وبالتالي لا يمكن لأحد معرفة الكيفية التي تتم بها عملية الفهرسة أو الأسس التي تقوم عليها ولكن يمكن التنبؤ بهذه الآليات من خلال سياق النتائج التي يمكن أن توفرها هذه المحركات لزوارها ولمديري المواقع أو من خلال التعليقات والتصريحات والمقالات التي يوفرها مديري هذه المحركات عن محركاتهم