موتور جستجو چیست ؟

هدف یک موتور جستجو استخراج اطلاعات مورد درخواست از بانک اطلاعاتی عظیم در دسترس روی اینترنت است. آنها به یک ابزار مهمّ روزمره تبدیل شده اند که بوسیله آنها می توانیم به اطلاعاتی که نمی دانیم دقیقاً کجا ذخیره شده اند دسترسی یابیم. برای اینکه اطلاعات مورد نظر خود را بدست آورید، موتورهای جستجوی مختلفی وجود دارد. بدلیل وجود موتورهای جستجویی مانند گوگل، بینگ و یاهو، استفاده از اینترنت در سالهای اخیر افزایش چشمگیری داشته‌است.

انواع متفاوت موتورهای جستجو :

موتورهای جستجو بر اساس نحوه کار آنها به دسته‌های زیر تقسیم بندی می شوند :

1. -    موتورهای جستجوی مبتنی بر خزنده (Crawler) یا پیمایشگر : تمامی موتورهای جستجوی مبتنی بر خزنده برای پیمایش و فهرست بندی (Indexing) محتوای جدید برای بانک اطلاعاتی جستجو، از یک خزنده، بات (Bot) یا عنکبوت (Spider) استفاده می کنند. برای اینکه هر موتور جستجوی مبتنی بر خزنده هر سایتی را در نتایج جستجو نمایش دهد، باید چهار گام را بردارد :

 

• خزیدن یا Crawling : موتورهای جستجو تمام وب را برای ارائه صفحات وب در‌دسترس می‌پیمایند. یک نرم افزار کوچک که به آن خزنده، اسپایدر و یا بات می‌گویند، عمل پیمایش کّل وب را انجام می دهد. دفعات تکرار خزیدن یا پیمایش، به موتور جستجو بستگی دارد و ممکن است برای هر پیمایش، چندین روز طول بکشد. به همین دلیل است که بعضی مواقع شما می‌توانید محتوای صفحه قدیمی و پاک شده خودتان را در نتایج جستجو مشاهده کنید. بار دیگر که موتور جستجو سایت شما را مورد پیمایش قرار دهد، نتایج جستجو، محتوای به روز‌شدۀ جدید را نشان خواهد داد.
• فهرست کردن یا Indexing : فهرست بندی که گام بعد از خزیدن است، فرایند شناسایی بهترین کلمات و عبارات برای توضیح صفحه می‌باشد. کلمات شناسایی‌شده را کلیدواژه یا Keywords می نامند و آن صفحه به کلیدواژه‌های شناسایی شده، اختصاص داده می شود. برخی اوقات اگر خزندۀ موتور جستجو متوجه معنی و مفهوم صفحه شما نشود، آن صفحه را در نتایج جستجو در رتبه‌های پایین‌تر قرار می‌دهد. در اینجا شما باید صفحات خود را برای خزنده‌های موتور جستجو بهینه سازی کنید تا اطمینان حاصل کنید که محتوا به آسانی قابل فهم باشد. چنین عملیاتی را Search Engine Optimization یا به اختصار، SEO می نامند. امروزه خدمات حرفه ای سئو از پرطرفدارترین خدمات حوزۀ وب هستند.
• محاسبه مربوط بودن یا Relevancing : موتورهای جستجو رشته جستجو (Search String) را با صفحات فهرست‌شده از بانک اطلاعاتی مورد مقایسه قرار‌می‌دهند. به علت اینکه احتمالاً بیش از یک صفحۀ مشمول رشته جستجو وجود داشته‌باشد، موتور جستجو شروع به محاسبه مربوط بودن هر کدام از صفحات در فهرست آن با رشته جستجو می‌کند. الگـــوریتم‌های زیادی برای محاسبه مربوط بودن وجود دارد. هر کدام از این الگوریتم‌ها به عامل‌هایی همچون چگالی کلیدواژه، لینک‌ها یا فرا برچسب‌ها (Meta tags) وزن نسبی متفاوتی اختصاص می دهند. به همین دلیل است که به ازای یک رشته جستجوی یکسان، موتورهای جستجوی متفاوت، نتایج متفاوت به دست می‌دهند. حقیقت امر این است که همه موتورهای جستجو در دوره‌های زمانی متفاوتی الگوریتم جستجوی خود را تغییر می‌دهند. اگر می‌خواهید سایت خود را در نتایج جستجو بالا نگهدارید، باید صفحات خود را با آخرین تغییرات وفق دهید. به همین دلیل باید یک تلاش همیشگی برای بهینه سازی بر اساس الگوریتم‌های جدید موتورهای جستجو (SEO) به خرج دهید.
• بدست آوردن نتیجه : آخرین گام در اقدامات موتورهای جستجو بدست آوردن نتایج است. این مرحله اساساً  به معنی نمایش نتایج جستجو با نظمی خاص در مرورگر می‌باشد که در آن موتورهای جستجو صفحاتی بی پایان از نتایج جستجو را به ترتیب مرتبط‌ترین تا بی‌ربط‌ترین سایت را فهرست می کنند.

مثالهایی از موتورهای جستجوی مبتنی بر خزنده‌ها :

بیشتر موتورهای جستجوی محبوب از نوع مبتنی بر خزنده هستند و از فناوری ذکر شده برای نمایش نتایج جستجو استفاده می‌کند. از این دسته می توان Google، Bing، Yahoo، Baidu، Yandex، DuckDuckGo، AOL و Ask را نام برد.

2. -    دایرکتوری‌های ساخته شده توسط انسان: به این دایرکتوری‌ها که به آنها Open Directory System هم می گویند برای لیست‌سازی به فعالیت‌های با محوریت انسان وابسته هستند. در ادامه در مورد چگونگی کار فهرست‌سازی دایرکتوری‌های ساخته شده برای انسان توضیح خواهیم‌داد :

 

• مالک سایت توضیحی کوتاه در مورد سایت می نویسد و پس از مشخص کردن دسته موضوعی سایت، اطلاعات تهیه شده را برای دایرکتوری ارسال می‌کند.
• سایت submit شده توسط انسان مورد بررسی قرار می گیرد و به دسته مناسب آن اضافه می شود و یا کلاً رد می‌شود.
• کلیدواژه‌هایی که در فیلد جستجو وارد می شود، با توضیحات سایت‌ها مقایسه می شود.این بدان معنی است که تغییراتی که در محتوای وب سایت اعمال می شود، مورد بررسی قرار نمی گیرد و فقط توضیحات است که اهمیت دارد.
• به احتمال بسیار زیاد یک سایت خوب با محتوای خوب نسبت به یک سایت با محتوای ضعیف، بیشتر مورد توجه قرار می گیرد.

دایرکتوری یاهو و DMOZ مثالهای بسیار خوبی از دایرکتوری‌های توسعه یافته توسط انسان هستند. متأسفانه، موتوهای جستجویی همانند گوگل باعث انقراض موتورهای جستجوی این چنینی شده اند.

3. -    موتورهای جستجوی تلفیقی (Hybrid) : موتورهای جستجوی تلفیقی هم از سیستم جستجوی مبتنی بر خزنده و هم ایندکسینگ (فهرست بندی) دستی برای لیست کردن سایتها در نتایج جستجو استفاده می کند. بیشتر موتورهای جستجوی مبتنی بر خزنده‌ها مانند گوگل، اساساً از خزنده‌ها بعنوان مکانیزم اصلی و از دایرکتوری‌های توسعه یافته توسط انسان، به عنوان مکانیزم ثانویه استفاده می کنند. برای مثال، گوگل ممکن است توضیح یک صفحه وب را از دایرکتوری‌های دستی بدست آورد و در نتایج جستجو نمایش دهد. با افزایش روند محو شدن دایرکتوری‌های توسعه یافته توسط انسان، انواع تلفیقی روز به روز بیشتر وابسته به خزنده‌ها می شوند. ولیکن همچنان برای پاک کردن نتایج جستجو از فیلترهای دستی نیز استفاده می شود.                                                                                                                                            
4. -    انواع دیگر موتورهای جستجو : علاوه بر انواع موتورهای جستجویی که درباره آنها صحبت شد، بسته به مورد استفاده آنها، موتورهای جستجوی دیگیری نیز وجود دارند .

 

• موتورهای جستجو انواع متفاوتی از بات‌ها را برای نمایش انحصاری عکس‌ها، ویدئو‌ها، اخبار، محصولات و ... را دارند. به عنوان مثال، صفحه Google News می تواند برای جستجوی اخبار از روزنامه‌های مختلف مورد استفاده قرار گیرد.
• برخی از موتورهای جستجو همانند Dogpile، فرا اطلاعات (Meta Information) صفحات وب را از دایرکتوری‌ها و موتورهای جستجوی دیگر جمع آوری می کند تا در نتایج جستجو نمایش دهد. به این نوع موتورهای جستجو، موتورهای metasearch گفته می شود.
• موتورهای جستجوی Semantic همانند Swoogle با درک معنی رشته جستجو در یک حوزه خاص، نتایج جستجوی دقیقی را ارائه می‌دهد.

در روزهای ابتدایی پیدایش اینترنت، موتورهای جستجوی توسعه یافته توسط انسان بسیار محبوب بودند و منبع مهم اطلاعات محسوب می شدند. دنیای فناوری با سرعت زیادی به سمت هوش مصنوعی و اتوماسیون حرکت می کند و کمپانی‌های فناوری‌محور بزرگی همانند گوگل و مایکروسافت که مالک موتورهای جستجوی محبوب هستند، این تغییرات را هدایت می کنند و از منافع آن بهره مند می شوند. امروزه سازمان‌‌های بزرگ دولتی و تجاری سرویس‌ها و اطلاعات خود را از طریق پورتال سازمانی خود ارائه می‌دهند و ارزشهای بدست آوردن ترافیک ارگانیک و بازدید بیشتر صفحات‌شان را درک کرده‌اند با هم رقابت سنگین و فشرده‌ای در ارتقای SEO دارند. قضاوت در مورد موفقیت عملکرد آنها در این عرصه با موتورهای جستجو است بنابراین آگاهی از نحوۀ قضاوت موتور جستجو بسیار اهمیت دارد.