معماری کلی موتورهای جستجوگر-آشنایی با گوگل

معماری کلی موتورهای جستجوگر

آشنایی با موتورهای جستجوگر (مثل گوگل)

جلسه هشتم – معماری موتورهای جستجوگر

سلام امیرحسین فخاری هستم، با یکی دیگر از جلسات دوره اینترنت بیزینس همراه شما عزیزان و سروران هستم، در جلسه هشتم این دوره قصد دارم به معرفی کلی موتورهای جستجوگر بپردازم و معماری آن ها را باهم بررسی کنیم.

موتور های جستجوگر Search Engines

موتور جستجوگر برنامه ای است که با دریافت چند کلمه کلیدی از شما، آن ها را در اینترنت کاووش می کند و نتایج مرتبط به جستجوی شمارا لیست می کند و به نمایش می گذارد. (سعی کردم خیلی ساده بیان کنم)

ما 2 نوع موتور جستجوگر داریم:

• موتور جستجوگری که کل اینترنت را پوشش می دهد و به شما بهترین پیشنهادات را ارائه می دهد.
• موتور جستجوگری که فقط درون یک سایت جستجو می کند و نتیجه جستجو شما مطالب همان سایت است.

اما هدف ما در این بخش آشنایی شما با یک موتور جستجو گر مربوط به یک سایت نیست ، بلکه هدف ما موتور جستجوگری است که تمامی سایت های در اینترنت را پوشش می دهد و همه ما به خوبی با آنها آشنایی جزئی داریم…

معروف ترین موتورهای جستجوگر دنیا عبارتند از :

google – yahoo – msn – ask و…

هر کدام از این موتورهای جستجوگر شامل یک سری الگوریتم و دستور کار می باشند. که اما خب در نگاه کلی معماری یکسانی دارند.

قراره شما رو با معماری موتورهای جستجوگر آشنا کنیم.

معماری کلی موتورهای جستجو:

اگر چه موتورهای جستجو متعدد بوده و الگوریتم های مورد استفاده در آن ها متفاوت است اما اغلب آنها دارای معماری مشابه ای می باشند. این معماری مطابق شکل زیر ، از واحدهای مختلفی تشکیل شده است.

در شکل زیر با کلیات موتورهای جستجوگر آشنا می شویم.

اصلا وحشت نکنید !!! چون بار اولی است که به تصویر بالا نگاه می کنید برای شما کمی پیچیده و نامفهوم هست اما مطالب رو با دقت دنبال کنید ، هیچ گاه توقع نداشته باشید در نگاه اول همه چیز آسون و راحت باشه.

واحد کنترل درون کاو (Carwler contorl) :

تمام موتورهای جستجو دارای واحدی به نام درون کاو هستند که گستره ی وسیع وب را به طور زمان بندی شده پیمایش می کند. و به جمع آوری صفحات وب در گوشه و کنار اینترنت می پردازد، واحد درون کاو از تعداد قابل توجهی برنامه کوچک تشکیل شده که هر کدام با هسته ی یک وب سایت خاص آغاز می کند.

و پس از دریافت آن صفحه و تحویل به  انباره صفحات براساس لینک های درون صفحات جاری، صفحات پیوند خورده را نیز به همین روال استخراج و ذخیره می کند.

برنامه های درون کاو تحت کنترل واحدی به نام واحد کنترل درون کاو عمل می کند.

انباره صفحات (Page Repository) :

صفحاتی که توسط واحد درون کاو از گستره ی جهانی وب استخراج می شود، در یک بانک اطلاعاتی با نام انباره صفحات ذخیره می شوند.

تا به منظور شاخص دهی و تبدیل محتوایی در اختیار واحدهای دیگر قرار گیرد.

واحد شاخص دهی (Indexer Moclule) :

این واحد تمامی صفحات موجود در انباره صفحات را مرور کرده و کلمات موجود در آنهارا پس از استخراج به همراه URL مربوطه در یک جدول بسیار بزرگ با نام جدول شاخص متن  (Text index table) ذخیره می کند.

این جدول مشخص می کند که هر کلمه در کدام صفحه و با چه آدرسی ظاهر شده است.

موتور جستجو (Query Engine) :

این واحد موظف است درخواست های جستجو را از کاربران دریافت و آن ها را در قالبی مناسب جهت شروع فرآیند جستجو سازماندهی کند. درخواست های جستجوی کاربران معمولاً توسط یک یا چند کلمه کلیدی مشخص می گردد. و نتیجه آن می تواند مجموعه بسیار بزرگی از آدرس ها باشد.

واحد رتبه دهی (Ranking Module) :

این واحد موظف است نتایج حاصل از جستجوی کلمات کلیدی کاربران را به نحوی رتبه دهی کند تا مرتبط ترین گزینه ها در صدر نتایج قرار بگیرد.

هرچه این واحد هوشمندانه تر و دقیق تر جواب ها را رتبه دهی کند رضایت کاربران بیشتر جلب خواهد شد.

با واحدهای مختلف موتورهای جستجوگر آشنا شدیم حالا دوباره به تصویر معماری موتورهای جستجوگر بروید ، این بار بهتر از قبل می توانید از معماری جستجوگر ها سر در آورید.

جمع بندی :

همانطور که در این جلسه خواندید، موتورهای جستجوگر در ظاهر خیلی ساده عمل می کنند اما به همین سادگی که فکر می کنیم نیست و مراحل و پروسه های طولانی و مفصلی دارند، در این جلسه ما با معماری کلی موتورهای جستجوگر آشنا شدیم، و حالا بهتر می توانیم جستجوگرهارا درک کنیم، در جلسات بعدی دوره همراه ما باشید.