موتورهای جستجو، تاریخچه و انواع آن

دسته : تکنولوژی

نویسنده : فاطمه تابع

تاریخ : 1401/6/12

سطح : متوسط

پست های مرتبط

https://teamaa.ir/Assets/Images/Blog/TEAMAA-(d8Ntm6rd)_google EAT algorithm.jpg

1402/1/12

الگوریتم موبایل فرست ایندکس...

https://teamaa.ir/Assets/Images/Blog/TEAMAA-(vrB9A2KA)_google BERT algorithm.jpg

1401/12/27

موتورهای جستجو، تاریخچه و انواع آن

وقتی می گوییم موتور جستجو، معمولا به یاد گوگل (Google) یا یاهو (Yahoo) می افتیم که البته اشتباه هم نیست. گوگل و یاهو از معروف ترین موتور های جستجو وب (Web Search Engine) هستند.

در کل می توان موتور جستجو را مجموعه ای از نرم افزار ها و سخت افزار ها دانست که میان داده های زیادی، اطلاعات مورد نظر کاربر را پیدا می کند. موتور جستجو فقط در وب کاربرد ندارد. زمانی که شما در کامپیوتر یا موبایل خود، بین اطلاعات چیزی را سرچ می کنید، در اصل یک موتور جستجو وجود دارد که این کار را برای شما انجام می دهد. حال اگر این جستجو را در بستر وب انجام دهید، موتور های جستجو وب برای شما اطلاعات مورد نظر را پیدا می کنند.

در گذشته اگر به دنبال مطلبی بودید، باید برای پیدا کردن آن در کتاب ها جستجو می‌کردید و یا از افراد متخصص می پرسیدید. حال تصور کنید موضوع شما خیلی تخصصی یا کتاب های آن به زبان های دیگری باشد و یا اصلا فردی که در این زمینه اطلاعاتی داشته باشد، در اطراف و یا شهر شما نباشد. امروزه با پیدایش موتور های جستجو، هر فرد یا شرکت می‌تواند برای خودش سایتی داشته باشد و پست هایی در آن قرار دهد. شما نیز به عنوان مخاطب در Search Engine ها موضوع مورد نظر خود را سرچ کرده و از مطالب دیگران استفاده می کنید.

تاریخچه موتور های جستجو

اولین موتور جستجو دنیا آرچی یا Archie بوده که توسط آلن امتیج (Alan Emtage) در سال 1990 توسعه یافته است. این موتور جستجو اطلاعات را در میان کامپیوتر هایی که با شبکه به یکدیگر متصل بودند، پیدا می کرد.

اولین موتور جستجو وب یا Web Search Engine در سال 1993 در دانشگاه ژنو توسعه یافت و نامش w3 catalog بود. این موتور به مدت 5 سال کار کرد و در سال 1998 کنار گذاشته شد.

مهم ترین اتفاق در موتور های جستجو، توسعه یاهو در سال 1994 توسط دیوید فیلوو و جری یانگ بود. Yahoo در ابتدا به عنوان یک فهرست راهنما ارائه شد و از موتور های جستجو دیگر استفاده می کرد. یاهو همچنین سرویس های ایمیل، دایرکتوری و انتشار خبر را نیز پوشش می داد. اما در سال 2002، یاهو خزنده وب یا Web crawlerمخصوص به خودش را معرفی کرد. در سال 2014 یاهو اعلام کرد که موتور جستجوگر yahoo به پایان کار خودش رسیده است، اما هم چنان برخی کار های کوچک و آنلاین در business.yahoo.com باقی مانده است.

در دهه 90 میلادی موتور های جستجو دیگری از جمله Hotbot، Dogpile و Excite نیز توسعه داده شدند که زمان اوجی برای خودشان داشتند. در سال 1996 دانشجویان دانشگاه استنفورد تحقیقاتی را شروع کردند که باعث ساخت گوگل (Google) در سال 1998 شد. لری پیج (Larry Page) و سرگی برین (Sergey Brin) موتور جستجویی را توسعه دادند که سایت را بر اساس تعداد وب سایت هایی که به آن لینک داده بودند رتبه بندی می کرد. با اینکه گوگل نسبت به دیگر موتور های جستجو دیر تر شروع کرد، اما در سال های گذشته به صورت متوالی برترین موتور جستجو جهان شناخته شده است. در سال 2022 سهم google در جستجو های جهان بیش از 80 درصد گزارش شده است.

موتور جستجو بینگ یا Bing در سال 2009 توسط شرکت مایکروسافت معرفی شد. این شرکت قبل از بینگ، نام های دیگری به موتور جستجو خودش داده بود از جمله MSN Search و Live Search. این موتور جستجو در جای خودش موفق است و حدود 8 درصد از بازار کلی جستجو جهان را در بر دارد.

مدتی برنامه نویسان ایرانی نیز سعی بر توسعه موتور های جستجو داشتند که باعث بوجود آمدن موتور های جستجو گردو، سلام، پارسی جو، یوز و ریسمون شد. اما متاسفانه چندان موفق نبودند.

موتور های جستجو برای نشان دادن مطالب به ما به طور کلی 3 مرحله خزش یا crawling، ایندکس کردن یا indexing و رتبه بندی کردن یا ranking را طی می کنند. این مراحل هر کدام الگوریتم ها و روش های مخصوص به خودش را دارد که در پست های بعد به آن ها خواهیم پرداخت.

خزش (crawling):

در این فرایند ربات هایی با نام crawler محتوا سایت ها را بررسی می کنند. اگر محتوا مشکلی نداشته باشد اطلاعات سایت را در پایگاه داده (database) خود، برای نشان دادن به کاربر ذخیره می کنند. گوگل یکی از از موتور های جستجویی است که crawling را انجام می دهد.

ایندکس (indexing):

محتوا هایی که در مرحله crawling پیدا شده، پردازش می شود و برای نشان دادن به کاربر هنگام سرچ آماده می شود.

رتبه بندی (ranking):

پس از ایندکس کردن محتوا، الگوریتم ها، سایت ها را بر اساس ارتباط موضوعی، عنوان، آدرس، اعتبار دامنه و… رتبه بندی می کنند.

یک مدل موتور جستجو داریم که بر اساس دایرکتوری ها کار می کند. یعنی کارفرما و صاحبان کسب و کار اطلاعاتی مانند فعالیت ها، موقعیت مکانی، کلمات کلیدی و آدرس سایت را در یک فهرست ذخیره می کنند. سپس مدیران دایرکتوری این اطلاعات را بررسی کرده و در صورت صحت، آن را تایید کرده و در فهرست دایرکتوری هایی که به کاربران هنگام سرچ نمایش داده می شود، قرار می دهند. یاهو از نمونه موتور های جستجو بر اساس دایرکتوری است.

به طور کلی موتور جستجویی خوب است که به صورت عمیق محتوا را بررسی کرده و مطالب کاملا مرتبط با سرچ را به کاربر نشان دهد. امروزه با حجم زیادی از داده مواجه هستیم که هر لحظه به آن ها افزوده می شود. پس الگوریتم ها باید بهبود پیدا کنند و بتوانند بین این Big Data، مطلب خواسته شده را پیدا کند.

آنقدر سروکار با موتور های جستجو زیاد شده و دسترسی به آن ها آسان شده که یک مفهوم جدید با نام بازاریابی موتور های جستجو (Search Engine Marketing) بوجود آمده است. بازاریابی موتور های جستجو را با نام مختصر SEM نیز می شناسند. تقریبا برای هر کسی که سایت داشته باشد واجب است که از این روش برای معرفی برند خودش به دیگران استفاده کند. از مزایا SEM می‌توان به سریع تر دیده شدن، افزایش آگاهی از برند، مدیریت آسان، هدف گذاری تبلیغات بر اساس مکان و دیگر موارد، افزایش ترافیک وب سایت و بهبود رنک (rank) اشاره کرد.

در کل امروزه را، عصر داده نام گذاری می کنند و باید بتوانیم از این داده ها به بهترین صورت استفاده کنیم. وب هم یکی از بزرگ ترین منابع داده است. امیدوارم که از این پست اطلاعات مفیدی دریافت کرده باشید. منتظر پست های بعدی که درباره الگوریتم های گوگل (google) است، باشید.

پست های مرتبط