جستجوی گوگل چطور کار می کند؟

در این مطلب تمامی مراحل و جزئیات نحوه ایندکس مطلب در گوگل را گردآوری کرده‌ام همراه من باشید تا با جزئیات دقیق و کامل نحوه ایندکس مطلب در گوگل آشنا شوید.رسانیکامنبع: https://rasanika.com

معرفی سه مرحله جستجوی گوگل

موتور جستجوی گوگل بر اساس مراحل زیر عمل می‌کنند و سایت شما را ایندکس می‌کنند. هر یک از مراحل زیر الگوریتم‌های بخصوصی دارد که در ادامه آشنا خواهید شد:

کراولر🕷: کراولر یا خزنده، ربات‌هایی هستند که وظیفه خزش در سایت‌ها و دانلود خودکار تصاویر، ویدیوها و متن های موجود در سایت‌ها را برعهده دارند.

ایندکس: موتورهای جست‌وجو هر محتوایی که در فرایند Crawl یافته‌اند، ذخیره و سازماندهی می‌کنند. به‌این ترتیب، صفحات ایندکس شده برای پاسخ‌گویی به سوالات کاربران، آماده نمایش می‌شود. به عبارتی، محتوایی به مخاطبان عرضه می‌شود که به اندازه کافی مناسب باشد.

ارائه نتایج جستجو: در این مرحله نتایج جست‌وجو به نحوی مرتب می‌شود که بهترین پاسخ برای جست‌وجو کننده نمایش داده شود.

کراولر (Crawling) یا خزیدن چیست؟

برای معنی crawler در فارسی می‌توان از خزنده وب استفاده کرد. وظیفه کراولرها جستجو در وب و یافتن صفحات جدید و آپدیت شده است که بعد از یافتن آنها را دانلود و ذخیره می‌کند.

با توجه به اینکه یک رجیستری مرکزی برای همه صفحات وب وجود ندارد بنابراین گوگل باید دائما به دنبال صفحات جدید یا به روز شده باشد و آنها را به لیست صفحات شناخته شده خود اضافه کند این فرآیند "کشف URL" نامیده می شود. برخی از صفحات برای گوگل شناخته شده هستند زیرا گوگل قبلا به آنها سر زده است و آنها را کشف کرده است. اکنون وقتی می‌خواهد به دنبال صفحات جدید برای کشف بگردد به صفحاتی که قبلا ایندکس شده مراجعه می‌کند و لینک‌های آنها را دنبال می‌کند و به صفحات جدید می‌رسد. بنابراین اهمیت لینک دهی را دست کم نگیرید.

هنگامی که Google URL یک صفحه را پیدا کرد ممکن است از آن صفحه یا از اطلاعات موجود در آن صفحه بازدید کند که برای بازدید از صفحات گوگل از میلیارد ها رایانه استفاده می‌کند و برنامه ای که وظیفه خزیدن در سایت‌ها را بر عهده دارد Googlebot نامیده می‌شود و همچنین با نام‌های زیر شناخته می‌شود:

• خزنده

• ربات

• عنکبوت

Googlebot وظیفه تعیین زمانبندی مراجعه به صفحات و چند صفحه از هر سایت را برعده دارد که از الگوریتم مشخصی برای برنامه‌ریزی استفاده می‌کند.

کراولرهای گوگل نیز به گونه‌ای برنامه‌ریزی شده‌اند که سعی می‌کنند سایت را خیلی سریع کراول نکنند تا از بارگذاری بیش از حد مطلب در آن جلوگیری شود(در واقع هر سایت بودجه بندی زمانی خاصی دارد نباید در یک زمان کوتاه چنیدین هزار مطلب در یک سایت بارگزاری شود).در صورتی که بیش از بودجه‌بندی تعیین شده توسط کراولرهای گوگل به سایت مطلب بزنید در این صورت خطاهای HTTP 500 به معنای "کم کردن سرعت" را مشاهده خواهید کرد.

نکته: Googlebot ممکن است میلیون‌ها صفحه را کشف کند اما به تمامی آنها سرنمیزند یا اصطلاحا نمیخزد زیرا ممکن است برخی از صفحات کشف شده توسط مالک سایت برای خزیدن مجاز نباشد، یا صفحات دیگر ممکن است بدون ورود به سایت قابل دسترسی نباشند.

نکته: در حین خزیدن، Google صفحه را رندر می‌کند و هر جاوا اسکریپتی را که پیدا می‌کند با استفاده از نسخه اخیر Chrome اجرا می‌کند، مشابه نحوه رندر کردن صفحاتی که مرورگر شما بازدید می‌کند. رندر مهم است زیرا وب سایت ها اغلب برای آوردن محتوا به صفحه به جاوا اسکریپت متکی هستند و بدون رندر ممکن است گوگل آن محتوا را نبیند. خزیدن بستگی به این دارد که آیا خزنده‌های گوگل می‌توانند به سایت دسترسی داشته باشند یا خیر.

برخی از مشکلات رایج در دسترسی Googlebot به سایت‌ها عبارتند از:

• قوانین robots.txt از دسترسی Googlebot به صفحه جلوگیری می‌کند.

• مشکلات شبکه

• مشکل با سرور مدیریت سایت

ایندکس INDEXING چیست؟

بعد از اینکه خزنده های گوگل صفحات موجود در وب را یافتند به سراغ مرحله بعدی می‌روند که اصطلاحا مرحله ایندکس نامیده می‌شود. در مرحله ایندکس که اصطلاحا فهرست سازی نامیده می‌شود پردازش و تجزیه و تحلیل محتوای متنی و برچسب‌ها و ویژگی‌های محتوای کلیدی، مانند عنوان ها و ویژگی‌های alt، تصاویر، ویدئوها و غیره انجام می‌شود.

در این تجزیه و تحلیل ابتدا گوگل سعی می‌کند نتایج مشابهی که از یک موضوع به دست آورده است را در کنار هم قرار دهد و بررسی کند. در انجام بررسی صفحه‌ای انتخاب می‌شود که کامل تر بیان کننده موضوع باشد و اصطلاحا نماینده صفحات مقایسه شده باشد. صفحات دیگر هم کنار گزاشته نمی‌شوند و با توجه به مطالب درج شده در صفحه ممکن است در جستجوهای دیگر در اولویت قرار داده شوند.

از صفحات منتخب، گوگل سیگنال هایی را گردآوری می‌کند و در یک پایگاه داده بزرگ که بر روی هزاران رایانه میزبانی می‌شود، ذخیره می‌شود. سپس گوگل این سیگنال ها را در مرحله بعدی بررسی و تحلیل می‌کند.

سیگنال هایی که گوگل از یک مطلب ذخیره می‌کند مربوط به زبان محتوا و کشور بومی محتوا است که بعدا در اولویت قرار خواهد گرفت.

همانطور که گفته شد گوگل تضمین نمی‌کند که تمامی صفحات ایندکس شده را نمایه کند دلیل اینکه برخی از مطالب حتی بعد از ایندکس نمایه نمی‌شوند موارد زیر میباشد:

• کیفیت محتوای قرار گرفته شده در صفحه بسیار ضعیف باشد.

• برخی از قوانین ربات های گوگل ایراداتی در محتوا می‌بینند که محتوا را قابل نمایه سازی نمی‌دانند.

• طراحی وب سایت به نحوی است که نمایش مطلب در جستجو را دشوار کرده است.

ارائه نتایج جستجو در گوگل چگونه است؟

و اما مرحله نهایی که وقتی کاربر عبارتی را جستجو می‌کند چه نتایجی برای وی نمایش داده شوند و گوگل بر چه اساسی این مطالب را رتبه بندی می‌کند و به کاربر نمایش میدهد.

نتایجی که برای کاربران نمایش داده می‌شوند از دیدگاه گوگل بالاترین کیفیت و مرتبط ترین با درخواست کاربر هستند. مرتبط‌ترین مطلب توسط صدها عامل تشخیص داده می‌شود من جمله زبان کاربر، کشور محل زندگی کاربر، استفاده از گوشی تبلت یا رایانه رومیزی و ….

برای مثال، جستجوی «تعمیرگاه‌های دوچرخه» نتایج متفاوتی را برای کاربر در پاریس نسبت به کاربر هنگ‌کنگ نشان می‌دهد.

اگر در کنسول جستجوی گوگل دیدید که یک مطلب ایندکس شده است اما در نتایج گوگل نمایش داده نمیشود ممکن است به دلیل یکی از موارد زیر باشد.

• محتوای صفحه نسبت به سوالات کاربران بی ربط است.

• کیفیت مطلب پایین است.

• قوانین متا ربات‌ها از سرویس دهی جلوگیری می‌کنند.