ایندکس گوگل چیست؟ دلایل ایندکس نشدن سایت + راه حل

زمان مطالعه: 27 دقیقه
ایندکس شدن در گوگل چیست؟ دلایل ایندکس نشدن سایت در گوگل

فهرست مطالب

ایندکس شدن سایت در گوگل به چه معناست؟ برای دیده شدن سایت در صفحه نتایج جستجوی گوگل، شرط اول، ایندکس شدن سایت در گوگل است. اگر گوگل سایت را ایندکس نکند، سایت امکان دیده شدن در نتایج جستجوی گوگل را نخواهد داشت و هیچ ترافیکی از سمت موتور جستجوی گوگل دریافت نخواهد کرد. در این مقاله ابتدا به توضیح مفهوم ایندکس گوگل خواهیم پرداخت. سپس نحوه بررسی ایندکس شدن صفحات سایت در گوگل را آموزش خواهیم داد و در نهایت دلایل ایندکس نشدن سایت را همراه با راه حل رفع این مشکل توضیح خواهیم داد. پس تا انتهای این مقاله با ما همراه باشید.

ایندکس گوگل چیست و چه اهمیتی دارد؟

ایندکس گوگل (Google Index) یک پایگاه داده از همه صفحاتِ سایت‌های مختلف در اینترنت است که ربات گوگل مشاهده و بررسی کرده و برای استفاده از نتایج جستجو در یک پایگاه داده ذخیره کرده‌ است.

هر صفحه پیش از نمایش در صفحات نتایج جستجوی گوگل باید ابتدا ایندکس شود. پس اگر یک صفحه ایندکس نشده است، در نتایج جستجوی گوگل نمایش داده نخواهد شد. ایندکس شدن در گوگل را در واقع همان ثبت سایت در گوگل می‌توان نامید.

فرآیند ایندکس شدن یک سایت در موتور جستجوی گوگل به شکل زیر است:

  • خزیدن (Crawling): ربات گوگل صفحات وب را بررسی می‌کند و به دنبال محتواهای جدید یا بروزرسانی شده می‌گردد.
  • فهرست کردن (Indexing): گوگل صفحات را آنالیز کرده و اطلاعات آن‌ها را در یک پایگاه داده عظیم ذخیره می‌کند.
  • رتبه بندی‌ (Ranking): الگوریتم گوگل بهترین و مرتبط‌ترین صفحات را از ایندکس (فهرست) خود انتخاب کرده و به کاربر نمایش می‌دهد.
موتورهای جستجو چگونه کار میکنند؟ نمایش چهار مرحله عملکرد موتورهای جستجو در اینترنت

ایندکس شدن و رتبه گرفتن در گوگل دو مفهوم متفاوت هستند. ایندکس شدن را مثل حاضر شدن در یک رقابت در نظر بگیرید و افزایش رتبه در گوگل را می‌توانید مثل برنده شدن در یک رقابت تصور کنید. با توجه به این توضیح، اهمیت ایندکس شدن در گوگل برای جذب ترافیک و مشتری از طریق گوگل بیشتر مشخص می‌شود.

چگونگی بررسی وضعیت ایندکس شدن سایت در گوگل

روش‌های مختلفی برای چک کردن اینکه آیا گوگل صفحات یک سایت را ایندکس کرده است وجود دارد. در ادامه چند روش را همراه با تصویر توضیح خواهیم داد:

۱- استفاده از دستور (:site) در گوگل – روش دم دستی

برای بررسی ایندکس شدن سایت در گوگل، کافی است گوگل را باز کنید و آدرس دامنه سایت را در ادامه دستور (:site) واردکنید. مثلا برای بررسی ایندکس سایت نردبان در گوگل از دستور زیر استفاده می‌شود:

site:nardebangroup.com
بررسی ایندکس سایت در گوگل با استفاده از دستور site: در گوگل

اگر هم قصد بررسی ایندکس شدن یا نشدن یک صفحه خاص را دارید می‌توانید آدرس آن صفحه بخصوص را در ادامه دستور site: وارد کنید. اگر هیچ نتیجه‌ای پیدا نشد، این به این معنی است که این صفحه ایندکس نشده است. در مثال زیر وضعیت ایندکس صفحه «تماس با ما»ی سایت گروه دیجیتال نردبان بررسی شده است.

بررسی ایندکس یک صفحه از سایت در گوگل با دستور site:

استفاده از عملگر :site یک روش دم دستی است و طبق گفته گوگل نتایج دقیقی به همراه ندارد. اگر به دنبال بررسی دقیق صفحات و دلایل ایندکس نشدن صفحات سایت هستید استفاده از گوگل سرچ کنسول روش بهتر و اصولی‌تری است.

۲- بررسی ایندکس سایت در گوگل سرچ کنسول

گوگل سرچ کنسول ابزاری است که نحوه عملکرد سایت در گوگل را نشان می‌دهد. اگر با این ابزار آشنایی ندارید بهتر است هرچه سریع‌تر گوگل سرچ کنسول را روی سایتتان نصب کنید. این ابزار رایگان است و استفاده از آن به کسانی که به دریافت بازدیدکننده از گوگل برای سایتشان اهمیت می‌دهند توصیه می‌شود.

برای چک کردن صفحات ایندکس شده در سایت کافی است به قسمت Indexing در گوگل سرچ کنسول بروید و گزینه Pages را انتخاب کنید.

بررسی وضعیت ایندکس سایت با استفاده از گوگل سرچ کنسول

باید به تعداد صفحات ایندکس شده توجه کنید. مثلا اگر در سایتتان بیش از ۱۰۰ محصول دارید و تنها ۵۰ صفحه ایندکس شده دارید، حتما مشکلی در ایندکس سایت شما وجود دارد و باید به بررسی دلایل ایندکس نشدن صفحات سایت بپردازید.

از طرفی اگر تعداد کل صفحات و دسته بندی‌ها و محصولات سایت مثلا صد عدد است و شما تعداد بیشتری صفحه ایندکس شده در سایت دارید، این هم یک مشکل است و باید بررسی شود که چه صفحات اضافه‌ای توسط گوگل ایندکس شده اند. صفحاتی که به صورت اضافی ایندکس شده‌اند وقت و انرژی ربات گوگل را هدر می‌دهند. این یک نکته مهم در بهینه سازی بودجه خزش (Crawling budget) است.

خوب است بدانید:
این باور وجود دارد که ربات موتور جستجو در هنگام بازدید مجدد از یک سایت، اجازه بررسی تعداد محدودی از صفحات را دارد. میزان منابع و زمان در اختیار ربات برای بررسی مجدد صفحات یک سایت محدود است و این مقادیر وابسته به اعتبار و تعداد صفحات سایت است. متخصصان سئو این محدودیت را بودجه خزش (Crawling Budget) می‌نامند.
شما باید کاری کنید که موتورهای جستجو بیشتر تمرکزشان را روی صفحاتی از سایتتان بگذارند که قصد رتبه گرفتن در آن‌ها را دارید.

اگر قصد دارید وضعیت ایندکس شدن یک صفحه به خصوص از سایت را بررسی کنید استفاده از ابزار بازرسی آدرس (url inspection tool) در گوگل سرچ کنسول را توصیه می‌کنیم. کافی است طبق تصویر زیر در نوار بالایی گوگل سرچ کنسول آدرس صفحه مد نظرتان را وارد کنید. در صورتی که صفحه ایندکس شده باشد پیام (URL is on Google) را مشاهده خواهید کرد. در صورتی که محتوای صفحه بروزرسانی شده باشد می‌توانید با زدن روی Request Indexing درخواست بررسی مجدد صفحه را بدهید. در نظر داشته باشید درخواست ایندکس پی‌درپی هیچ تاثیری در روند ایندکس صفحه توسط گوگل ندارد. بهتر است پس از ثبت درخواست ایندکس، حداقل یک روز صبر کنید.

بررسی وضعیت ایدنکس یک صفحه در ابزار گوگل سرچ کنسول

در صورتی که صفحه توسط گوگل ایندکس نشده باشد، نتیجه به شکل زیر خواهد بود و شما پیام (URL is not on Google) را دریافت خواهید کرد.

بررسی یک صفحه ایندکس نشده  در گوگل سرچ کنسول

اگر یک صفحه از سایت یا صفحاتی از سایت ایندکس نشده‌اند می‌توانید در گوگل سرچ کنسول درخواست ایندکس صفحات سایت را بدهید. با این روش می‌توانید به گوگل اطلاع دهید که یک مطلب جدید در سایت منتشر شده و یا یکی از مطالب بروزرسانی شده‌اند. با این حال، درخواست ایندکس، مشکلات موجود در سایت را که باعث جلوگیری از ایندکس شدن برخی از صفحات سایت یا کل سایت می‌شود حل نمی‌کند. اگر چندین بار درخواست ایندکس یک صفحه را ثبت کرده‌اید و نتیجه‌ای نگرفته‌اید باید به سراغ بررسی دلایل ایندکس نشدن سایت رفته و راه‌حل‌های مختلف را امتحان کنید.

دلایل مختلفی برای ایندکس نشدن سایت و یا برخی از صفحات سایت وجود دارد که در ادامه به بررسی برخی از آن‌ها خواهیم پرداخت و راهکارهایی برای حل مشکل ایندکس سایت ارائه خواهیم داد.

دلایل ایندکس نشدن سایت در گوگل

با بروزرسانی الگوریتم گوگل در ماه می سال ۲۰۲۰، فرآیند ایندکس شدن در گوگل پیچیده‌تر شده و گوگل وسواس بیشتری در ایندکس کردن مطالب جدید سایت‌ها به خرج می‌دهد. پس اگر مشکل ایندکس شدن محصولات، صفحات و نوشته‌های سایت در گوگل را دارید باید برای رفع آن اقدام کنید. گاها ایندکس نشدن سایت دلایل پیچیده‌ای دارد که در ادامه مرحله به مرحله به بررسی هریک از این دلایل و نحوه حل مشکل خواهیم پرداخت.

۱- دستورات اشتباه در فایل ربات

فایل ربات یک فایل متنی است که به موتورهای جستجو اعلام می‌کند اجازه دسترسی به کدام صفحات سایت را دارند. ممکن است دستوراتی درون فایل ربات سایت وجود داشته باشد که از خزیده شدن صفحه توسط ربات گوگل جلوگیری می‌کند. با اضافه کردن کلمه robots.txt به انتهای آدرس سایت می‌توانید فایل ربات را مشاهده کنید. مثلا فایل ربات نردبان در آدرس زیر قرار دارد:

https://www.nardebangroup.com/robots.txt

فایل ربات سایتتان را باز کنید و اطمینان حاصل کنید که دستوری مشابه دو دستور زیر در فایل ربات قرار ندارد:

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: /

این دو دستور به گوگل اعلام می‌کنند که اجازه دسترسی به هیچ یک از صفحات سایت را ندارند. برای حل مشکل کافی است این دو خط را پاک کنید. به همین سادگی! درصورت وجود این دستور در فایل ربات با وارد کردن آدرس صفحه در سایت با خطای “Crawl allowed? No: blocked by robots.txt” روبرو خواهید شد. که به این معنی است که دسترسی گوگل به این صفحه بلاک شده است. اگر با فایل ربات آشنایی ندارید باید گفت دستورات موجود در این فایل بسیار برای سئوی سایت اهمیت دارند و تغییرات اشتباه ممکن است سئوی سایت را با مشکلات بسیاری مواجه کند. پیشنهاد می‌کنیم مقاله فایل ربات در وبلاگ نردبان را حتما مطالعه کنید.

خوب است بدانید:
یکی از قابلیت‌های پیش‌فرض وردپرس این است که به شما امکان می‌دهد از ایندکس شدن سایت توسط موتورهای جستجو جلوگیری کنید. این ویژگی در مواردی که سایت هنوز در دست طراحی است استفاده می‌شود. اگر سایت تازه تاسیس باشد این احتمال وجود دارد که طراح سایت پس از نهایی شدن طراحی، فراموش کرده باشد که این گزینه را غیرفعال کند. این یکی از شایع‌ترین دلایل ایندکس نشدن مطالب در سایت‌های وردپرسی برای کاربران مبتدی وردپرس است.
مشکل ایندکس نشدن صفحات در سایت وردپرسی
در واقع با زدن این تیک، دستور disallow که در بخش قبلی ذکر شد به فایل ربات سایت اضافه می‌شود و از ایندکس شدن سایت وردپرسی جلوگیری می‌کند.

۲- وجود تگ noindex در صفحات

این امکان وجود دارد که از گوگل خواست صفحاتی از سایت را ایندکس نکند. روش‌هایی وجود دارد تا از ایندکس شدن صفحاتی که حاوی اطلاعات محرمانه است جلوگیری کرد. یک روش استفاده از متا تگ noindex به شکل زیر است:

<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>

این‌ها متاتگ‌های ربات هستند و به موتورهای جستجو اعلام می‌کنند که نباید محتوای صفحه را ایندکس کنند. این تگ در قسمت head صفحه قرار می‌گیرد و برای حل این مشکل باید این تگ را پاک کنید. اگر سایت شما با زبان برنامه نویسی خاصی نوشته شده باید از برنامه نویس بخواهید این مورد را بررسی کند. اگر سایت وردپرسی است راه حل بررسی و حل این مشکل را در ادامه توضیح خواهیم داد.

بررسی و حل مشکل تگ noindex در سایت‌های وردپرسی

اگر از افزونه‌های سئو وردپرس نظیر یوست سئو یا رنک مث استفاده می‌کنید این امکان را دارید که از ایندکس شدن برخی از صفحات جلوگیری کنید. و اگر برخی از صفحات ایندکس نمی‌شوند باید تنظیمات این افزونه‌ها را بررسی کرده تا اگر در تنظیمات این افزونه‌ها اشتباهی وجود دارد آن را اصلاح کنید و از noindex بودن صفحات جلوگیری کنید.

حل مشکل در افزونه یوست سئو

باید به قسمت تنظیمات افزونه یوست سئو مراجعه کرده و سربرگ «انواع محتوا» را از قسمت بهبود ظاهر جستجو انتخاب کنید. با رفتن به این قسمت این امکان وجود دارد تا برای انواع مختلف محتوا تگ noindex را پیاده کرده و از نمایش آن‌ها در موتورهای جستجو جلوگیری کرد. اگر قصد ایندکس شدن یک بخش محتوایی را دارید باید تنظیمات «نمایش در نتایج جستجو» را فعال کنید.

تنظیمات ایندکس انواع محتوا در افزونه سئوی یوست سئو (yoast seo)

تنظیمات بالا به روی همه برگه‌ها، نوشته‌ها و محصولات ووکامرسی قابل اعمال است. ممکن است بخواهید از ایندکس شدن یک صفحه یا نوشته یا برگه خاص در وردپرس جلوگیری کنید. برای این کار باید به قسمت ویرایش نوشته (برگه/محصول) رفته و روی آیکن یوست سئو کلیک کنید. برای ایندکس شدن نوشته، از قسمت پیشرفته، گزینه «به موتورهای جستجو اجازه نمایش نوشته در نتایج جستجو را می دهید؟» را روی «خیر» قرار دهید. اگر یکی از صفحات در سایت مشکل ایندکس شدن دارد باید این تنظیمات را بررسی کنید و اجازه نمایش در موتورهای جستجو روی گزینه «بله» باشد.

بررسی وضعیت ایندکس یک صفحه در افزونه یوست سئو وردپرس
حل مشکل در افزونه رنک مث

اگر از افزونه رنک مث برای سئو و بهینه سازی سایت وردپرسی استفاده می‌کنید، می‌توانید از قسمت عنوان‌ها و متا در تنظیمات رنک مث رفته و در قسمت انواع پست‌ها، برای انواع محتوا تنطیمات ایندکس شدن را بررسی کنید. مثلا اگر قصد دارید تمام نوشته های سایت ایندکس شوند باید تنظیمات را روی نمایه سازی قرار دهید و در غیر این صورت روی No index قرار دهید.

تنظیمات عنوان ها و متا در افزونه رنک مث و تنظیم وضعیت ایندکس انواع محتوا

تنظیمات بالا به روی همه برگه‌ها، نوشته‌ها و محصولات ووکامرسی قابل اعمال است. ممکن است بخواهید از ایندکس شدن یک صفحه یا نوشته یا برگه خاص در وردپرس جلوگیری کنید. برای این کار باید به قسمت ویرایش نوشته (برگه/محصول) رفته و روی آیکن رنک مث (در تصویر نشان داده شده) کلیک کنید. از سربرگ پیشرفته، می‌توانید تنظیمات ایندکس شدن (نمایه سازی) و ایندکس نشدن را برای یک نوشته (برگه/محصول) به‌خصوص در سایت تنظیم کنید.

نمایه سازی نوشته تکی در رنک مث

۳- مشکل در نقشه سایت

نقشه سایت یا سایت مپ، یک فایل با پسوند XML است که تمام محتواهای مهم روی یک سایت را فهرست می‌کند و نحوه ارتباط صفحات مختلف را نمایش می‌دهد. هر صفحه یا فایلی که می‌خواهید در گوگل نمایش داده شود باید در این نقشه سایت قرار داده شود. به عنوان صاحب یک سایت، مطلوب شما این است که گوگل همه صفحات شما را ببیند و فهرست کند. اما گاهی برخی صفحات هیچ‌گونه لینک داخلی ندارند و این مساله منجر به دشوار شدن پیدا کردن صفحات برای ربات خزنده گوگل می‌شود. نقشه سایت به پیدا کردن صفحات مختلف سایت شما توسط ربات گوگل کمک می‌کند. در مرحله اول باید نقشه سایت خود را ایجاد کرده و در گوگل سرچ کنسول ثبت کنید. ما در این مقاله در مورد نحوه ایجاد و ثبت نقشه سایت صحبت نمی‌کنیم و می‌توانید برای کسب اطلاعات بیشتر در این باره به مقاله زیر مراجعه کنید.

برای بررسی اینکه یک صفحه در نقشه سایت وجود دارد می‌توانید آدرس صفحه را در گوگل سرچ کنسول وارد کنید. در تصویر زیر یکی از صفحات سایت نردبان در گوگل سرچ کنسول وارد شده است. همان‌طور که مشخص است این صفحه توسط گوگل ایندکس نشده است.

با بررسی دقیق‌تر اطلاعات این صفحه مشخص می‌شود که علیرغم اینکه این صفحه درون نقشه سایت وجود ندارد، اما گوگل به کمک سایت‌های ارجاع دهنده به این صفحه، موفق به پیدا کردن این صفحه شده است. دلیل ایندکس نشدن این صفحه از سایت، وجود تگ noindex در صفحه است. خطای noindex detected که در پایین صفحه مشخص شده است بیان‌گر همین مساله است.

توضیح دلایل ایندکس نشدن یک صفحه در گوگل سرچ کنسول و خطاهای مربوطه

البته برای مثال بالا عمدا این کار انجام شد، چرا که تمایل نداشتیم این صفحه ایندکس شود. به همین دلیل آن را از نقشه سایت حذف کردیم و تگ noindex را به صفحه اضافه کردیم. شما می‌توانید با وارد کردن آدرس صفحاتی که هنوز ایندکس نشده‌اند در این ابزار به بررسی دلایلی که مانع از ایندکس شدن آن صفحه شده بپردازید.

۴- مشکل در تگ کنونیکال

تگ کنونیکال یه قطعه کد html است که در بخش HEAD صفحه قرار می‌گیرد و به موتورهای جستجو مهم‌ترین و اصلی‌ترین نسخه یک محتوا را معرفی می کند. تگ کنونیکال یک قطعه کد، شبیه کد زیر است:

<link rel="canonical” href="/page.html/">

وقتی از یک صفحه چند نسخه همسان وجود داشته باشد، گوگل تنها یکی از آن‌ها را به عنوان نسخه اصلی در فهرست خود ذخیره می‌کند. به این فرآیند Canonicalization گفته می‌شود و URL انتخاب شده، به عنوان نتیجه جستجو به کاربران نمایش داده خواهد شد.

آسان‌ترین راه برای مشاهده این که گوگل یک صفحه را چگونه ایندکس کرده و چه صفحه‌ای را به عنوان نسخه اصلی (کنونیکال) انتخاب کرده، مراجعه به ابزار URL Inspection Tool گوگل سرچ کنسول است. کافی است آدرس صفحه را در فیلد بالای گوگل سرچ کنسول وارد کنید. این ابزار، صفحه انتخاب شده توسط گوگل به عنوان صفحه اصلی را نشان می‌دهد.

بررسی تگ کنونیکال یک صفحه در گوگل سرچ کنسول

چرا تگ کنونیکال برای سئو مهم است؟

گوگل محتوای تکراری دوست ندارد. محتوای تکراری، انتخاب خزنده گوگل را در موارد زیر سخت می کند:

  1. کدام نسخه از صفحه باید ایندکس شود؟
  2. کدام نسخه از صفحه در کلمات کلیدی مرتبط باید در نتایج جستجو نشان داده شود؟
  3. اعتبار لینک های ورودی به یک صفحه منتقل شوند و یا بین چندین صفحه تقسیم شوند؟

با استفاده صحیح از تگ کنونیکال تمامی این مشکلات حل خواهد شد. این تگ این امکان را به شما می دهد که به گوگل اعلام کنید که کدام صفحه را باید ایندکس و رتبه بندی کند و اعتبار لینک ها را به کجا انتقال دهد. اگر این کار را انجام ندهید، گوگل خود تشخیص محتوای اصلی را به عهده می گیرد. البته توصیه می شود که این کار را به گوگل نسپارید. زیرا ممکن است نسخه‌ای را به عنوان محتوای اصلی شناسایی کند که مد نظر شما نیست.

برای مشاهده تگ کنونیکال استفاده شده در هر صفحه می‌توانید، صفحه را بازکنید و در مرورگر خود با فشار همزمان Ctrl+U سورس کد صفحه را مشاهده و تگ کنونیکال را مطابق تصویر زیر مشاهده کنید:

نحوه مشاهده تگ کنونیکال یک صفحه در مرورگر

اگر سایت شما وردپرسی است، افزونه‌های سئو به‌طور خودکار برای هر صفحه تگ کنونیکال را اضافه می‌کنند و به همان صفحه ارجاع می‌دهند.

۵- مشکل در لینک‌های داخلی

لینک‌های داخلی (Internal Links) نقش مهمی را در ایجاد درک بهتر گوگل از موضوعات سایت و سلسله مراتب موجود ایفا می‌کنند. با ایجاد استراتژیک لینک‌های داخلی، درک گوگل از محتوای سایت بهبود می‌یابد.

سه مشکل اصلی ناشی از لینک‌های داخلی که باعث ایندکس نشدن صفحات سایت می‌شود در ادامه ارائه شده است:

  • لینک‌های داخلی دارای خصیصه نوفالو هستند: لینک‌های نوفالو اعتبار را انتقال نمی‌دهند، به این دلیل که به گوگل می‌گویند لینک را دنبال نکند. در صورت استفاده از لینک نوفالو داخلی ممکن است اقدام به نادیده گرفتن صفحه هدف کند و آن صفحه ایندکس نشود. پس اطمینان حاصل کنید که لینک‌های داخلی ارجاع دهنده به صفحاتی که ایندکس شدنشان مهم است، نوفالو نباشند.
  • صفحات به بیشتر از ۳ کلیک برای دسترسی نیاز دارند: اگر صفحه یا صفحاتی در سایت وجود دارد که برای دسترسی به آن‌ها از صفحه اصلی سایت نیاز به بیش از ۳ کلیک وجود دارد، این احتمال وجود دارد که ایندکس نشوند. پس بهتر است لینک‌های داخلی بیشتری برای این صفحات ایجاد کنید.
  • صفحات یتیم در نقشه سایت: صفحاتی از سایت که هیچ لینک داخلی به آن‌ها ارجاع نمی‌دهد را صفحات یتیم (orphaned pages) می‌گویند. این صفحات به ندرت ایندکس می‌شوند. لینک‌های ارجاع دهنده به صفحات یتیم را بیشتر کنید.

۶- محتوای ناقص و بدون کیفیت

هدف گوگل ارائه محتوای با کیفیت به کاربران در کمترین زمان ممکن است. پس بهتر است روی ارائه بهترین محتوا به کاربرانتان تمرکز کنید. با این کار شانس ایندکس سریع‌تر صفحات افزایش می‌یابد.

با ارزیابی‌های سخت‌گیرانه گوگل درباره محتوا و رقابت پایان‌ناپذیر سایت‌ها، تولید و بهینه‌سازی محتوای مفید امری است که متوقف نمی‌شود. جدای از تولید محتوای جدید، روی بهبود آنچه که در سایت وجود دارد تمرکز کنید. اگر تمامی موارد فنی که مانع از ایندکس شدن مطالب سایت می‌شوند را بررسی کرده‌اید و همچنان مشکل ایندکس شدن صفحات سایت دارید، به احتمال زیاد کیفیت پایین محتوا دلیل ایندکس نشدن صفحه یا صفحاتی از سایت است.

به همین دلیل ارزشش را دارد که صفحات سایت را بررسی کنید و از خود این سوالات رو بپرسید: آیا محتوای این صفحه ارزشمند است؟ آیا کاربر در این صفحه پاسخ سوالات و نیازهایش را پیدا می‌کند؟ اگر صفحه یا صفحاتی دارید که دارای محتوای قدیمی و بی‌کیفیت هستند، یا باید آن‌ها را بروزرسانی کنید، یا باید آنها را حذف کنید و یا با استفاده از تگ نوایندکس یا تنظیمات فایل ربات از هدر رفتن وقت گوگل برای خزیدن این صفحات جلوگیری کنید.

خوب است بدانید:
به فرایند حذف محتوای بی‌کیفیت و تاریخ گذشته در سایت هَرَس محتوایی (Content Pruning) گفته می‌شود. با خلاص شدن از وزن مرده، راه را برای محتوایی که پتانسیل شکوفایی و جذب ترافیک از گوگل دارد باز می‌کنید. البته هرس محتوایی تنها شامل حذف محتوا نمی‌شود و می‌تواند شامل بروزرسانی مطالب قدیمی که پتانسیل جذب ترافیک دارند باشد. خوب است بدانید که بسیاری از فاکتورهای رتبه‌دهی گوگل وابسته به وضعیت کلی سایت هستند و وجود صفحات کم‌ارزش و بی‌کیفیت بر شانس کل سایت برای کسب رتبه اثر منفی می‌گذارد.

۷- محتوای تکراری

محتوای تکراری (Duplicate Content) عبارت است از محتوای بسیار مشابه و یکسان که در چندین صفحه در سایت شما یا سایر سایت‌ها ظاهر می‌شود.

محتوای تکراری (duplicate content) چیست؟

بصورت کلی محتوای تکراری می‌تواند برای گوگل بسیار گمراه کننده باشد. محتوای تکراری یکی از مشکلات اساسی برای صاحبان سایت‌های فروشگاهی است که باید راهی پیدا کنند تا به گوگل بفمانند کدام بخش از سایت را ایندکس کند و از کدام بخش صرف نظر کند. قرار گرفتن یک محصول در دسته‌بندی‌های مختلف یکی از اصلی‌ترین دلایل ایجاد محتوای تکراری در سایت فروشگاهی است. مثال دیگر محتوای تکراری در سایت فروشگاهی، وجود برخی محصولات با عنوان، عکس و توضیحات یکسان است. فیلترهای موجود در سایت فروشگاهی هم در صورت اضافه کردن پارامترها به انتهای آدرس، می‌توانند منجر به ایجاد محتوای تکراری شوند. محتواهای یکسان شانس ایندکس شدنشان کم است و در صورت ایندکس شدن، با یکدیگر رقابت خواهند کرد.

برای حل این مشکلات می‌توان از دستورات فایل ربات، تگ کنونیکال و بروزرسانی محتوایی استفاده کرد. در صورتی که نیاز به مطالعه بیشتر در مورد نحوه مدیریت چالش‌های سئوی سایت‌های فروشگاهی دارید می‌توانید مقاله آموزش سئوی سایت فروشگاهی را مطالعه کنید.

۸- ضعف در بک لینک

لینک سازی یکی از مهمترین اصول سئو است و بسیاری بر این باورند که لینک سازی موثر ۵۰ درصد موفقیت در سئوی سایت را تضمین می‌کند. به کمک لینک‌های ورودی یا آنچه که به آن بک لینک (Backlink) گفته می‌شود، گوگل می‌تواند صفحات سایت شما را کشف کند. از آنجایی که هر لینک مقداری اعتبار برای صفحه به ارمغان می‌آورد، در صورتی که لینک از یک سایت معتبر باشد، صفحه سریع‌تر ایندکس خواهد شد و تاثیر مثبتی روی رتبه‌ها خواهد گذاشت.

برای مطالعه بیشتر در مورد اصول لینک سازی و روش‌های دریافت بک لینک مقاله بک لینک چیست را مطالعه کنید.

۹- سایت با دستگاه‌های موبایل سازگار نیست

سازگاری سایت یکی از مهمترین اصول در بهینه سازی موتورهای جستجو است و از آنجایی که اغلب کاربران از دستگاه‌های تلفن همراه برای بازدید سایت‌ها و جستجو در گوگل استفاده می‌کنند، سازگاری سایت با موبایل و ریسپانسیو بودن برای گوگل بسیار مهم است.

مهم نیست محتوای سایت شما چقدر مهم و با کیفیت است، اگر سایت شما برای نمایش در دستگاه‌های موبایل و تبلت بهینه سازی نشده باشد، رتبه خود را از دست خواهید داد.

برای بررسی این موضوع، آدرس صفحه یا صفحاتی از سایت که مشکل ایندکس شدن دارند را در ابزار Mobile Friendly Test گوگل وارد کنید. در صورت سازگاری سایت شما با موبایل پیغامی مشابه تصویر زیر دریافت خواهید کرد. در صورتی که سایت با موبایل سازگار نیست باید به فکر رفع مشکل باشید و از طراح سایت حرفه‌ای بخواهید این مشکل را برطرف کند.

تست سازگاری با موبایل در ابزار mobile friendy test

۱۰- سرعت بارگذاری پایین سایت

سرعت سایت یک فاکتور مهم در رنکینگ سایت در گوگل است. همه ما تجربه کار با وبسایت‌های کند را داریم. هدف گوگل نیز کسب رضایت کاربران است و به همین دلیل، به سایت‌هایی که نسبت به تعاملات کاربر واکنش سریع‌تری نشان بدهند، رتبه بهتری می‌دهد. از سال ۲۰۰۹ سرعت سایت رسما به عنوان یکی از فاکتورهای رتبه‌بندی وبسایت‌ها در گوگل اعلام شد. اگر سایتتان سرعت بارگذاری پایینی داشته باشد، ربات گوگل در هر بازدید، تعداد کمتری از صفحات سایت را بازدید و بررسی می‌کند و شانس ایندکس شدن صفحات سایت کمتر می‌شود. همچنین پایین بودن سرعت بارگذاری باعث کمتر شدن توجه گوگل به سایت شما خواهد شد و گوگل زمان بیشتری برای مشاهده تغییرات و بروزرسانی‌های محتوایی در صفحات سایت لازم خواهد داشت. پس توجه به بحث بهبود سرعت سایت حیاتی است.

برای بررسی سرعت سایت ابزارهای مختلفی وجود دارد:

ابزارهای تست سرعت سایت

برای بررسی سرعت وبسایت ابزارهای مختلفی وجود دارد، برای بررسی وضعیت سایت خود می‌توانید به این سایت‌ها مراجعه کنید و با وارد کردن آدرس، سرعت سایت خود را بسنجید:

بررسی-سرعت-سایت-در-پیج-اسپید-اینسایت-گوگل
در ابزار بررسی سرعت Page Speed Insight، پیشنهاداتی برای بهبود سرعت وبسایت ارائه شده است که با بررسی و اعمال این پیشنهادات می‌توانید سرعت وبسایت خود را بهبود ببخشید. کسب رتبه کامل توسط سایت نردبان در ابزار پیج اسپید اینسایت گوگل
گیری سرعت سایت با gtmetrix جی تی متریکس
GTmetrix یکی از ابزارهای تست سرعت سایت است. سایت نردبان در تست جی تی متریکس در ۴ دهم ثانیه بارگذاری شد. برای تست سرعت سایت خود با جی تی متریکس اینجا کلیک کنید.

ترفندهای افزایش سرعت سایت

بهبود سرعت وبسایت کاری کاملا تکنیکال و فنی است و برای کاربران با دانش فنی اندک کسب نمره بالا در ابزارهای تست سرعت، سخت و دشوار است. اگر سایت شما یک سایت وردپرسی است، به سادگی و با استفاده از افزونه‌های افزایش سرعت سایت وردپرس نظیر WP-Rocket و Asset Clean Up می‌توانید سرعت سایت خود را تا حد قابل قبولی افزایش دهید. در صورت نیاز به مشاوره و دریافت خدمات تخصصی افزایش سرعت بارگذاری سایت می‌توانید با ما تماس بگیرید. در غیر این صورت با مطالعه نکات زیر می‌توانید سرعت سایت خود را تا حد زیادی افزایش دهید:

انتخاب هاست مناسب: تاثیر هاست در سئو غیر قابل انکار است. استفاده از یک هاست سریع، مساله مهمی است که باید برای آن هزینه کنید. میزبانی سایت در یک هاست ارزان می‌تواند به قیمت هدر رفتن تمام تلاش‌های شما برای بهبود سئوی سایت تمام شود. در هنگام خرید هاست از خرید هاست‌های اشتراکی ارزان قیمت بپرهیزید و موقعیت مکانی سرور هاست را نزدیک به کاربرانتان انتخاب کنید.

قبل از اقدام به خرید حتما از اینکه هاست شما پروتکل HTTP/2 را پشتیبانی می‌کند اطمینان حاصل کنید. پشتیبانی از HTTP/2 تاثیر بسزایی در بارگذاری سریع‌تر سایت خواهد داشت. برای بررسی اینکه آیا هاست کنونی سایت شما از این پروتکل پشتیبانی می‌کند یا خیر به این لینک رفته و آدرس سایت خود را وارد کنید.

استفاده از شبکه توزیع محتوا (CDN): یکی دیگر از روش‌های افزایش سرعت بارگذاری سایت استفاده از CDN یا شبکه توزیع محتوا است. CDN مخفف عبارت Content Delivery Network به معنای شبکه توزیع محتوا می‌باشد و عبارت است از شبکه‌ای از سرورها در نقاط مختلف جغرافیایی که در کنار هم کار می‌کنند و هدف آن‌ها ارسال محتوای سایت از سرور نزدیک‌تر به سمت کاربر به منظور افزایش سرعت بارگذاری سایت است.

نمایش نحوه عملکرد cdn در سایت
ارسال سریع‌تر محتوا از سرورهای نزدیک به کاربر در شبکه توزیع محتوا (CDN) منجر به افزایش سرعت بارگذاری سایت خواهد شد

مطالعه بیشتر: CDN چیست؟ مزایای CDN وآموزش نصب و فعالسازی CDN

کاهش حجم تصاویر: یکی از روش‌های ساده برای افزایش سرعت بارگذاری سایت کاهش حجم تصاویر و استفاده از تصاویر با ابعاد متناسب با محل استفاده می‌باشد. برای مطالعه بیشتر درباره روش‌های کاهش حجم تصاویر و اصول سئوی تصاویر به مقاله سئوی تصاویر مراجعه کنید.

کم کردن حجم کدهای استفاده شده: با فشرده کردن فایل‌های css، html، js حجم آن‌ها را کاهش دهید. کم شدن حجم این فایل‌ها منجر به بهبود سرعت بارگذاری سایت خواهد شد.

بررسی مداوم ریدایرکت ها: پردازش هر ریدایرکت ۳۰۱، چند میلی ثانیه زمان می‌برد. این عدد را در تعداد صفحات و لایه‌های ریدایرکت‌ها که ضرب کنید متوجه تاثیر ریدایرکت‌ها بر سرعت سایت خواهید شد.

مدیریت استفاده از افزونه‌ها (Plugins): افزونه‌های قدیمی اغلب دارای مشکلات امنیتی هستند که سایت را در معرض خطرات امنیتی و هک قرار می‌دهند. همواره سعی کنید پلاگین‌های مورد استفاده را بروز نگه دارید و تنها به استفاده از افزونه‌های ضروری بپردازید. همچنین بهتر است برای طراحی سایت، قالب اختصاصی خود را طراحی کنید و از استفاده از قالب‌های آماده بپرهیزید. چرا که قالب‌های آماده حاوی مقدار زیادی از کدهای غیرضروری هستند.

پرسش‌های متداول درباره ایندکس گوگل و ایندکس شدن سایت

در زیر برخی از پرسش‌های متداول کاربران درباره ایندکس شدن سایت، دلایل ایندکس نشدن سایت و برخی از خطاهای گوگل سرچ کنسول ارائه شده است.

زمان لازم برای ایندکس شدن سایت در گوگل چقدر است؟

طبق تجربه، تخمین ما به این صورت است:
سایت‌های با کمتر از ۵۰۰ صفحه ۳ الی ۴ هفته
سایت‌های با عداد ۵۰۰ الی ۲۵۰۰۰ صفحه، ۲ الی سه ماه
سایت‌های بالای ۲۵۰۰۰ صفحه، ۴ الی ۱۲ ماه
زمان برای ایندکس شدن کامل لازم دارند. البته که هر سایت شرایط متفاوتی دارد و تخمین بالا دقیق نیست.

خطای Crawled – currently not indexed چیست؟

این خطا به این معنی است که گوگل صفحه مورد نظر را دیده است ولی هنوز تصمیمی برای ایندکس گرفتن آن نگرفته است و قانع نشده است که این یک صفحه مهم و مفید برای کاربران است. از دلایل این خطا می‌توان به لینک داخلی ضعیف، محتوای بی کیفیت و یا تکراری و یا بک لینک ضعیف اشاره کرد.

چگونه می‌توان از ایندکس شدن یک صفحه در گوگل جلوگیری کرد؟

برای جلوگیری از ایندکس شدن سایت در گوگل روش‌های مختلفی وجود دارد. می‌توانید با اصلاح دستورات موجود در فایل ربات از ایندکس شدن یک صفحه یا کل سایت در گوگل جلوگیری کنید. روش دیگر استفاده از تگ نوایندکس در صفحات است. اگر برای حذف صفحات سایت از نتایج جستجوی گوگل عجله دارید می‌توانید از قسمت indexing>removals اقدام به حذف فوری یک لینک از نتایج جستجوی گوگل کنید.

سخن آخر

ایندکس شدن سایت در گوگل (ثبت سایت در گوگل) نیازمند توجه به جنبه‌های مختلف سئوی فنی، محتوایی و حتی لینک‌سازی دارد و با الگوریتم ماه می سال ۲۰۲۰ ایندکس شدن صفحات سایت در گوگل پیچیده‌تر هم شده است. با یک استراتژی مشخص این امکان وجود دارد که گوگل اغلب بخش‌های مهم سایت شما را ایندکس کند. به خاطر داشته باشید که منابع گوگل محدود است و در بسیاری از سایت‌ها همه صفحات سایت ایندکس نمی‌شوند.

دو مشکل اصلی که باعث ایندکس نشدن صفحات سایت می‌شوند به شرح زیر است:

  • مشکلات فنی که از ایندکس شدن صفحات جلوگیری می‌کنند.
  • گوگل سایت شما را یک سایت بی‌کیفیت و بی ارزش برای کاربران می‌بیند.

این احتمال وجود دارد که سایت شما هردوی این مشکلات را داشته باشد. اما بنابر تجربه ما، غالبا مشکلات سئوی فنی است که منجر به ایندکس نشدن صفحات سایت می‌شوند. ضمن مطالعه موارد ذکر شده در این مقاله خواهید توانست مشکلات ایندکس شدن سایتتان را در ۹۰ درصد مواقع حل کنید. فقط به خاطر داشته باشید ایندکس شدن سایت با رتبه گرفتن در گوگل تفاوت دارد. جهت رتبه گرفتن در صفحات جستجوی گوگل برای کلید واژه های مهم، توجه به سایر جنبه‌های سئو هم بسیار حیاتی است. برای مطالعه بیشتر در مورد سئو می‌توانید به وبلاگ نردبان سر بزنید.

شما در مورد ایندکس شدن سایت چه نظری دارید؟ آیا تا به حال به مشکل ایندکس شدن برخورده‌اید؟ برای حل مشکل ایندکس سایت چه اقداماتی کرده‌اید؟ سوالات و تجربیاتتان را برای ما بنویسید. خیلی زود پاسخ شما را خواهیم داد.

منابع

با دوستانتان به اشتراک بگذارید

تلگرام
واتسپ
توئیتر
فیسبوک
پینترست
لینکدین
به این مطلب چند ستاره می‌دهید؟ (کمترین امتیاز سمت راست، بیشترین امتیاز سمت چپ)
(تعداد رای: 3 - امتیاز میانگین: 5)

دیدگاه‌ خود را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دوست دارید در جریان پاسخ دیدگاه خود و یا نظرات دیگران قرار بگیرید؟

شروع ماجراجویی در وب با گروه دیجیتال نردبان

برای کسب اطلاعات بیشتر درباره خدمات سئو، مشاوره سئو و طراحی سایت نردبان و دریافت مشاوره، با ما تماس بگیرید

عضویت در خبرنامه

شاید به این مطالب هم علاقمند باشید: