روش های بهتر ایندکس شدن سایت

در این مقاله درباره ایندکس شدن سایت و روش های آن می خواهیم صحبت کنیم. زمانی که شما در نتایج جستجو گوگل وجود نداشته باشید به این معنا است که در سئو سایت خود مشکلی به وجود آمده و به این ترتیب گوگل سایت شما را ایندکس نخواهد کرد. در صورت ایندکس نشدن سایت، مطالب شما برای هیچ فردی نشان داده نخواهد شد. یکی دیگر از موضوعاتی که باعث بروز این موضوع می شود از مشکب به وجو آمدن در ترافیک طبیعی سایت می باشد.

در این مقاله ما به سه موضوع زیر خواهیم پراخت و راه حل های هر کدام را برای شما به صورت کامل بیان خواهیم کرد:

• تمامی صفحات وب سایت شما ایندکس نمی شود.
• بعضی از آن ها ایندکس و برخی دیگر نمی شود.
• صفحات جدید سایت شما با سرعت کافی ایندکس نمی شوند.

ایندکس و کراول چه معنی دارد؟

در مرحله اول خوب است با مفهوم دقیق و درست ایندکس و کراول آشنا شوید.

• کراول کردن:

در این فرآیند انواع لینک های متفاوت بررسی می شوند تا به عنوان یک محتوای جدید شناخته شوند.

• ایندکس شدن:

به ذخیره کردن صفحات سایت در یک دیتابیس گسترده گفته خواهد شد.

• خزنده وب:

نرم افزاری است که از روند کراول شدن صفحات سایت های مختلف مراقبت می کند.

به طور کلی می تواند گفت کراول کردن عملی است که گوگل به واسطه آن صفحات مختلف سایت های موجود را شناسایی می کند و سپس آن ها را به ایندکس شدن سایت خود اضافه می کند. گوگل این کار به توسط یک خزنده وب با عنوان ربات گوگل شناخته می شوند، انجام می دهد. هنگامی که شما درباره یک موضوع در گوگل جستجو می کنید، در واقع شما درخواست این را داده اید که هر صفحه ای که در رابطه با موضوع مدنظرتان می باشد را مشاهد کنید. به دنبال همین موضوع، روزانه وب سایت های گوناگون درباره موضوعات متفاوت، مطالب زیادی را منتشر می کنند.

گوگل برای راحتی و جلب رضایت کاربران خود تمامی تلاش را می کند؛ به همین دلیل فاکتورهای زیادی را برای رتبه بندی صفحات سایت های موجود، ایجاد کرده است و با استفاده از الگوریتم خود به هر کدام از آن ها رنک متفاوتی می دهد تا بهترین آن ها در رتبه های برتر قرار بگیرند.

نکته مهمی که بهتر است از مطالب بالا متوجه شوید این است که مفاهیم ایندکس و رنکینگ گوگل با یکدیگر متفاوت هستند. به زبانی دیگر اندیکس شدن یعنی وارد شدن به یک مسابقه و رنک بندی گوگل یعنی در این مسابقه برنده شوید.

چگونه وضعیت ایندکس شدن سایت خود را بررسی کنیم؟

در گوگل عبارت site:yourwebsite.com را جستجو کرده و نام سایت خود را در آن بگنجانید. تعداد نتایجی که مشاهده می کنید، نشان می دهد که چند مورد از صفحات سایت شما ایندکس شده اند. حال اگر بخواهید که به شکل دقیقتر وضعیت یک صفحه خاص را مورد بررسی قرار دهید، کافی است که URL مدنظرتان را به قالب بالا اضافه کنید.

اکنون شما می دانید که چگونه می شود به راحتی وضعیت ایندکس شدن یک صفحه را بررسی کرد. البته شما می توانید اطلاعات بیشتر و مهمترین از این موضوع به دست بیاورید؛ کافی است که به حساب کاربری کنسول جستجو خود رفته و در تب coverage اطلاعات بیشتری درباره ایندکس شدن صفحات سایت خود به دست بیاورید.

در تصویر بالا می توانید مشاهده کنید که چه تعداد صفحه ایندکس نشده با اخطار یا بدون اخطار در وب سایت خود دارید. وقتی این اعداد چیزی نزدیک به صفر باشند، این یعنی که گوگل حداقل برخی از صفحات سایت شما را ایندکس کرده است. اما اگر اینطور نیست، شما مشکلات مهمی در زمینه ایندکس شدن دارید.

در نتیجه اگر کاربر کنسول جستجو گوگل نیستید، پیشنهاد می کنیم که حتما هرچه سریعتر اقدام به ثبت نام کرده و از اطلاعات مفیدی که در اختیار خواهید گرفت، استفاده کنید. البته شما می توانید وضعیت ایندکس شدن یا نشدن یک صفحه خاص را نیز بررسی کنید. برای انجام این کار تنها کافی است آدرس اینترنتی مدنظر خود را در قسمت URL Inspection tool وارد کرده و از اطلاعات آن استفاده کنید. اگر صفحه ایندکس شده باشد، پیغام URL is on Google”” را مشاهده خواهید کرد.

چگونگی ایندکس شدن در گوگل

قبل از هرکاری، اگر متوجه شدید که یک صفحه سایت شما، ایندکس نشده است، پیشنهاد می کنیم که مراحل زیر را به دقت انحام دهید:

• وارد کنسول جستجوی گوگل شوید.
• وارد قسمت URL inspection tool شوید.
• URL ای که می خواهید گوگل آن را ایندکس کند را در این قسمت وارد کنید
• منتظر بمانید تا گوگل آن را مورد بررسی قرار دهد
• بر روی “Request indexing” کلیک کنید

این روند برای مواقعی که یک مطلب جدید در سایت خود منتشر می کنیم، بسیار کاربردی است. در واقع شما به گوگل اعلام می کنید که محتوایی جدید دارید و می خواهید که آن را مورد بررسی قرار دهد.

اما باید دقت داشته باشید که درخواست ایندکس برای آن دسته از صفحاتی که قدیمی هستند و مشکلات اساسی در  ایندکس شدن خود دارند تاثیری نخواهد داشت.

بنابراین پیشنهاد میکنیم از ۱۰ روش تضمینی برای ایندکس در ادامه این مقاله به بررسی جداگانه ای هر کدام از آنها می پردازیم استفاده کنید

حذف کردن Crawl Blocks در فایل robots.txt برای ایندکس شدن سایت

آیا گوگل کل سایت شما را ایندکس نمی کند؟ این امر ممکن است به خاطر crawl block در فایل robots.txt باشد. برای بررسی این مشکل دامنه خود را در قالب زیر وارد کنید:

.yourdomain.com/robots.txt

اگر به این قسمت وارد شدید و دستوراتی مبنی بر عدم اجازه دادن به ربات گوگل برای ایندکس مطالب سایتتان مشاهده کردید، بهتر است که حتما آن ها را حذف کنید. این نوع از دستورها به ربات گوگل اعلام می کنند که اجازه ندارد که هیچ یک از صفحات سایت شما را کراول کند.

برای کسب اطلاعات بیشتر در مورد این موضوع پیشنهاد میکنیم که حتما از کنسول جستجوی گوگل استفاده کنید. ابتدا باید به قسمت URL inspection tool رفته و در تب coverage block وضعیت گزینه “Crawl allowed” را بررسی کنید.

حذف تگ های noindex

اگر شما تمایلی نداشته باشید، گوگل صفحات سایت شما را ایندکس نخواهد کرد. این به شما کمک می کند تا برخی صفحات خود را به صورت خصوصی نگه دارید. برای انجام این کار می توانید از دو روش زیر استفاده کنید:

متا تگ ها

X-Robots-Tags

Sitemap شما باید شامل صفحه مورد نظر باشد

یک sitemap به گوگل اعلام می کند که کدام صفحه سایت شما دارای اهمیت بیشتر و کدامیک اهمیت کمتری دارد. همچنین می تواند مانند یک راهنمایی باشد که نشان دهد صفحه سایت شما هرچند یکبار نیاز به کراول شدن مجدد دارد.

گوگل باید بتواند به تمامی صفحات شما دسترسی داشته باشد. حتی اگر آن صفحات در sitemap شما حضور نداشته باشند. برای اینکه متوجه شوید که یک صفحه در نقشه سایت شما هست یا خیر، درست مثل موارد قبل می توانید از URL inspection tool کنسول جستجوی گوگل استفاده کنید. اگر شما اخطار “URL is not on Google” را مشاهده کردید، این یعنی که صفحه سایت شما یا ایندکس نشده یا در sitemap قرار ندارد.

حذف تگ های canonical نامناسب

تگ های canonical به گوگل اعلام می کند که کدام نوع از صفحه سایت مورد پسندتر می باشد. ظاهر این تگ ها به شکل زیر است:

البته بیشتر سایت ها، در صفحات سایت خود از این تگ ها استفاده نمی کنند. این موضوع به گوگل می فهماند که صفحه مورد نظر تنها صفحه ای است که شما آن را ترجیح می دهید و قصد دارید آن را معرفی کنید؛ به زبان دیگر شما می خواهید که این صفحه ایندکس شود.

اما بعضی وقت ها ممکن است که شما از تگ های canonical اشتباه استفاده کنید. این یعنی که شما در واقع صفحه ترجیح داده شده ای را به گوگل معرفی می کنید که به طور کلی وجود ندارد. در این حالت صفحه سایت شما ایندکس نخواهد شد. برای بررسی این موضوع باز هم می توانید از URL inspection tool استفاده کنید؛ اگر اخطاری برای تگ های canonical  مشاهده کردید، بهتر است هرچه سریعتر آن را مرتفع کنید.

لینک سازی داخلی برای صفحه مورد نظر

اگر می خواهید که یک صفحه سایت هرچه سریعتر و بهتر ایندکس شود، پیشنهاد می کنیم که حتما از این روش استفاده کنید. تنها کافی است صفحات دیگر وب سایت شما با استفاده از یک لینک داخلی، به آن صفحه مرتبط شوند. بنابراین شما باید برای تمامی صفحاتی که می خواهید ایندکس شوند، این مورد را بررسی کنید تا مطمئن شوید که برای همه آن ها انجام شده باشد.

برای انجام بهتر ایندکس شدن سایت این روش بهتر است از دستورالعمل زیر استفاده کنید:

• لیست کامل صفحات سایت را دانلود کنید.
• سایت را به خوبی کراول کنید.
• تمامی URL های موجود را بررسی کنید.

واضح است که URL هایی که در این روند پیدا نشوند، جزو صفحات بی ارزش هستند. دو کار وجود دارد که می توانید بر روی آن ها انجام دهید:

• اگر این صفحه برای شما اهمیتی ندارد، آن را از sitemap خود حذف کنید.
• اگر این صفحه برایتان مهم است، آن را وارد روند لینک سازی داخلی سایت خود کنید.

بهینه سازی لینک های داخلی nofollow

لینک های nofollow به لینک هایی گفته می شود که دارای تگ rel=“nofollow” هستند. این دسته از تگ ها در واقع از شامل شدن این URL مورد نظر برای PageRank جلوگیری می کنند و همچنین گوگل لینک های nofollow را کراول نمی کند.

در حقیقت شما باید اطمینان ایجاد کنید که تمامی لینک های داخلی سایتتان که می خواهید ایندکس شوند، به صورت followed باشند. برای انجا این کار و چک کردن این که وضعیت لینک ها به چه صورت است، ابزارهای رایگان بسیار زیادی در گوگل وجود دارد.

افزودن لینک های داخلی قدرتمند برای ایندکس شدن سایت

گوگل محتوای جدید را با کراول کردن سایت شما پیدا می کند. حال اگر شما از به کارگیری لینک های داخلی مناسب غافل شوید، ممکن است که گوگل نتواند صفحه مورد نظر شما را پیدا کند.

تنها راه آسانی که برای حل این مشکل وجود دارد این است که از لینک های داخلی برای صفحه سایت استفاده کنید. این عملیات لینک سازی داخلی را می توانید با استفاده از هر کدام از صفحاتی که در سایت شما حضور داشته و قابلیت کراول و ایندکس شدن را دارند. به علاوه اگر می خواهید که این مشکل به سرعت حل شود، بهتر است از صفحات برتر سایت خود برای انجام این کار استفاده کنید.

در پایان این نکته را باید اضافه کنیم که هیچ وقت به اشتباه تصور نکنید که افزایش ترافیک و ایندکس شدن در کل به یک معنا هستند. هیچ دلیلی وجود ندارد که اگر صفحات سایت شما ایندکس شد، ترافیک دریافتی شما هم حتما باید افزایش پیدا کند. در کل امیدواریم از مطالب گفته شده بهره کافی را برده باشید تا بتوانید عملکرد بسیار مناسبی از خود نشان دهید.