حل مشکل سئو و کرال گوگل هنگام قطعی اینترنت بین‌الملل

اما خوشبختانه، یک راهکار هوشمندانه، کم‌هزینه و کاملاً عملی وجود دارد که می‌تواند هر دو طرف معادله را حفظ کند. در این مقاله از ایده پردازش، می‌خواهیم گام‌به‌گام این روش را بررسی کنیم و ببینیم چطور می‌توان در زمان قطعی اینترنت، هم کاربران ایرانی را راضی نگه داشت، هم گوگل را.

در زمان قطعی اینترنت دقیقاً چه اتفاقی برای سایت می‌افتد؟

برای درک بهتر راهکار، ابتدا باید تصویر روشنی از سناریوهای بحرانی داشته باشیم. در زمان قطع شدن اینترنت بین‌الملل، عملاً دو وضعیت متضاد رخ می‌دهد:

• سایت میزبان‌شده در سرور ایران: کاربران داخلی به سایت دسترسی کامل دارند، اما خزنده‌های گوگل (Googlebot) که از خارج ایران درخواست می‌دهند، با خطای Connection Timeout یا 5xx مواجه می‌شوند. نتیجه: کاهش شدید Crawl Rate، noindex شدن صفحات و سقوط رتبه.
• سایت میزبان‌شده در سرور خارج از ایران: ربات‌های گوگل بدون مشکل سایت را می‌بینند و سئو حفظ می‌شود، اما کاربران ایرانی دیگر قادر به بازدید از سایت نیستند. ترافیک ورودی به صفر می‌رسد و عملاً کسب‌وکار آنلاین از داخل کشور تعطیل می‌شود.

تصاویر زیر از سرچ کنسول گوگل (Google Search Console) نشان می‌دهند که در یک نمونه واقعی، چه بلایی بر سر سایت‌های میزبان‌شده در ایران آمده است: افزایش چشمگیر خطاهای کرال و کاهش ناگهانی صفحات ایندکس‌شده، درست هم‌زمان با محدودیت اینترنت.

در مقابل، سایت‌های میزبان‌شده در سرورهای خارجی، هرچند بازدیدکننده‌های ایرانی خود را از دست دادند، اما جایگاه خود را در گوگل حفظ کردند و حتی برخی از آن‌ها به دلیل حذف رقبای داخلی، بهبود رتبه را هم تجربه کردند. این یعنی یک فرصت بالقوه، اگر بتوانیم هر دو گروه (کاربر ایرانی و گوگل) را هم‌زمان راضی نگه داریم.

نحوه انجام خدمات پیکربندی CDN مسیریابی مبتنی بر موقعیت جغرافیایی (Origin Rules) + قیمت

برای حل مشکل مربوط به قطعی اینترنت بین الملل شما نیاز به دو هاست خواهید داشت یکی در ایران و یکی در خارج و در کنار این دو با استفاده از یک شبکه توزیع محتوا (CDN) مجهز به قابلیت مسیریابی مبتنی بر موقعیت جغرافیایی (Origin Rules) می توانیم مشکل کاربران خارجی اعم از گوگل و سرویس های دیگر را رفع کنیم که هزینه انجام این عملیات توسط ایده پردازش از 5 میلیون تومان برای سایت های کوچک و کم حجم شروع خواهد شد ، این مبلغ براساس ویژگی های سایت شما متغییر خواهد بود و برای دریافت قیمت دقیق تر می توانید با ما تماس بگیرید و از مشاوره ما نیز استفاده کنید.

چرا روش‌های سنتی کافی نیستند؟ (بررسی GeoDNS)

احتمالاً نام GeoDNS را به عنوان یک راهکار قدیمی برای این مسئله شنیده‌اید. ایده‌ی GeoDNS این است که بر اساس موقعیت جغرافیایی کاربر، آی‌پی متفاوتی تحویل دهد؛ مثلاً کاربر ایرانی آی‌پی سرور داخلی را دریافت کند و کاربر خارجی (یا ربات گوگل) آی‌پی سرور خارجی را.

اما در عمل، این روش در ایران دقت لازم را ندارد. مشکل اصلی، نحوه‌ی پیاده‌سازی استاندارد DNS در لایه‌ی ISPهای ایران است. بسیاری از کاربران ایرانی از DNS Resolverهای عمومی مانند 8.8.8.8 استفاده می‌کنند. در این حالت، سرور DNS، موقعیت کاربر را به اشتباه، کشور ریزالور (مثلاً آمریکا) تشخیص می‌دهد. همچنین، عدم پیاده‌سازی کامل پروتکل EDNS Client Subnet (مطابق با RFC 7871) در زیرساخت اینترنت ایران، باعث می‌شود که اطلاعات دقیق آی‌پی کاربر به سرورهای DNS منتقل نشود.

نتیجه این ضعف فنی، ضریب خطای بالای GeoDNS در ایران است (گاهی تا 40 درصد تشخیص اشتباه). این یعنی تقریباً از هر 10 کاربر، 3 تا 4 نفر ممکن است به سرور اشتباه هدایت شوند و همین موضوع، ریسک این روش را برای حفظ سئو و دسترسی کاربران بسیار بالا می‌برد. پس نیاز به راهکاری دقیق‌تر و هوشمندانه‌تر داریم.

راهکار طلایی: معماری دوگانه با کمک CDN هوشمند

راه‌حل پیشنهادی ما در ایده پردازش، استفاده از یک شبکه توزیع محتوا (CDN) مجهز به قابلیت مسیریابی مبتنی بر موقعیت جغرافیایی (Origin Rules) است. این روش به جای تکیه بر DNS، تصمیم‌گیری را در لایه‌ی CDN و با دقت ۱۰۰٪ انجام می‌دهد.

به زبان ساده، شما دو نسخه از سایت خود را نگه می‌دارید:

1. سرور اصلی (در ایران): همان هاست همیشگی شما که سایت داینامیک و کامل روی آن قرار دارد.
2. سرور آینه (خارج از ایران): یک نسخه‌ی استاتیک (HTML خالص) از سایت شما که روی یک هاست ارزان‌قیمت خارجی (مثلاً در اروپا) بارگذاری می‌شود. این نسخه نیازی به دیتابیس یا PHP ندارد و صرفاً محتوای سایت را به صورت فایل‌های سبک و سریع در خود ذخیره کرده است.

سپس CDN را طوری پیکربندی می‌کنیم که:

• اگر درخواست از داخل ایران باشد، محتوا را از سرور ایران واکشی کند و در اختیار کاربر بگذارد.
• اگر درخواست از خارج از ایران (شامل ربات‌های گوگل) باشد، محتوا را از سرور آینه در خارج از کشور دریافت نماید.

این فرایند کاملاً شفاف، بدون تغییر در URL و بدون ریدایرکت انجام می‌شود. کاربر متوجه هیچ چیز نمی‌شود و گوگل هم یک سایت همیشه در دسترس می‌بیند.

مزایای رقابتی این روش چیست؟

• دقت ۱۰۰٪: برخلاف GeoDNS، تشخیص موقعیت جغرافیایی در سطح CDN و بر اساس آی‌پی واقعی کاربر انجام می‌شود، نه DNS ریزالور. خطای هدایت تقریباً صفر است.
• کمترین هزینه: نسخه‌ی خارج از ایران یک سایت استاتیک است و می‌توان آن را روی یک هاست اشتراکی ارزان (حتی زیر ۵ دلار در ماه) میزبانی کرد. به هیچ منبع پردازشی خاصی نیاز ندارد.
• بدون نیاز به تغییرات پیچیده: خبری از همگام‌سازی دیتابیس، replication یا تنظیمات پیچیده DevOps نیست. فقط یک نسخه‌ی استاتیک ساده از سایت.
• فعال‌سازی فوری در مواقع بحران: این قانون مسیریابی را می‌توان به صورت یک کلید خاموش/روشن در پنل CDN خود داشته باشید. در شرایط عادی، همه‌ی ترافیک به سرور اصلی ایران بیاید و فقط در زمان بحران، این قانون را فعال کنید.
• افزایش سرعت: CDN محتوا را در نقاط حضور (PoP) خود در سراسر جهان کش می‌کند، بنابراین حتی در شرایط عادی هم سرعت سایت شما برای کل کاربران (چه داخل و چه خارج) بهبود چشمگیری پیدا می‌کند.

خدمات ویژه‌ی ایده پردازش برای حل این مشکل

ما در ایده پردازش این راهکار را به یک سرویس کامل و بی‌دردسر تبدیل کرده‌ایم. شما می‌توانید با کمترین هزینه و در سریع‌ترین زمان، سایت خود را در برابر قطعی اینترنت بین‌الملل مقاوم کنید. خدماتی که ما ارائه می‌دهیم شامل موارد زیر است:

• تهیه‌ی نسخه‌ی استاتیک از سایت شما (حتی سایت‌های وردپرسی پیچیده) و انتقال آن به یک سرور امن در اروپا.
• پیکربندی حرفه‌ای CDN با قوانین مسیریابی مبتنی بر کشور، منطبق بر نیاز شما.
• وایت‌لیست کردن آی‌پی‌های CDN روی فایروال هر دو سرور، تا ارتباط بین CDN و سرورهای مبدأ بدون اختلال برقرار باشد (رفع خطاهای ۵۰۴).
• تست و تضمین عملکرد در شرایط واقعی قطعی اینترنت.
• پشتیبانی مستمر و مشاوره در زمان بحران.

هدف ما این است که شما دیگر نگران قطعی اینترنت نباشید و کسب‌وکارتان همیشه آنلاین بماند.

پیش‌نیازها و آماده‌سازی اولیه

برای پیاده‌سازی این معماری، به موارد زیر نیاز دارید:

1. یک هاست فعال در ایران که سایت اصلی شما روی آن قرار دارد.
2. یک هاست ارزان‌قیمت خارج از ایران (مثلاً در اروپا) که فقط فایل‌های HTML را سرو کند. ما می‌توانیم بهترین گزینه‌ها را به شما معرفی کنیم.
3. یک نسخه‌ی استاتیک از سایتتان. اگر از وردپرس استفاده می‌کنید، پلاگین‌های رایگانی مانند Simply Static کار را برایتان انجام می‌دهند. ما هم می‌توانیم این کار را به صورت کامل برایتان انجام دهیم.
4. یک سرویس CDN ایرانی که قابلیت تعریف Origin Rule بر اساس کشور را داشته باشد.
5. دسترسی به تنظیمات DNS دامنه.

راه‌اندازی گام‌به‌گام (آموزش تصویری)

گام اول: ساخت و انتقال نسخه‌ی استاتیک

ابتدا یک نسخه‌ی استاتیک از سایت خود تهیه کنید. اگر از وردپرس استفاده می‌کنید، می‌توانید از افزونه‌های مخصوص این کار کمک بگیرید. خروجی نهایی یک پوشه شامل فایل‌های .html، .css، .js و تصاویر خواهد بود. این پوشه را روی هاست اروپایی خود آپلود کنید. نکته مهم: دقت کنید که تمام لینک‌ها نسبی باشند تا در دامنه‌ی جدید به درستی کار کنند.

گام دوم: تنظیم رکوردهای DNS

در پنل مدیریت DNS دامنه‌ی خود، رکوردهای A اصلی (@ و www) را به آی‌پی سرور ایران خود اشاره دهید. این سرور به عنوان مبدأ پیش‌فرض در نظر گرفته خواهد شد. (اگر از CDN استفاده می‌کنید، این رکوردها را در پنل CDN تنظیم کنید و پروکسی آن‌ها را فعال نمایید.)

گام سوم: وایت‌لیست کردن آی‌پی‌های CDN (رفع خطای 504)

برای اینکه ارتباط بین CDN و هر دو سرور میزبان شما پایدار بماند، باید آی‌پی‌های CDN را در فایروال هر دو هاست (ایران و اروپا) در لیست سفید قرار دهید. اگر از هاست سی‌پنل استفاده می‌کنید، بهترین روش، ویرایش فایل .htaccess در پوشه public_html است. کدهای زیر را در ابتدای این فایل قرار دهید:

تیم ما در ایده پردازش این تنظیمات امنیتی را به صورت کامل و دقیق برای شما انجام می‌دهد.

گام چهارم: ایجاد قانون مسیریابی (Origin Rule) در CDN

حالا نوبت به پیاده‌سازی منطق اصلی می‌رسد. در پنل مدیریت CDN خود، یک Origin Rule جدید با شرایط زیر تعریف کنید:

• فیلد (Field): کشور (Country)
• عملگر (Operator): برابر نیست با (is not)
• مقدار (Value): ایران (Iran)

سپس برای این شرط، آی‌پی سرور خارج از ایران (همان هاست اروپایی که نسخه‌ی استاتیک روی آن است) را به عنوان مقصد (Origin) تعیین کنید.

این قانون یعنی: «هر درخواستی که از ایران نباشد، محتوا را از سرور اروپا دریافت کن». تمام درخواست‌های دیگر (که از ایران می‌آیند) به سرور پیش‌فرض (سرور ایران) می‌روند.

گام پنجم: مدیریت هوشمند (Disaster Recovery Plan)

بهترین ویژگی این روش، امکان فعال و غیرفعال کردن آن با یک کلیک است. پیشنهاد می‌کنیم:

• در شرایط عادی اینترنت: این Origin Rule را غیرفعال نگه دارید. همه‌ی ترافیک، اعم از داخلی و خارجی، به سرور اصلی ایران بیاید و سایت داینامیک شما سرو شود.
• در زمان بحران و قطعی اینترنت: به محض اطلاع از اختلال، وارد پنل CDN شوید و این قانون را فعال کنید. از آن لحظه، گوگل و کاربران خارجی محتوای استاتیک را از اروپا می‌بینند و کاربران داخلی همچنان سایت اصلی را.

این دقیقاً همان پلن Disaster Recovery است که با کمترین هزینه، حداکثر محافظت را فراهم می‌کند.

نکات فنی مهم و عیب‌یابی

• اگر با خطای 504 Gateway Timeout مواجه شدید، احتمالاً آی‌پی‌های CDN روی فایروال سرور خارجی (هاست اروپا) بلاک شده‌اند. مراحل وایت‌لیست کردن را دقیقاً مطابق گام سوم انجام دهید.
• برای جلوگیری از جریمه‌ی Cloaking: مطمئن شوید که محتوای نسخه‌ی استاتیک شما دقیقاً مشابه محتوای اصلی است. هرگز محتوای متفاوتی را به گوگل نمایش ندهید. هدف ما فقط حفظ دسترسی است، نه فریب موتور جست‌وجو.
• همگام‌سازی نسخه‌ی استاتیک: توصیه می‌شود به صورت دوره‌ای (مثلاً هفتگی) نسخه‌ی استاتیک را به‌روزرسانی کنید تا محتوای جدید به سرور اروپا هم منتقل شود. ما می‌توانیم این فرایند را به صورت خودکار برایتان تنظیم کنیم.
• تست نهایی: حتماً بعد از تنظیمات، با استفاده از یک VPN یا پروکسی، از یک آی‌پی خارج از ایران به سایت خود سر بزنید و مطمئن شوید که نسخه‌ی استاتیک در حال نمایش است. همچنین، خطای 504 نباید وجود داشته باشد.

نتیجه‌گیری

قطعی اینترنت بین‌الملل دیگر آن تهدید فلج‌کننده‌ی سابق نیست. با یک معماری هوشمند و کم‌هزینه که بر پایه‌ی CDN و یک نسخه‌ی آینه‌ی استاتیک بنا شده است، می‌توانید هم رتبه‌ی خود در گوگل را حفظ کنید و هم کاربران ایرانی را در هر شرایطی راضی نگه دارید. این راهکار بارها در شرایط واقعی بحران اینترنت در ایران تست شده و جواب داده است.

تیم ایده پردازش آماده است تا این سرویس را از صفر تا صد برای وب‌سایت شما پیاده‌سازی کند؛ از ساخت نسخه‌ی استاتیک و انتخاب بهترین هاست اروپایی گرفته تا تنظیمات تخصصی CDN و وایت‌لیست کردن آی‌پی‌ها. با خیال راحت روی رشد کسب‌وکارتان تمرکز کنید و حفاظت از دسترسی کاربران و سئو را به ما بسپارید.

همین امروز سایت خود را در برابر قطعی اینترنت مقاوم کنید.