قهر گوگل با سایت‌های داخلی جدی شد

گجت نیوز: با گذشت ۸۰ روز از آغاز اختلالات و قطعی اینترنت ایران، پیامدهای مخرب آن از سطوح کاربری فراتر رفته و با مسدود شدن مسیر دسترسی ربات‌های گوگل به هاست‌های داخلی، موجودیت وب فارسی با بحرانی جدی مواجه شده است. در حالی که ظاهر سایت‌های داخلی همچنان فعال است، ناتوانی موتورهای جست‌وجو در ایندکس‌گذاری، به‌روزرسانی نقشه‌های سایت و تمدید گواهی‌های امنیتی، منجر به حذف تدریجی محتوا از نتایج گوگل شده است.

با عنایت به آخرین اخبار داخلی، این رکود در سئو و امنیت، ضربه‌ای سهمگین به پیکره اقتصاد دیجیتال وارد کرده و تداوم آن می‌تواند به سقوط جایگاه سایت‌های داخلی در رتبه‌بندی‌های جهانی و افت شدید بازدید منجر شود.

افت اعتبار سایت‌های داخلی در گوگل

مهم‌ترین بحران این روزهای سایت‌های داخلی، دشواری دسترسی گوگل‌بات‌ها به سرورهای داخلی است که شاید در ظاهر فقط یک اختلال فنی به نظر برسد، اما در عمل یکی از پایه‌های دیده‌شدن وب‌سایت‌ها در گوگل را هدف گرفته است. گوگل برای ایندکس کردن صفحات، از ربات‌هایی استفاده می‌کند که به‌صورت مداوم و دوره‌ای سایت‌ها را بررسی می‌کنند تا تغییرات جدید، محتوای تازه، حذف صفحات، به‌روزرسانی‌ها و نشانه‌های فنی سایت را شناسایی کنند.

این ربات‌ها اگر به سرور دسترسی نداشته باشند یا با خطا، تاخیر، قطع و وصل یا پاسخ ناقص روبه‌رو شوند، عملاً نمی‌توانند متوجه شوند که چه چیزی در سایت تغییر کرده است؛ در نتیجه، صفحه‌ای که تازه منتشر شده ممکن است دیر ایندکس شود یا اصلاً وارد نتایج جست‌وجو نشود، و از آن طرف، بعضی صفحات قدیمی هم ممکن است به‌تدریج از فهرست نتایج گوگل حذف شوند. در هفته‌های اخیر، بسیاری از مدیران سایت‌ها دقیقاً همین نشانه‌ها را گزارش کرده‌اند.

اما این مشکل زمانی پیچیده‌تر می‌شود که سایت‌های داخلی ترکیبی از هاست داخلی و خارجی داشته باشند؛ مدلی که در سال‌های اخیر میان کسب‌وکارهای ایرانی بسیار رایج شده بود. در این مدل معمولاً فایل‌های اصلی یا بخشی از داده‌ها روی سرور داخلی قرار می‌گرفت، اما بخش دیگری از خدمات، مانند CDN، دیتابیس، تصاویر، فایل‌های جانبی، اسکریپت‌ها یا ابزارهای تحلیلی روی سرورهای خارجی فعال بود.

حالا با اختلال در ارتباط میان این دو بخش، تبادل اطلاعات درست انجام نمی‌شود و گوگل هنگام بررسی سایت با محتوای ناقص، بارگذاری‌های نیمه‌کاره یا پاسخ‌هایی روبه‌رو می‌شود که همه اجزای صفحه را به‌درستی نشان نمی‌دهند. نتیجه این وضعیت چیزی نیست جز کاهش اعتبار سایت در نگاه موتور جست‌وجو.

کرول باجت، افت رتبه و تبعات اقتصادی

در دنیای سئو مفهومی وجود دارد به نام «کرول باجت»؛ یعنی سهم مشخصی از زمان و منابعی که گوگل برای بررسی هر سایت اختصاص می‌دهد. این سهم برای سایت‌های مختلف یکسان نیست و به عواملی مثل اعتبار دامنه، سرعت پاسخ‌گویی، پایداری سرور، کیفیت ساختار فنی، تازگی محتوا و میزان خطاهای قبلی بستگی دارد. اگر ربات‌های گوگل هنگام مراجعه به سایت مدام با خطا، کندی، قطعی یا پاسخ ناقص روبه‌رو شوند، این سهم به‌تدریج کاهش پیدا می‌کند و گوگل دفعات کمتری به سراغ آن سایت می‌رود.

به زبان ساده، گوگل ترجیح می‌دهد وقت و منابعش را صرف سایت‌هایی کند که پایدار، سریع، در دسترس و قابل‌اعتماد هستند. کارشناسان می‌گویند بسیاری از سایت‌های ایرانی در هفته‌های اخیر عملاً کرول باجت خود را از دست داده‌اند یا دست‌کم بخش مهمی از آن را از دسترس خارج کرده‌اند.

بحران تمدید گواهی‌های SSL و تاثیر بر امنیت و رتبه سایت

یکی دیگر از بحران‌های مهم، موضوع SSL است؛ همان قفل کوچکی که کنار آدرس سایت دیده می‌شود و نشان می‌دهد ارتباط کاربر با سایت امن است. بخش بزرگی از سایت‌های ایرانی از سرویس معروف Let’s Encrypt برای دریافت گواهی SSL استفاده می‌کنند و این گواهی‌ها معمولاً هر ۹۰ روز یک‌بار به‌صورت خودکار تمدید می‌شوند.

اما این تمدید خودکار نیازمند ارتباط پایدار سرور با سرویس خارجی است و وقتی این ارتباط دچار اختلال شود، فرآیند تمدید با مشکل روبه‌رو می‌شود یا اصلاً انجام نمی‌گیرد. در نتیجه، بعضی سایت‌ها با هشدارهایی مثل «اتصال شما امن نیست» باز می‌شوند، برخی دیگر در مرورگرها با محدودیت یا اختلال کامل مواجه می‌شوند و برای بخشی از کاربران اساساً قابل استفاده نیستند.

مشکلات Site Map و تاثیر بر رسانه‌های خبری

از طرف دیگر، یکی دیگر از دردسرهای جدی این روزها دیده نشدن Site Mapهای جدید است. نقشه سایت در واقع فهرستی از صفحات مهم هر سایت است که مدیران برای گوگل ارسال می‌کنند تا موتور جست‌وجو راحت‌تر بتواند ساختار محتوا را بفهمد، صفحات تازه را شناسایی کند و ارتباط میان بخش‌های مختلف سایت را درک کند. اما اکنون بسیاری از مدیران سایت‌ها گزارش می‌دهند که گوگل نقشه‌های جدید را نمی‌خواند یا با تاخیر بسیار طولانی بررسی می‌کند، به‌طوری که عملاً ارزش انتشار سریع محتوا از بین می‌رود.

در کنار این موضوع، خطاهای robots.txt هم افزایش یافته است. فایل robots.txt به موتورهای جست‌وجو می‌گوید کدام بخش سایت قابل بررسی است و کدام بخش باید محدود بماند، و زمانی که گوگل نتواند این فایل را به‌درستی بخواند، ممکن است کل سایت را با احتیاط بررسی کند، بخشی از صفحات را نادیده بگیرد یا در تشخیص اولویت خزش دچار اختلال شود. این وضعیت برای رسانه‌های خبری از همه بحرانی‌تر است، چون خبر زمانی ارزش دارد که سریع دیده شود.

اختلال فنی ناشی از استفاده گسترده از فیلترشکن

ماجرا البته فقط به گوگل محدود نمی‌شود. استفاده گسترده از فیلترشکن‌ها نیز ساختار فنی سایت‌ها را به‌هم ریخته است، چون بسیاری از کاربران ایرانی اکنون با IPهای متغیر وارد سایت‌ها می‌شوند و این تغییر مداوم مسیر ارتباطی، روی نحوه بارگذاری منابع اثر می‌گذارد. در بسیاری از سایت‌ها بخشی از محتوا از سرور داخلی بارگذاری می‌شود و بخشی دیگر از مسیرهای خارجی عبور می‌کند که این جابه‌جایی مداوم میان سرورها باعث می‌شود بعضی عناصر صفحه با تاخیر ظاهر شوند یا حتی در لحظه‌ای کوتاه از دسترس خارج شوند.

این اتفاق با شاخصی به نام CLS شناخته می‌شود؛ معیاری که میزان جابه‌جایی ناگهانی عناصر صفحه را اندازه‌گیری می‌کند. هرچه CLS بالاتر باشد، تجربه کاربر ضعیف‌تر است، چون ممکن است کاربر بخواهد روی یک دکمه کلیک کند اما ناگهان تصویر، تبلیغ یا بخشی از صفحه دیر بارگذاری شود و جای دکمه را تغییر دهد.

محدودیت دسترسی به Search Console و انباشت خطاها

در حالت عادی، مدیران سایت‌ها هر روز Search Console گوگل را بررسی می‌کنند؛ ابزاری که وضعیت ایندکس، خطاهای فنی، هشدارهای امنیتی، عملکرد صفحات، رتبه کلمات، وضعیت نقشه سایت و سلامت کلی ارتباط سایت با گوگل را نشان می‌دهد. این ابزار در واقع اتاق مانیتورینگ رابطه سایت با موتور جست‌وجوست. اما حالا دسترسی به همین ابزار هم برای بسیاری از مدیران دشوار شده است.

دسترسی ناپایدار مدیران سایت‌های ایرانی به Google Search Console بسیار فراتر از یک دردسر فنی ساده است و این اتفاق عملاً روند نگهداری و مراقبت روزانه از سایت را مختل می‌کند، چون کارشناسان سئو و مدیران فنی معمولاً هر روز وضعیت ایندکس صفحات، خطاهای فنی، هشدارهای امنیتی، سرعت بارگذاری و عملکرد کلمات کلیدی را در این پنل بررسی می‌کنند. وقتی این دسترسی به‌دلیل محدودیت اینترنت، اختلال VPN یا دشواری اتصال مداوم قطع و وصل شود، بسیاری از خطاها دیر دیده می‌شوند یا اصلاً دیده نمی‌شوند.

ابعاد گسترده بحران و تهدید اقتصاد دیجیتال ایران

شاید در نگاه اول، این بحران فقط مسئله‌ای تخصصی برای برنامه‌نویس‌ها و مدیران سئو به نظر برسد، اما تبعات آن بسیار گسترده‌تر است، چون بخش بزرگی از اقتصاد دیجیتال ایران بر پایه دیده شدن در گوگل شکل گرفته است. فروشگاه‌های آنلاین، رسانه‌ها، سایت‌های آموزشی، پلتفرم‌های خدماتی، کسب‌وکارهای کوچک محلی و حتی برندهایی که به‌تازگی وارد فضای دیجیتال شده‌اند، مشتریان و مخاطبان خود را از جست‌وجوهای گوگل پیدا می‌کنند.

اگر سایت‌های ایرانی به‌تدریج از نتایج جست‌وجو حذف شوند، جریان ورودی کاربران نیز کاهش پیدا می‌کند؛ یعنی بازار کوچک‌تر می‌شود، رقابت دشوارتر خواهد شد، هزینه جذب مخاطب بالا می‌رود و سهم کسب‌وکارها از بازار دیجیتال کاهش می‌یابد. برخی کارشناسان معتقدند ادامه این روند می‌تواند به مهاجرت گسترده‌تر کسب‌وکارها به هاست‌های خارجی منجر شود؛ اتفاقی که برخلاف سیاست توسعه زیرساخت داخلی است و در بلندمدت وابستگی به منابع بیرون از کشور را بیشتر می‌کند.

گروهی دیگر نیز هشدار می‌دهند که اگر اختلال‌ها طولانی شود، بخشی از وب فارسی عملاً از حافظه موتورهای جست‌وجوی جهانی پاک خواهد شد، چون محتوایی که دیر دیده شود، دیر ایندکس شود یا اصلاً ایندکس نشود، در عمل از چرخه دیده‌شدن خارج می‌شود.