پیام عدم دسترسی ربات های گوگل به CSS و JS – Googlebot cannot access CSS and JS files on

سه شنبه ۶ مرداد ۱۳۹۴
نویسنده: محسن طاوسی
بازدید ها: 4,568 views

google bot can not access to css and js file  پیام گوگل عدم دسترسی

گوگل اخیرا به وب مستر تولز کاربران(همراه ایمیل) ، پیغامی مبنی بر عدم دسترسی ربات هایش به فایل های CSS و JS داده است که امروز همزمان به ۴ تا ازمشتریان ما، ارسال شد.این پیام مثل پیام ناسازگاری صفحات وب سایت با موبایل ، بدون شک به تدریج به همه وب سایت هایی که دسترسی ربات ها رو خواسته یا ناخواسته به فایل های CSS و جاوااسکریپت بستند، ارسال میشه. محتوای پیام به شرح زیر است:

Googlebot cannot access CSS and JS files

Googlebot cannot access CSS and JS files on دامنه شما

To: Webmaster of https://seorooz.net/,

Google systems have recently detected an issue with your homepage that affects how well our algorithms render and index your content. Specifically, Googlebot cannot access your JavaScript and/or CSS files because of restrictions in your robots.txt file. These files help Google understand that your website works properly so blocking access to these assets can result in suboptimal ranking

گوگل دقیقا میگه، ربات های من نمی تونن به فایل های CSS و جاوااسکریپت شما دسترسی داشته باشند و این باعث میشه ما به خوبی نتونیم محتوا و صفحات شما رو بررسی کنیم.این فایل ها(CSS و جاوااسکریپت ها) ، به ما کمک می کنن تا متوجه بشیم که سایت شما به درستی کار می کنه و اجرا میشه یا نه و عدم دسترسی ما به این فایل ها، باعث میشه، رتبه شما، کمتر از حد مطلوب باشه.

راهکار و راه حل:

ابتدا از طریق این لینک وب مستر تولز و بعد از لاگین شدن در حساب گوگل خود و انتخاب سایت، مسیر های منابع بسته شده رو پیدا کنید.هر چه پوشه و مسیری که در فایل robots.txt دادید که مربوط به منابع  بسته شده(یعنی همون css و js که مسیرش رو از لینک بالا دیدید) هست رو از فایل robots.txt حذف کنید و بعد از ابزار Fetch as google صفحاتتون رو با انتخاب گزینه Smart Phone و کلید Fetch and render بررسی کنید و ببینید گوگل و ربات های دسکتاپ و موبایل به راحتی می تونن صفحات شما رو ببینن یا نه.اگر مشکلی نبود دیگه هیچ کاری لازم نیست بکنید.

 

گوگل چه نیازی به این فایل ها داره؟

گوگل مدتهاست با این فایل ها درگیر هست و این چیز جدید نیست.از آخرین آپدیت های پاندا آنالیز سایت ها و خوندن فایل های CSS و JS مطرح شده بود.حتی قبل از اون هم گوگل تلاش داشت، تا به درک کاملی از وب سایت با استفاده از فایل های Css و JS برسه.

همونطور که در پست پنالتی گوگل هم اشاره کردم، بخشی از نیاز گوگل به این فایل ها اینه که بتونه لینک های مخفی سایت شما رو پیدا کنه و تشخیص بده که این لینک ها همیشه مخفی هستند یا در شرایط خاصی مخفی میشن یا به خاطر نمای موبایل و … مخفی شدن یا به خاطر تکنیک های UX  سایت مخفی میشن.از این رو، می تونه تشخیص بده که مخفی بودن لینک ها و حتی محتوای شما ، به چه دلیلی هست.بحث تشخیص محتوا و لینک مخفی سالهاست جزو پروژه های گوگل هست که بتونه محتوا و لینک مخفی رو تشخیص بده تا بتونه با روش های کلاه سیاه محتوای مخفی مثل cloaking و روش های کلاه سیاه بک لینک، مثل استفاده از بک لینک های مخفی، مبارزه کنه.

این تنها یک دلیلش هست.تشخیص واکنش گرا بودن سایت شما، به خاطر دسترسی ربات های گوگل به همین فایل های CSS و جاوااسکریپت شماست.اینکه در نمای موبایل گوگل، زیر سایت هایی که با موبایل سازگاری دارند، طوسی رنگ می نویسه Mobile Friendly به واسطه وجود مبارک همین فایل ها و دسترسی گوگل به اونهاست!

نکته دیگه هم در UX سایت هست.گوگل از اونجا که همیشه نسبت به همه موتور های جستجو از هر نظر پیشتاز هست، با درک CSS و JS هر سایت، می تونه ربات هایی بسازه که با سایت ها کار کنند تا به درک درستی و نزدیک تر به درک یک انسان از هر سایت برسه.برای مثال، تب های جاوااسکریپتی در سایت، به صورت پیش فرض، موجب میشه بخشی از محتوا و لینک ها مخفی بشه و محتوی تب فعال نمایش داده بشه.منو های بازشو هم به همین شکل.وقتی گوگل بتونه به درک خوبی از CSS و JS سایت شما برسه، می تونه ساختار سایت و تب ها و منو ها هم به خوبی درک کنه و بفهمه که با کلیک کاربر، نمایش داده میشن.از این رو، احتمال پنالتی های با خطا و اشتباه گوگل، که ناشی از تشخیص لینک و محتوای مخفی به قصد کلاه سیاه بوده از بین میره و احتمال قضاوت های نادرست گوگل درباره محتواهای مخفی که به قصد کلاه سیاه هم نیستند کم میشه.برای مثال گوگل به محتوایی بیشتر اهمیت میده که به صور پیش فرض در حال نمایش باشه.در حالی که ممکنه شما با کلیک یا حرکت موس، محتوا های مهم دیگه ای رو در سایتتون به کاربر نشون بدید.(یعنی محتوا های مهم دیگه به صورت پیش فرض مخفی هستند.مثل تب های غیر فعال).

سوالات متداول

۱- من  این پیامو دریافت کردم.آیا از نتایج گوگل حذف میشم؟

نه حذف نمیشید.ولی رتبه ای که لیاقتش رو دارید رو ممکنه نگیرید.

۲- من سایتمو اپدیت کردم و تغییراتی دادم و بعد این پیام برام اومد.چه ربطی به اپدیت من داشته؟

ربطی نداره.شما فقط تصور کردید که از کار شما این پیام اومده.پست تناقض های سئو و درک درستی از سئو رو مطالعه کنید.

۳-من فایل های CSS و JS سایتم داخل پوشه ای هست که توی اون پوشه فایل ها و صفحاتی هست که نمیخوام گوگل بهش دسترسی داشته باشه.چیکار کنم؟

فایل های CSS و JS باید در پوشه جداگانه ای باشند.اما از اونجا که مسیرشون عوض میشه، این فایل ها در صفحات شما هم از کار می افتن.لذا بهترین کار اینه که، اون صفحات دیگه که نمیخواید گوگل و ربات ها بهش دسترسی دارند رو، منتقل کنید به پوشه دیگه و مسیر پوشه حاوی فایل های CSS و جاوااسکریپت رو تغییر ندید.فقط از robots.txt حذف کنید.

۴-در سایت وردپرسی چطور این مشکل رو حل کنیم؟

هر مسیری که داخل خودش یا پوشه های داخلیش، فایل های js و css وجود داره رو از robots.txt حذف کنید.البته به استثنای wp-admin چون این فایل ها و صفحات این مسیر هم نمیخوایم به گوگل نشون داده بشه.چه برسه به css و js اونها.

مسیر های مرتبط با پوشه های wp-content و wp-includes رو از robots.txt حذف کنید.

۵-من برخی صفحات و پوشه هام رو کلا برای ربات های گوگل بستم و رتبه اون صفحاتم برام مهم نیست.مثل صفحات مرتبط با پنل کاربری و ادمین و سایر صفحاتی که نمیخوام به هر دلیلی ایندکس بشن.آیا باید CSS و JS اونها رو هم مسیرش رو برای ربات های گوگل باز کنم؟

خیر.گوگل فقط به css و js هایی نیاز داره که مربطو به صفحاتی هستند که ایندکس میشن و ربات ها می تونن اونها رو ببینن.گوگل حق نداره تو دیدن صفحاتی که خودتون اجازه ندادید، دخالت کنه و این کار هم نمیکنه.

۶-بعضی از صفحات من بعد از لاگین به کاربر نشون داده میشن.یعنی کاربر Login نشده نمی تونه اون صفحات رو باز کنه.آیا CSS و JS اون صفحات رو هم باید از robots.txt حذف کنم؟

خیر. صفحاتی که کاربر باید لاگین کنه تا ببینه، ربات گوگل هم باید لاگین کنه تا ببینه.در نتیجه، اون صفحات اصلا توسط ربات ها دیده نمیشن.بنابراین مشابه سوال بالا میشه.یعنی این نوع صفحات هم، نیاز نیست فایل های css و js اونها رو برای ربات ها باز کنید.اگر هم این کار رو بکنید مشکلی حل نمیشه.اگر گوگل پیغام داده، به خاطر عدم دسترسی به فایل های Css و جاوااسکریپت صفحات ایندکس شده داده.نه صفحات ایندکس نشده و بسته شده از دید ربات ها.

۷-شما بپرسید تا به سوالات متداول اضافه کنیم…

درباره نویسنده
محسن طاوسی
مطالب نویسنده
7 سالی هست که برنامه نویس .NET هستم و در زمینه سئو موضوعات رقابتی، فعالیت می کنم.

۳۰ دیدگاه نوشته شده است! می توانید دیدگاه خود را بنویسید

  1. 1 می‌گه:

    سلام
    در سایت وردپرسی چطور این مسئله رو حل کنیم ؟؟
    تشکر

  2. مهرداد می‌گه:

    من رفتم نگاه کردم تو روبوت رو و دیدم فایل های پوشه Disallow: /wp-includes/
    داخل فایل روبوت هست . حالا موضوع اینه که وقتی پاک میکنم این خط رو و submit میکنم. سه تا گزینه میاد .

    گربنه سوم رو که انتخاب میکنم میگه چند دقیقه بعد رفرش کنی میره . اما بازم اون کد پوشه wp-includes هستش.

    یه سوال دیگم هست که مال سایت دیگمه که تو فایل رو بوت خط عجیب زیر رو پیدا کردم که آدرس داده به سایت مپ . آیا این باید حذف بشه یا نه؟

    • محسن طاوسی می‌گه:

      wp-include رو نذارید تو فایل robots.txt . نقشه سایت تو فایل ربات هم عجیب نیست.ربات فقط یکی از کارهاش، که بیشتر شهرت داره، مربوط به بستن ربات هاست.لازم نیست اون رو حذف کنید.

  3. سلام.
    در قسمت منابع بسته شده ، بعضی ها اصلاح شدند. اما برای سه منبع نشان می دهد که اصلا مربوط به سایت نهالستان سبزینه نیستند و بر خلاف آنهایی که حل شدند گزینه robots.txt Tester برای آنها وجود ندارد. مثلا:
    https://oauth.googleusercontent.com/gadgets/js/core:rpc:shindig.random:shindig.sha1.js?c=2 Script Blocked
    برای حالت دسکتاپ ۳ و برای اسمارت فون ۹ ردیف وجود دارد. البته در حالت اسمارت فون بعضی ردیف ها منبع Temporarily unreachable نوشته شده.
    در صورت امکان راهنمایی کنید.

    • محسن طاوسی می‌گه:

      برخی منابع بسته به طراحی شما، خارج از هاست شما هستند.اونها رو دانلود کنید و داخل هاست قرار بدید و مسیر هایی که ازش استفاده شده هم بسته به مسیر جدید این فایل ها تغییر بدید و کارهای مشابه قبل رو انجام بدید.
      منابعی که غیر قابل دسترس می زنه، اصلا باز نمیشن.ممکنه شما جایی از سایتت که خودتونم خبر ندارید فایل هایی رو فراخونی کردید که وجود ندارند یا لود نمیشن.

  4. Sirvan Sheikhi می‌گه:

    با سلام و خسته نباشید خمت مهندس طاوسی
    دقیقابرای منم یه هفته ای میشه که دقیقا همین پیامو داده و الان با اموزشی که دادید مسیر های لازم را برای ربات گوگل باز کردم اومیدورام دیگه این خطارو نده

  5. سلام
    برای سایت ما هزینه سئو چقدر میشه؟ برای کلماتی مثل تابلو فرش، تبدیل عکس به تابلو فرش، تابلو فرش چهره، تبدیل عکس به فرش و… میخوایم بیاد صفحه یک در گوگل.
    شاید یادم بره بیام جوابتون رو اینجا ببینم. خواهشا به آیدی اسکایپم خبر بدید

  6. محمد می‌گه:

    سلام
    مطلب کامل و مفیدی بود
    تشکر

  7. اپارات می‌گه:

    سلام
    واقعا مطالبتون حرف نداره بسیار ممنون.
    موفق باشین

  8. نکس وان موزیک می‌گه:

    سلام
    مطالبتون خیلی مفید و با ارزش ممنون از سایتتون.

  9. العبد می‌گه:

    سلام
    تشکر بابت مطلب خوب و به موقعتون
    یه سوال:
    فرمودید در وردپرس به جز پوشه wp-admin بقیه آدرس ها و پوشه ها رو در اختیار موتور جستجو قرار بدیم؟..از نظر امنیتی مشکلی نخواهد داشت؟
    پ.ن:
    چند وقت هست مطلب نذاشتید.جسارتا مشکلی پیش آمده خدای نکرده یا مشغله کاری دارید یا خبرهای خوشی در راهه یا …؟

    • محسن طاوسی می‌گه:

      قراردادن بخش های ادمین در فایل روبتوس و کلا این فایل هیچ ربطی به امنیت وب یا حتی حریم شخصی نداره.اتفاقا برعکس گفتم توی فایل robots.txt پوشه wp-admin وردپرس رو بذارید بمونه.کلا صفحه هایی که نیاز به لاگین داره، و در هر صورت قرار نیست دیگران ببینن نباید ایندکس بشن.بنابراین این پوشه ادمین هم نباید موتور جستجو ببینه.گوگل فقط موقعی به شما گیر میده که صفحه هایی رو که اجازه ایندکس داره، توش css و js هایی به کار رفته باشه که اونها رو ربات ها دسترسی نداشته باشن.اگه کلا پوشه و صفحاتی رو نذارید گوگل ببینه، دیگه به فایل های css و js توش هم کار نداره.
      درباره مطلب هم، مشکلی پیش نیومده ولی دلیل اصلیش، مشغله کاری و سفارش های زیاد و مشغله های شخصی ما هست.

  10. عرفان می‌گه:

    مطالب شما واقعا جالبه

  11. ساخت وبلاگ می‌گه:

    تنکیـــــــــــــــــــــو

  12. حامد می‌گه:

    با تشکر از مطالب مفیدتون
    جزء محدود سایت های توی سئو هستین که برای حتی سئوکار های حرفه ای نیز مفید واقع شدین

  13. سئو می‌گه:

    سلام
    مطلبی خوبی بود ممنون

  14. mahdi می‌گه:

    سلام
    درباره jquery ajax سوال داشتم
    پس چطوری میشه از این استفاده کرد در صورتی که برای سئو ضرر داره و خوب نیس
    تکنولوژی به این خوبی امده ولی بخاطر سئو نمیشه ازش استفاده کرد؟؟؟؟
    یعنی موتور جستجو خودشو با این وفق نداده هنوز؟؟
    خوب هیچ راه حلی نداره؟؟

    • محسن طاوسی می‌گه:

      استفاده کردن ازشون ضرر نداره! اگر استفاده از اینها منجر به این بشه که محتوای صفحات مبتنی بر Request های Ajax Base و Jquery باشه ضرر داره.خیر هنوز هیچ راه حلی وجود نداره.موتور جستجو از ربات ها اطلاعات رو جمع اوری می کنه.ربات url میشناسه و نمی تونه بره تو سایت در حد یک انسان با صفحات کار کنه.راه خیلی درازی هنوز در پیش هست که موتور های جستجو بتونن سازگار بشن با AJAX .همین الانش اسمپر ها امون نمی دن به موتور جستجو و ایراد و باگ های زیادی هنگام رتبه بندی و خزیدن در محتوا های مخفی که در source هستند وجود داره.چه برسه به اینکه دیگه همش ajax و jquery بشه.
      در نظر هم داشته باشید Ajax خیلی تفاوت داره با Jquery .جی کوئری توابع آماده جاوااسکریپت هست و فقط سمت Client هست.اما Ajax به کار گرفتن جاوااسکریپت و xml برای از بین بردن Postback کامل صفحه و ارتباط با سرور هست(که باعث میشه محتوای صفحه مبتنی بر url نباشه) .
      اما درباره اینکه چه کاربردی دارند! در پنل ادمین و هر جا که خیلی UI UX اهمیت داره ولی موتور جستجو اهمیت نداره، می تونید استفاده کنید.وقتی کاربر در پنل خودش لاگین هست، می تونید، همه کنترل ها Ajax رو فعال کنید و صفحه رو Jquery Base نشون بدید.در عین حال که از Jquery استفاده می کنید می تونید سازگاری با موتور جستجو ها رو هم حفظ کنید.مثلا وقتی موس روی یک محصول میره یک سری مشخصات دیگه به صورت یک div بازشو از سمت لود میشه و نشون داده میشه(یعنی Jquery + Ajax) و در عین حال وقتی هم روی اون محصول کلیک کرد، با یک URL جدا مشخصات کامل اون محصول رو نشون بده.کمی دستتون بسته تر هست ولی اینطور هم نیست که کلا بذارید کنار اینارو.

  15. شهاب می‌گه:

    من خطای Temporarily unreachable رو برای آیتم های image – script – style دریافت میکنم . این مشکل از چی میتونه باشه؟

  16. مریم می‌گه:

    سلام آقای طاووسی من همیشه مطلب جدیدی که میزاشتم برای دامنه اصلیم در قسمت توضیحاتش اول آن مطلب جدید قرار میگرفت و رتبه ام بهتر میشود اما یک هفته است که با توضیح چند مطلب قبلم داره سایت قرار میگیره مثلا در کلمات کلیدی سایت لطفا راهنمایی کنید رتبه ام حی داره کم میشه.ممنون از مطالبتون.

  17. لباس عروس می‌گه:

    پس به نظر شما اگه فایل های js و css رو مثل JQuery فشرده سازی کنیم مشکلش حل میشه؟

  18. mohamad می‌گه:

    سلام.ببخشید سایت من جدیدا دچار مشکل شده.وقتی مطالب رو توی گوگل وبمستر مطالب جدید رو fetch می کنم بعد از ۲-۳ بار ارور قرمز رنگ Temporarily unreachable سبز میشه و می تونم ایندکس کنم.توی قسمت سایت مپ هم ۴ تا وارنینگ اومده.مشکلش چی میتونه باشه

    • محسن طاوسی می‌گه:

      یا مشکل از سرور و هاست هست یا CMS و کد های شما و مربوط به وب سایت شما.احتمالا برای کاربر هم کند هست سایت شما یا اینکه از IP غیر ایرانی باز نمیشه و مشکلات این چنینی.اگر هم موقت هست مثلا ماهی دو ساعت اینجوریه، مشکلی نیست و جای نگرانی نداره.

دیدگاه خود را به ما بگویید.


پربازدیدترین مقالات
ارتباط با ما
تماس و مشاوره رایگان :
مهدیزاده -09129175306
کلیه حقوق این سایت برای سئو روز محفوظ است.
صفحه اصلی   |    درباره ما   |    خدمات سئو   |    تماس با ما   |    شرایط و قوانین