সমস্যা সমাধানে আপনাদের সাহায্য প্রয়োজন।
আমি Google Search Console (GSC)-এ একটি সাইটম্যাপ জমা দিয়েছি, কিন্তু সেখানে স্ট্যাটাস দেখাচ্ছে "Couldn't fetch"। এছাড়া, কোনো পেজ বা ভিডিও খুঁজে পাচ্ছেনা (0 discovered pages, 0 discovered videos)। ব্রাউজারে সরাসরি সাইটম্যাপটি খুললে তা ঠিকঠাক লোড হচ্ছে, এতে কোনো ত্রুটি নেই, এটি একটি XML ফাইল এবং এর গঠনও সঠিক।
কিছু প্রাসঙ্গিক তথ্য নিচে দেওয়া হলো:
সাইটটি WordPress/WooCommerce-এ তৈরি।
এটি Cloudflare-এর মাধ্যমে পরিচালিত হচ্ছে এবং বট সুরক্ষার জন্য এতে কিছু কাস্টম WAF/ফায়ারওয়াল রুল (firewall rules) যুক্ত করা আছে।
robots.txt ফাইলের ক্ষেত্রেও কিছু অসামঞ্জস্য দেখা যাচ্ছে; Cloudflare-এর স্তরে নির্দিষ্ট কিছু ক্রলার ইউজার এজেন্ট (crawler user agents) ৪০৩ (403) এরর কোডের মাধ্যমে ব্লক হয়ে যাচ্ছে। অথচ সাধারণ ব্রাউজারে এটি ঠিকঠাক লোড হয় এবং GSC-এর নিজস্ব 'robots.txt টেস্টার' অনুযায়ী Googlebot-এর এটি অ্যাক্সেস করতে কোনো সমস্যা হওয়ার কথা নয়।
আমার ধারণা, Googlebot যখন সাইটম্যাপটি আনার চেষ্টা করছে, তখন সম্ভবত কোনো একটি ফায়ারওয়াল রুলের কারণে তা আটকে যাচ্ছে—যদিও সাধারণ ব্রাউজার থেকে অনুরোধ পাঠালে কোনো সমস্যা হচ্ছে না। WordPress সাইটের সামনে Cloudflare ব্যবহার করার সময় এমন সমস্যার সম্মুখীন কি অন্য কেউ হয়েছেন?
আমি ইতিমধ্যে যা যা যাচাই করেছি:
সাইটম্যাপ XML ফাইলটি সঠিকভাবে ভ্যালিডেট (validate) হয়েছে।
robots.txt ফাইলে সঠিক সাইটম্যাপ URL-এর উল্লেখ রয়েছে।
সাইটে কোনো 'noindex' সংক্রান্ত সমস্যা নেই।
গুগল কেন আপনার সাইটম্যাপ (sitemap) সংগ্রহ করতে পারছে না, তার পেছনে বেশ কিছু কারণ থাকতে পারে। আপনি নিচের চেকলিস্টগুলো ফলো করে দেখতে পারেন:
আপনার সাইটম্যাপটি সঠিক ফরম্যাটে আছে কি না এবং তাতে কোনো ত্রুটি আছে কি না, তা যাচাই করুন।
নিশ্চিত করুন যে, গুগলবট (Googlebot) আপনার সাইটম্যাপটি অ্যাক্সেস করতে পারছে এবং এটি robots.txt ফাইলের মাধ্যমে blocked করা নেই।
গুগল সার্চ কনসোলে (Google Search Console) আপনার সাইটম্যাপটি সঠিকভাবে জমা দেওয়া হয়েছে কি না, তা পরীক্ষা করুন।
আপনার সাইটম্যাপ ফাইলের নাম পরিবর্তন করে দেখতে পারেন।
আপনার সাইটম্যাপে কোনো সমস্যা আছে কি না, তা যাচাই করতে গুগল সার্চ কনসোলের 'ইউআরএল ইন্সপেকশন' (URL Inspection) টুলটি ব্যবহার করুন।
