robots.txt কি
যখন সার্চ ইঞ্জিনের সার্চবট কিংবা স্পাইডারগুলো আমার ওয়েবসাইটে এসে আপনার পেজগুলোকে ইনডেক্স শুরু করে, তখন Robots.txt ফাইলটি দিক নির্দেশকের কাজ করে। এই ফাইলটি সার্চ ইঞ্জিন থেকে আগত ক্রওলার বা স্পাইডারকে জানাবে কোন পেজগুলো ইন্ডেক্স করতে হবে আর কোন পেজগুলো ইন্ডেক্স করতে হবে না। আপনার ওয়েবসাইটের পেজগুলো ইন্ডেক্স হওয়া বা না হওয়া অনেকটা এর ওপর নির্ভর করবে । ফাইলটি একটি সাধারণ টেক্সট ফাইল, এতে কোন বিশেষ কোডিং করা হয়নি, এটি আপনার ওয়েবসাইটের রুট ডিরেক্টরতে থাকতে হবে।
উদাহরণস্বরূপ – https://seoalltips2016.blogspot.com/
robots.txt” ফাইল এমন একটি ফাইল যেটা সার্চ ইন্জিনকে বলে যে,সার্চ ইন্জিন একটা সাইটের কোন কোন্ পেজ crawl করবে আর কোন কোন পেজ crawl করবেনা।এই robots.txt ফাইলটি রুট ফোল্ডারে থাকে।
কিভাবে Robots.txt ফাইলটি তৈরি করবো?
robots.txt ফাইল দিয়ে সার্চ ইন্জিনের বট,ক্রাউলার এবং স্পাইডার সাইটের কোন্ কোন্ পেজ দেখবে এবং কোন্ কোন্ পেজ দেখবেনা এসব নিয়ন্ত্রন করা যায়।এই নিয়ন্ত্রনের পদ্ধতিকে বলা হয় রোবটস এক্সক্লুসন প্রটোকল (Robots Exclusion Protocol) বা রোবটস এক্সক্লুসন স্টান্ডার্ড (Robots Exclusion Standard) .এই ফাইল তৈরীর আগে এখানে ব্যবহৃত কিছু চিহ্ন চিনে নেয়া যাক
Robots.txt Protocol – Standard Syntax & Semantics
অংশ/চিহ্ন বর্ননা
User-agent: নির্দেশ করে রোবট(সমূহ)কে
* Wildcard. User-agent: * এটার অর্থ সব রোবট
disallow: প্রতিটি লাইন disallow: দিয়ে শুরু হয়।এরপরে আপনি / দিয়ে URL path ঠিক করে দিতে পারেন।এতে করে ওই path বা ফাইল বা ওই পেজ আর রোবট ক্রাউল করবেনা।যদি কোন path না দেন অথ্যাৎ ফাকা থাকে তাহলে disallow কাজ করবে allow এর।
# কমেন্ট করার জন্য।এটার পরে কোন লাইন এজন্য লেখা হয় যাতে এই লাইনটি পরে বোঝা যায় যে নিচের কোডগুলি কি বিষয়ক হবে।
Disallow ফিল্ড আংশিক বা পূর্নাঙ্গ URL উপস্থাপন করতে পারে।/ চিহ্নের পর যে path উল্লেখ থাকবে সেই path রোবট ভিজিট করবেনা।যেমন
Disallow: /help
#disallows both /help.html and /help/index.html, whereas
Disallow: /help/
# would disallow /help/index.html but allow /help.html
কিছু উদাহরন
সব রোবট অনুমোদন করবে করবে সব ফাইল ভিজিটের জন্য (wildcard “*” নির্দেশ করে সব রোবট)
User-agent: *
Disallow:
সব রোবট কোন ফাইল ভিজিট করবেনা
User-agent: *
Disallow: /
গুগলবট এর শুধু ভিজিটের অনুমোদন থাকবে বাকি কেউ ভিজিট করতে পারবেনা
User-agent: GoogleBot
Disallow:
User-agent: *
Disallow: /
গুগলবট এবং ইয়াহুস্লার্প এর শুধু ভিজিটের অনুমোদন থাকবে বাকি কারো থাকবেনা
User-agent: GoogleBot
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /
কোন একটা নির্দিষ্ট বটের ভিজিট যদি বন্ধ করতে চান তাহলে
User-agent: *
Disallow:
User-agent: Teoma
Disallow: /
এই ফাইলটি দ্বারা যদি আপনার সাইটের কোন URL বা পেজ crawl করা বন্ধ করে দেন তারপরেও কিছু সমস্যার কারনে এই পেজগুলি কোথাও কোথাও দেখাতে পারে।যেমন রেফারেল লগ এ URL গুলি দেখাতে পারে।তাছাড়া কিছু কিছু সার্চ ইন্জিন আছে যাদের এলগরিদম খুব উন্নত নয় ফলে এসব ইন্জিন থেকে যখন স্পাইডার/বোট crawl করার জন্য পাঠায় তখন এরা robots.txt ফাইলের নির্দেশনাকে উপেক্ষা করে আপনার সব URL crawl করে যাবে।