আপুনি জানেনে যে আপোনাৰ চাইটটো কোনে ক্ৰ'ল আৰু সূচীভুক্ত কৰে তাৰ ওপৰত আপোনাৰ সম্পূৰ্ণ নিয়ন্ত্ৰণ আছে, ব্যক্তিগত পৃষ্ঠালৈকে?

এইটো কৰাৰ ধৰণ Robots.txt নামৰ এটা ফাইলৰ জৰিয়তে হয়।

Robots.txt এটা সৰল লিখনী নথিপত্ৰ যি আপোনাৰ চাইটৰ ৰূট পঞ্জিকাত চাইট কৰে। ই “ৰবট” (যেনে চাৰ্চ ইঞ্জিন স্পাইডাৰ)ক কয় যে আপোনাৰ চাইটত কোনবোৰ পৃষ্ঠা ক্ৰ’ল কৰিব লাগে, কোনবোৰ পৃষ্ঠা আওকাণ কৰিব লাগে।

যদিও অপৰিহাৰ্য নহয়, Robots.txt ফাইলে আপোনাক Google আৰু কেনেকৈ... অন্য চাৰ্চ ইঞ্জিনে আপোনাৰ চাইটটো দেখে।

যেতিয়া সঠিকভাৱে ব্যৱহাৰ কৰা হয়, ই ক্ৰ'লিং উন্নত কৰিব পাৰে আৰু আনকি SEO ত প্ৰভাৱ পেলাব পাৰে।

কিন্তু আপুনি এটা ফলপ্ৰসূ Robots.txt ফাইল কেনেকৈ সৃষ্টি কৰিব? এবাৰ সৃষ্টি হ’লে আপুনি ইয়াক কেনেকৈ ব্যৱহাৰ কৰে? আৰু ইয়াক ব্যৱহাৰ কৰাৰ সময়ত আপুনি কি কি ভুল এৰাই চলিব লাগে?

এই পোষ্টটোত মই Robots.txt ফাইলটোৰ বিষয়ে আৰু ইয়াক আপোনাৰ ব্লগত কেনেকৈ ব্যৱহাৰ কৰিব লাগে সেই বিষয়ে জানিবলগীয়া সকলো কথা শ্বেয়াৰ কৰিম।

আহক ডুব যাওঁ:

Robots.txt ফাইল কি?

ইণ্টাৰনেটৰ প্ৰথম দিনত প্ৰগ্ৰেমাৰ আৰু অভিযন্তাসকলে 'ৰবট' বা 'স্পাইডাৰ' সৃষ্টি কৰিছিল। ৱেবত পৃষ্ঠাসমূহ ক্ৰ'ল আৰু সূচীভুক্ত কৰিবলৈ। এই ৰবটবোৰক ‘ব্যৱহাৰকাৰী-এজেণ্ট’ বুলিও কোৱা হয়।

কেতিয়াবা, এই ৰবটবোৰে চাইটৰ মালিকসকলে সূচীভুক্ত কৰিব নিবিচৰা পৃষ্ঠাবোৰত খোজ পেলায়। উদাহৰণস্বৰূপে, এটা নিৰ্মাণৰ অধীনত থকা ছাইট বা ব্যক্তিগত ৱেবছাইট।

এই সমস্যা সমাধানৰ বাবে বিশ্বৰ প্ৰথম চাৰ্চ ইঞ্জিন (Aliweb) সৃষ্টি কৰা ডাচ অভিযন্তা মাৰ্টিজন কষ্টাৰে প্ৰতিটো ৰবটে কৰিবলগীয়া মানদণ্ডৰ এটা গোট প্ৰস্তাৱ কৰিছিলবাহ্যিক উৎসৰ পৰা সংযুক্ত ফোল্ডাৰ। ধৰক, যদি আন এটা চাইটে আপোনাৰ ব্লক কৰা ফোল্ডাৰৰ ভিতৰত এটা ফাইলৰ সৈতে লিংক কৰে, বটসমূহে ইয়াক এটা সূচী অনুসৰণ কৰিব।

দুষ্ট বটসমূহে – স্পেমাৰ, স্পাইৱেৰ, মেলৱেৰ আদি – সাধাৰণতে Robots.txt নিৰ্দেশনাসমূহ আওকাণ কৰিব আৰু আপোনাৰ সূচীভুক্ত কৰিব

এইটোৱে Robots.txtক বিষয়বস্তু সূচীভুক্ত কৰাত বাধা দিবলৈ এটা দুৰ্বল সঁজুলি কৰি তোলে।

See_also: ইনষ্টাগ্ৰাম হেণ্ডেল কি? (আৰু আপোনাৰ কেনেকৈ বাছি ল'ব)

ইয়াত আপুনি ইয়াৰ পৰিবৰ্তে কি ব্যৱহাৰ কৰিব লাগে: 'meta noindex' টেগ ব্যৱহাৰ কৰক।

আপুনি সূচীভুক্ত কৰিব নিবিচৰা পৃষ্ঠাসমূহত নিম্নলিখিত টেগটো যোগ কৰক:

এটা পৃষ্ঠা সূচীভুক্ত হোৱাৰ পৰা বন্ধ কৰিবলৈ এইটো এটা পৰামৰ্শ দিয়া, SEO-বন্ধুত্বপূৰ্ণ পদ্ধতি (যদিও ই এতিয়াও ব্লক নকৰে টোকা: যদি আপুনি এটা ৱৰ্ডপ্ৰেছ প্লাগইন যেনে Yoast SEO, বা All in One SEO ব্যৱহাৰ কৰে; আপুনি কোনো ক'ড সম্পাদনা নকৰাকৈয়ে এইটো কৰিব পাৰে। উদাহৰণস্বৰূপে, Yoast SEO প্লাগইনত আপুনি প্ৰতি পোষ্ট/পৃষ্ঠাৰ ভিত্তিত noindex টেগটো এনেদৰে যোগ কৰিব পাৰে:

মাত্ৰ খুলি লওক আৰু পোষ্ট/পৃষ্ঠা কৰক আৰু Yoast SEO বাকচৰ ভিতৰৰ কগটোত ক্লিক কৰক . তাৰ পিছত ‘Meta robots index’ ৰ কাষত থকা ড্ৰপডাউনটো ক্লিক কৰক।

ইয়াৰ উপৰিও Google এ robots.txt ফাইলত “noindex” ব্যৱহাৰ কৰাটো ১ ছেপ্টেম্বৰৰ পৰা সমৰ্থন কৰা বন্ধ কৰি দিব। SearchEngineLand ৰ এই প্ৰবন্ধটোত অধিক তথ্য আছে।

ভুল #2 – ব্যক্তিগত বিষয়বস্তু সুৰক্ষিত কৰিবলৈ Robots.txt ব্যৱহাৰ কৰা

যদি আপোনাৰ ব্যক্তিগত বিষয়বস্তু আছে – ধৰক, এটা ইমেইল পাঠ্যক্ৰমৰ বাবে PDFs – ডাইৰেকটৰীটো ব্লক কৰা Robots.txt ফাইলে সহায় কৰিব, কিন্তু ই যথেষ্ট নহয়।

ইয়াত কিয়:

আপোনাৰ বিষয়বস্তু হ'ব পাৰেতথাপিও সূচীভুক্ত কৰা হয় যদি ইয়াক বাহ্যিক উৎসৰ পৰা সংযুক্ত কৰা হয়। ইয়াৰ উপৰিও, ৰগ বটসমূহে এতিয়াও ইয়াক ক্ৰ'ল কৰিব।

এটা উন্নত পদ্ধতি হ'ল সকলো ব্যক্তিগত বিষয়বস্তু এটা লগইনৰ আঁৰত ৰখা। ইয়াৰ দ্বাৰা নিশ্চিত হ'ব যে কোনোৱেই – বৈধ বা দুষ্ট বটসমূহে – আপোনাৰ বিষয়বস্তুৰ অভিগম নাপাব।

নেতিবাচক দিশটো হ'ল ইয়াৰ অৰ্থ হ'ল আপোনাৰ দৰ্শকসকলৰ হাতত জপিয়াই যাবলৈ এটা অতিৰিক্ত হুপ আছে। কিন্তু, আপোনাৰ বিষয়বস্তু অধিক সুৰক্ষিত হ'ব।

ভুল #3 – ডুপ্লিকেট কন্টেন্ট সূচীভুক্ত হোৱাৰ পৰা বন্ধ কৰিবলৈ Robots.txt ব্যৱহাৰ কৰা

ডুপ্লিকেট কন্টেন্ট এসইঅ'ৰ কথা আহিলে এটা ডাঙৰ নহয়-নাই।

কিন্তু, এই বিষয়বস্তু সূচীভুক্ত হোৱাৰ পৰা বন্ধ কৰিবলৈ Robots.txt ব্যৱহাৰ কৰাটো সমাধান নহয়। আকৌ এবাৰ, চাৰ্চ ইঞ্জিনৰ মকৰাবোৰে বাহ্যিক উৎসৰ জৰিয়তে এই বিষয়বস্তু বিচাৰি নাপাব বুলি কোনো নিশ্চয়তা নাই।

ইয়াত বিষয়বস্তুৰ ডুপ্লিকেট কৰাৰ আন ৩টা উপায় দিয়া হৈছে:

• মচি পেলাওক duplicate content – ই বিষয়বস্তুৰ পৰা সম্পূৰ্ণৰূপে মুক্তি পাব। কিন্তু ইয়াৰ অৰ্থ হ’ল আপুনি চাৰ্চ ইঞ্জিনক ৪০৪ পৃষ্ঠালৈ লৈ গৈছে – আদৰ্শ নহয়। ইয়াৰ বাবে, বিলোপ কৰাটো বাঞ্ছনীয় নহয় ।
• 301 পুনঃনিৰ্দেশ ব্যৱহাৰ কৰক – এটা 301 পুনঃনিৰ্দেশনে সন্ধান ইঞ্জিনসমূহক (আৰু দৰ্শকসকলক) নিৰ্দেশ দিয়ে যে এটা পৃষ্ঠা এটা নতুন অৱস্থানলৈ স্থানান্তৰিত হৈছে . আপোনাৰ মূল বিষয়বস্তুলৈ দৰ্শকক লৈ যাবলৈ নকল বিষয়বস্তুত এটা 301 পুনঃনিৰ্দেশ যোগ কৰক।
• rel=”canonical” টেগ যোগ কৰক – এই টেগটো 301 পুনঃনিৰ্দেশৰ এটা ‘মেটা’ সংস্কৰণ। “rel=canonical” টেগে গুগলক কয় যে এটা নিৰ্দিষ্ট পৃষ্ঠাৰ বাবে কোনটো মূল URL। বাবেএই ক'ডৰ উদাহৰণ:

  //example.com/original-page.html ” rel=”canonical” />

  গুগলক কয় যে পৃষ্ঠাটো – original-page.html – ডুপ্লিকেট পৃষ্ঠাটোৰ “মূল” সংস্কৰণ। যদি আপুনি ৱৰ্ডপ্ৰেছ ব্যৱহাৰ কৰে, তেন্তে এই টেগটো Yoast SEO বা All in One SEO ব্যৱহাৰ কৰি যোগ কৰাটো সহজ।

যদি আপুনি দৰ্শকে ডুপ্লিকেট কন্টেন্টত প্ৰৱেশ কৰিব পৰাটো বিচাৰে, তেন্তে ব্যৱহাৰ কৰক rel=”কেননিক” টেগ। যদি আপুনি দৰ্শক বা বটে বিষয়বস্তুত প্ৰৱেশ কৰাটো নিবিচাৰে – এটা 301 পুনঃনিৰ্দেশ ব্যৱহাৰ কৰক।

দুয়োটাটো প্ৰণয়ন কৰাত সাৱধান হওক কাৰণ ই আপোনাৰ SEO ত প্ৰভাৱ পেলাব।

আপোনাৰ ওচৰলৈ

Robots.txt ফাইলটো আপোনাৰ চাইটৰ সৈতে চাৰ্চ ইঞ্জিন স্পাইডাৰ আৰু অন্যান্য বটৰ যোগাযোগৰ ধৰণ গঠন কৰাত এক উপযোগী মিত্ৰ। সঠিকভাৱে ব্যৱহাৰ কৰিলে, সিহঁতে আপোনাৰ ৰেংকিঙত ইতিবাচক প্ৰভাৱ পেলাব পাৰে আৰু আপোনাৰ চাইটটোক ক্ৰ'ল কৰাটো সহজ কৰিব পাৰে।

Robots.txt কেনেকৈ কাম কৰে, ইয়াক কেনেকৈ ইনষ্টল কৰা হয় আৰু আপুনি ইয়াক ব্যৱহাৰ কৰিব পৰা কিছুমান সাধাৰণ উপায় বুজিবলৈ এই গাইড ব্যৱহাৰ কৰক . আৰু আমি ওপৰত আলোচনা কৰা যিকোনো ভুল এৰক।

সম্পৰ্কীয় পঢ়া:

• ব্লগাৰৰ বাবে শ্ৰেষ্ঠ ৰেংক অনুসৰণ সঁজুলি, তুলনা কৰা
• গুগল চাইটলিংক পোৱাৰ নিৰ্দিষ্ট গাইড
• 5 শক্তিশালী কীৱৰ্ড গৱেষণা সঁজুলি তুলনা কৰা

মানি চলিব লাগিব। এই মানদণ্ডসমূহ প্ৰথমবাৰৰ বাবে ১৯৯৪ চনৰ ফেব্ৰুৱাৰী মাহত প্ৰস্তাৱ কৰা হৈছিল।

১৯৯৪ চনৰ ৩০ জুনত কেইবাজনো ৰবট লেখক আৰু প্ৰাৰম্ভিক ৱেব অগ্ৰগামীয়ে এই মানদণ্ডসমূহৰ ওপৰত একমতত উপনীত হয়।

এই মানদণ্ডসমূহ “ৰবট বৰ্জন” হিচাপে গ্ৰহণ কৰা হয় প্ৰটোকল” (REP)।

Robots.txt ফাইলটো এই প্ৰটোকলৰ এটা প্ৰণয়ন।

REP এ প্ৰতিটো বৈধ ক্ৰ'লাৰ বা স্পাইডাৰে অনুসৰণ কৰিবলগীয়া নিয়মৰ এটা গোট সংজ্ঞায়িত কৰে। যদি Robots.txt এ ৰবটসমূহক এটা ৱেব পৃষ্ঠা সূচীভুক্ত নকৰিবলৈ নিৰ্দেশ দিয়ে, প্ৰতিটো বৈধ ৰবটে – Googlebot ৰ পৰা MSNbot লৈকে – নিৰ্দেশনাসমূহ অনুসৰণ কৰিব লাগিব।

টোকা: বৈধ ক্ৰ'লাৰসমূহৰ এটা তালিকাই কৰিব পাৰে ইয়াত পোৱা যাব।

মনত ৰাখিব যে কিছুমান দুষ্ট ৰবটে – মেলৱেৰ, স্পাইৱেৰ, ইমেইল হাৰ্ভেষ্টাৰ, ইত্যাদি – এই প্ৰটোকলসমূহ অনুসৰণ নকৰিবও পাৰে। এই কাৰণেই আপুনি Robots.txt ৰ যোগেদি ব্লক কৰা পৃষ্ঠাসমূহত বট ট্ৰেফিক দেখিব পাৰে।

এই ৰবটসমূহো আছে যি REP প্ৰামাণিকসমূহ অনুসৰণ নকৰে যি প্ৰশ্নবোধক কোনো কামৰ বাবে ব্যৱহাৰ কৰা নহয়।

আপুনি এই url লৈ গৈ যিকোনো ৱেবচাইটৰ robots.txt চাব পাৰে:

//[website_domain]/robots.txt

উদাহৰণস্বৰূপে, ইয়াত ফেচবুকৰ Robots.txt ফাইলটো আছে:

আৰু ইয়াত Google ৰ Robots.txt ফাইলটো আছে:

Robots.txt ৰ ব্যৱহাৰ

Robots.txt এটা ৱেবছাইটৰ বাবে এটা অপৰিহাৰ্য নথিপত্ৰ নহয়। এই ফাইলটো অবিহনে আপোনাৰ চাইটটোৱে নিখুঁতভাৱে ৰেংক আৰু বৃদ্ধি পাব পাৰে।

কিন্তু, Robots.txt ব্যৱহাৰ কৰিলে কিছুমান সুবিধা পোৱা যায়:

• বটসমূহক ব্যক্তিগত ফোল্ডাৰসমূহ ক্ৰ'ল কৰাৰ পৰা নিৰুৎসাহিত কৰক – যদিও নিখুঁত নহয়, ব্যক্তিগত ফোল্ডাৰ ক্ৰ'ল কৰাৰ পৰা বটসমূহক অনুমতি নিদিলে সিহতক সূচীভুক্ত কৰাটো বহুত কঠিন কৰি তুলিব – অন্ততঃ বৈধ বটৰ দ্বাৰা (যেনে চাৰ্চ ইঞ্জিন স্পাইডাৰ)।
• সম্পদৰ ব্যৱহাৰ নিয়ন্ত্ৰণ কৰক – প্ৰতিবাৰ এটা বটে আপোনাৰ চাইট ক্ৰ'ল কৰাৰ সময়ত, ই আপোনাৰ বেণ্ডউইডথ আৰু চাৰ্ভাৰ সম্পদসমূহ নিষ্কাশন কৰে – সম্পদসমূহ যিবোৰ প্ৰকৃত দৰ্শকৰ বাবে ভালকৈ খৰচ কৰা হ'ব। বহুত বিষয়বস্তু থকা চাইটসমূহৰ বাবে, ই খৰচ বৃদ্ধি কৰিব পাৰে আৰু প্ৰকৃত দৰ্শকক এটা দুৰ্বল অভিজ্ঞতা দিব পাৰে। আপুনি সম্পদ সংৰক্ষণ কৰিবলৈ স্ক্ৰিপ্ট, অগুৰুত্বপূৰ্ণ ছবি আদিৰ অভিগম বন্ধ কৰিবলৈ Robots.txt ব্যৱহাৰ কৰিব পাৰে।
• গুৰুত্বপূৰ্ণ পৃষ্ঠাসমূহক অগ্ৰাধিকাৰ দিয়ক – আপুনি বিচাৰে যে সন্ধান ইঞ্জিন মকৰাবোৰে আপোনাৰ চাইটৰ গুৰুত্বপূৰ্ণ পৃষ্ঠাসমূহ ক্ৰ'ল কৰক (যেনে বিষয়বস্তু পৃষ্ঠা), অসাৰ পৃষ্ঠাসমূহৰ মাজেৰে খন্দা সম্পদ অপচয় নহয় (যেনে সন্ধান প্ৰশ্নৰ পৰা ফলাফল)। এনে অসাৰ পৃষ্ঠাসমূহ বন্ধ কৰি, আপুনি বটসমূহে কোনবোৰ পৃষ্ঠাত গুৰুত্ব দিয়ে অগ্ৰাধিকাৰ দিব পাৰে।

আপোনাৰ Robots.txt ফাইল কেনেকৈ বিচাৰিব

নামটোৱে কোৱাৰ দৰে, Robots.txt এটা সহজ টেক্সট ফাইল।

এই ফাইলটো আপোনাৰ ৱেবছাইটৰ ৰূট ডাইৰেকটৰীত সংৰক্ষণ কৰা হয়। ইয়াক বিচাৰিবলৈ, আপোনাৰ FTP সঁজুলিটো খোলক আৰু public_html ৰ অন্তৰ্গত আপোনাৰ ৱেবছাইট ডাইৰেকটৰীলৈ যাওক।

এইটো এটা সৰু লিখনী ফাইল – মোৰটো ১০০ বাইটৰ অলপ বেছি।

ইয়াক খোলিবলৈ , যিকোনো লিখনী সম্পাদক ব্যৱহাৰ কৰক, যেনে নোটপেড। আপুনি এনেকুৱা কিবা এটা দেখিব পাৰে:

আপুনি আপোনাৰ চাইটৰ ৰূট ডাইৰেকটৰীত কোনো Robots.txt ফাইল দেখা নাপাব পাৰে। এই ক্ষেত্ৰত, আপুনি এটা সৃষ্টি কৰিব লাগিবRobots.txt ফাইল নিজেই।

এইটো কেনেকৈ:

এটা Robot.txt ফাইল কেনেকৈ সৃষ্টি কৰিব

যিহেতু Robots.txt এটা মৌলিক টেক্সট ফাইল, ইয়াক সৃষ্টি কৰাটো অতি সহজ – মাত্ৰ এটা লিখনী সম্পাদক খোলক আৰু এটা খালী নথিপত্ৰ robots.txt হিচাপে সংৰক্ষণ কৰক।

এই নথিপত্ৰ আপোনাৰ চাৰ্ভাৰলৈ আপল'ড কৰিবলে, আপোনাৰ প্ৰিয় FTP সঁজুলি ব্যৱহাৰ কৰক (মই WinSCP ব্যৱহাৰ কৰাৰ পৰামৰ্শ দিওঁ) আপোনাৰ ৱেব চাৰ্ভাৰত লগ ইন কৰিবলে . তাৰ পিছত public_html ফোল্ডাৰ খোলক আৰু আপোনাৰ চাইটৰ ৰূট ডাইৰেকটৰি খোলক।

আপোনাৰ ৱেব হস্ট কেনেকৈ বিন্যাস কৰা হৈছে তাৰ ওপৰত নিৰ্ভৰ কৰি, আপোনাৰ চাইটৰ ৰূট ডাইৰেকটৰি পোনপটীয়াকৈ public_html ফোল্ডাৰৰ ভিতৰত থাকিব পাৰে। অথবা, ই তাৰ ভিতৰত এটা ফোল্ডাৰ হ’ব পাৰে।

এবাৰ আপুনি আপোনাৰ চাইটৰ ৰূট ডাইৰেকটৰি খোলালে, মাত্ৰ & ইয়াত Robots.txt নথিপত্ৰ ড্ৰপ কৰক।

বিকল্পিতভাৱে, আপুনি Robots.txt নথিপত্ৰ আপোনাৰ FTP সম্পাদকৰ পৰা পোনপটীয়াকৈ সৃষ্টি কৰিব পাৰে।

এইটো কৰিবলৈ, আপোনাৰ চাইটৰ ৰূট পঞ্জিকা খোলক আৰু... ৰাইট ক্লিক কৰক -> নতুন ফাইল সৃষ্টি কৰক।

সংলাপ বাকচত, “robots.txt” (উদ্ধৃতি নোহোৱাকৈ) লিখক আৰু ঠিক আছে টিপক।

আপুনি ভিতৰত এটা নতুন robots.txt ফাইল চাব লাগে:

শেষত, নিশ্চিত কৰক যে আপুনি Robots.txt নথিপত্ৰৰ বাবে সঠিক নথিপত্ৰ অনুমতি সংহতি কৰিছে। আপুনি বিচাৰে যে মালিকে – নিজেই – ফাইলটো পঢ়িব আৰু লিখিব, কিন্তু আন বা জনসাধাৰণৰ বাবে নহয়।

আপোনাৰ Robots.txt ফাইলে অনুমতি ক'ড হিচাপে “0644” দেখুৱাব লাগে।

যদি ই নহয়, আপোনাৰ Robots.txt ফাইলত ৰাইট ক্লিক কৰক আৰু “ফাইলৰ অনুমতিসমূহ...” নিৰ্ব্বাচন কৰক

তাত আপোনাৰ ই আছে – এটা সম্পূৰ্ণ কাৰ্য্যক্ষম Robots.txt ফাইল!

কিন্তুএই ফাইলটোৰ সৈতে আপুনি প্ৰকৃততে কি কৰিব পাৰে?

ইয়াৰ পিছত, মই আপোনাক কিছুমান সাধাৰণ নিৰ্দেশনা দেখুৱাম যিবোৰ আপুনি আপোনাৰ চাইটলৈ অভিগম নিয়ন্ত্ৰণ কৰিবলে ব্যৱহাৰ কৰিব পাৰে।

Robots.txt কেনেকৈ ব্যৱহাৰ কৰিব লাগে

মনত ৰাখিব যে Robots.txt এ মূলতঃ আপোনাৰ চাইটৰ সৈতে ৰবটসমূহে কেনেকৈ যোগাযোগ কৰে নিয়ন্ত্ৰণ কৰে।

আপোনাৰ সমগ্ৰ চাইটত প্ৰৱেশ কৰাৰ পৰা সন্ধান ইঞ্জিনসমূহক বাধা দিব বিচাৰেনে? কেৱল Robots.txt ত অনুমতি সলনি কৰক।

আপোনাৰ যোগাযোগ পৃষ্ঠা সূচীভুক্ত কৰাৰ পৰা Bingক বাধা দিব বিচাৰেনে? আপুনি সেইটোও কৰিব পাৰে।

নিজৰ বাবে, Robots.txt ফাইলে আপোনাৰ SEO উন্নত নকৰে, কিন্তু আপুনি ইয়াক আপোনাৰ চাইটত ক্ৰ'লাৰৰ আচৰণ নিয়ন্ত্ৰণ কৰিবলৈ ব্যৱহাৰ কৰিব পাৰে।

যোগ বা পৰিবৰ্তন কৰিবলৈ নথিপত্ৰ, কেৱল ইয়াক আপোনাৰ FTP সম্পাদকত খোলক আৰু লিখনী পোনপটীয়াকৈ যোগ কৰক । আপুনি এবাৰ নথিপত্ৰ সংৰক্ষণ কৰিলে, পৰিবৰ্তনসমূহ তৎক্ষণাত প্ৰতিফলিত হ'ব।

ইয়াত আপুনি আপোনাৰ Robots.txt নথিপত্ৰত ব্যৱহাৰ কৰিব পৰা কিছুমান আদেশ আছে:

1. আপোনাৰ চাইটৰ পৰা সকলো বট ব্লক কৰক

আপোনাৰ চাইট ক্ৰ'ল কৰাৰ পৰা সকলো ৰবট ব্লক কৰিব বিচাৰেনে?

এই ক'ড আপোনাৰ Robots.txt ফাইলত যোগ কৰক:

User-agent: *
Disallow: /
See_also: আপোনাৰ ব্লগক পৰৱৰ্তী স্তৰলৈ লৈ যাবলৈ ১০টা পঢ়া আৱশ্যকীয় প্ৰবন্ধ (২০১৯)

এইটোৱেই হ'ব প্ৰকৃত ফাইলত দেখা যায়:

সৰলভাৱে ক'বলৈ গ'লে, এই আদেশে প্ৰতিজন ব্যৱহাৰকাৰী এজেণ্টক (*) আপোনাৰ চাইটৰ কোনো ফাইল বা ফোল্ডাৰ অভিগম নকৰিবলৈ কয়।

ইয়াত সম্পূৰ্ণ ইয়াত কি হৈছে তাৰ ব্যাখ্যা:

• ব্যৱহাৰকাৰী-এজেন্ট:* – তাৰকা চিহ্ন (*) এটা 'ৱাইল্ড-কাৰ্ড' আখৰ যি প্ৰতিটো<3 ৰ বাবে প্ৰযোজ্য> বস্তু (যেনে ফাইলৰ নাম বা এই ক্ষেত্ৰত, বট)। যদি আপুনি আপোনাৰ কমপিউটাৰত “*.txt” সন্ধান কৰে, ই প্ৰতিটো ফাইল দেখুৱাব.txt সম্প্ৰসাৰণ। ইয়াত, তাৰকা চিহ্নৰ অৰ্থ হ'ল আপোনাৰ আদেশ প্ৰতিটো ব্যৱহাৰকাৰী-এজেণ্টৰ বাবে প্ৰযোজ্য।
• অনুমতি নিদিব: / – “অনুমতি নিদিব” এটা robots.txt আদেশ যিয়ে এটা বটৰ পৰা নিষিদ্ধ কৰে এটা ফোল্ডাৰ ক্ৰলিং কৰা। একক ফৰৱাৰ্ড স্লেছ (/) ৰ অৰ্থ হ'ল আপুনি এই আদেশ ৰূট পঞ্জিকাত প্ৰয়োগ কৰিছে।

টোকা: এইটো আদৰ্শ যদি আপুনি যিকোনো ধৰণৰ ব্যক্তিগত ৱেবছাইট যেনে... এটা সদস্যপদ চাইট। কিন্তু সচেতন হওক যে ইয়াৰ ফলত গুগলৰ দৰে সকলো বৈধ বটে আপোনাৰ চাইটটো ক্ৰ’ল কৰাটো বন্ধ কৰি দিব। সাৱধানে ব্যৱহাৰ কৰক।

2. এটা নিৰ্দিষ্ট ফোল্ডাৰ অভিগম কৰাৰ পৰা সকলো বটক বাধা দিয়ক

যদি আপুনি বটসমূহক এটা নিৰ্দিষ্ট ফোল্ডাৰ ক্ৰ'লিং আৰু সূচীভুক্ত কৰাত বাধা দিব বিচাৰে তেন্তে কি হ'ব?

উদাহৰণস্বৰূপে, /images ফোল্ডাৰ?

ব্যৱহাৰ কৰক এই আদেশ:

User-agent: *
Disallow: /[folder_name]/

যদি আপুনি বটসমূহক /images ফোল্ডাৰ অভিগম কৰাৰ পৰা বন্ধ কৰিব বিচাৰে, ইয়াত আদেশ কেনেকুৱা হ'ব:

এই আদেশ উপযোগী যদি আপোনাৰ এটা সম্পদ ফোল্ডাৰ আছে যে আপুনি ৰবট ক্ৰ'লাৰ অনুৰোধৰ সৈতে আপ্লুত হ'ব নিবিচাৰে। এইটো অগুৰুত্বপূৰ্ণ লিপি, পুৰণি ছবি আদিৰ সৈতে এটা ফোল্ডাৰ হ'ব পাৰে।

টোকা: /images ফোল্ডাৰটো বিশুদ্ধভাৱে এটা উদাহৰণ। মই কোৱা নাই যে আপুনি বটবোৰক সেই ফোল্ডাৰটো ক্ৰ’ল কৰাৰ পৰা ব্লক কৰিব লাগে। ই আপুনি কি লাভ কৰিবলৈ চেষ্টা কৰিছে তাৰ ওপৰত নিৰ্ভৰ কৰে৷

চাৰ্চ ইঞ্জিনসমূহে সাধাৰণতে ৱেবমাষ্টাৰসকলে তেওঁলোকৰ বটসমূহক অ-চিত্ৰ ফোল্ডাৰসমূহ ক্ৰ’ল কৰাৰ পৰা বাধা দিয়াত ভ্ৰু কোঁচাই থাকে, গতিকে আপুনি এই আদেশ ব্যৱহাৰ কৰাৰ সময়ত সাৱধান হওক৷ মই চাৰ্চ ইঞ্জিন বন্ধ কৰাৰ বাবে Robots.txt ৰ কিছুমান বিকল্প তালিকাভুক্ত কৰিছো৷তলত নিৰ্দিষ্ট পৃষ্ঠাসমূহ সূচীভুক্ত কৰা।

3. আপোনাৰ চাইটৰ পৰা নিৰ্দিষ্ট বটসমূহ ব্লক কৰক

যদি আপুনি এটা নিৰ্দিষ্ট ৰবট – যেনে Googlebot – আপোনাৰ চাইটত প্ৰৱেশ কৰাৰ পৰা ব্লক কৰিব বিচাৰে তেন্তে কি হ'ব?

ইয়াত ইয়াৰ বাবে আদেশ আছে:

User-agent: [robot name]
Disallow: /

উদাহৰণস্বৰূপে, যদি আপুনি আপোনাৰ চাইটৰ পৰা Googlebot ব্লক কৰিব বিচাৰে, তেন্তে আপুনি এইটোৱেই ব্যৱহাৰ কৰিব:

প্ৰতিটো বৈধ বট বা ব্যৱহাৰকাৰী-এজেণ্টৰ এটা নিৰ্দিষ্ট নাম থাকে। উদাহৰণস্বৰূপে গুগলৰ মকৰাটোক কেৱল “গুগলবট” বুলি কোৱা হয়। মাইক্ৰ’ছফটে “msnbot” আৰু “bingbot” দুয়োটা চলায়। য়াহুৰ বটটোৰ নাম “য়াহু! Slurp”.

বিভিন্ন ব্যৱহাৰকাৰী-এজেন্টৰ সঠিক নাম বিচাৰিবলৈ (যেনে Googlebot, bingbot, ইত্যাদি) এই পৃষ্ঠা ব্যৱহাৰ কৰক।

টোকা: ওপৰৰ আদেশে কৰিব আপোনাৰ সমগ্ৰ চাইটৰ পৰা এটা নিৰ্দিষ্ট বট ব্লক কৰক। গুগলবট বিশুদ্ধভাৱে উদাহৰণ হিচাপে ব্যৱহাৰ কৰা হৈছে। বেছিভাগ ক্ষেত্ৰতে আপুনি গুগলক আপোনাৰ ৱেবছাইট ক্ৰ'ল কৰাত কেতিয়াও বাধা দিব নিবিচাৰিব। নিৰ্দিষ্ট বটসমূহ ব্লক কৰাৰ বাবে এটা নিৰ্দিষ্ট ব্যৱহাৰৰ ক্ষেত্ৰ হ'ল আপুনি উপকৃত কৰা বটসমূহ আপোনাৰ চাইটলৈ আহি থকাকৈ ৰখা, আনহাতে আপোনাৰ চাইটক উপকৃত নকৰা বটসমূহ বন্ধ কৰা।

4. এটা নিৰ্দিষ্ট ফাইল ক্ৰ'ল কৰাৰ পৰা ব্লক কৰক

ৰবটসমূহ বৰ্জন প্ৰটোকলে আপোনাক কোনটো ফাইল আৰু ফোল্ডাৰলৈ ৰবট অভিগম ব্লক কৰিব বিচাৰে তাৰ ওপৰত সুক্ষ্ম নিয়ন্ত্ৰণ দিয়ে।

ইয়াত এটা ফাইল বন্ধ কৰিবলে ব্যৱহাৰ কৰিব পৰা আদেশ আছে যিকোনো ৰবটে ক্ৰ'ল কৰাৰ পৰা:

User-agent: *
Disallow: /[folder_name]/[file_name.extension]

গতিকে, যদি আপুনি “images” ফোল্ডাৰৰ পৰা “img_0001.png” নামৰ এটা ফাইল ব্লক কৰিব বিচাৰে, আপুনি এই আদেশ ব্যৱহাৰ কৰিব:

<২১>৫। এটা ফোল্ডাৰলৈ অভিগম বন্ধ কৰক কিন্তু এটা ফাইল হ'বলৈ অনুমতি দিয়কindexed

“Disallow” কমাণ্ডে বটসমূহক এটা ফোল্ডাৰ বা এটা ফাইল অভিগম কৰাত বাধা দিয়ে।

“Allow” কমাণ্ডে ইয়াৰ বিপৰীত কাম কৰে।

“Allow” কমাণ্ডে... “অনুমতি নিদিব” আদেশ যদি পূৰ্বৰটোৱে এটা ব্যক্তিগত ফাইলক লক্ষ্য কৰে।

ইয়াৰ অৰ্থ হ'ল আপুনি এটা ফোল্ডাৰলৈ অভিগম বন্ধ কৰিব পাৰে কিন্তু ব্যৱহাৰকাৰী-এজেন্টসকলক ফোল্ডাৰৰ ভিতৰত এটা ব্যক্তিগত ফাইল অভিগম কৰাৰ অনুমতি দিয়ে।

ইয়াত আছে ব্যৱহাৰ কৰিবলগীয়া ফৰ্মেট:

User-agent: *
Disallow: /[folder_name]/
Allow: /[folder_name]/[file_name.extension]/

উদাহৰণস্বৰূপে, যদি আপুনি Google-ক “images” ফোল্ডাৰ ক্ৰ’ল কৰাৰ পৰা ব্লক কৰিব বিচাৰে কিন্তু তথাপিও ইয়াক ইয়াত সংৰক্ষিত “img_0001.png” ফাইললৈ অভিগম দিব বিচাৰে, ইয়াত আপুনি ফৰ্মেটটো আছে 'd use:

ওপৰৰ উদাহৰণৰ বাবে, ইয়াক এনেদৰে দেখা যাব:

ই /search/ পঞ্জিকাৰ সকলো পৃষ্ঠা সূচীভুক্ত হোৱাৰ পৰা বন্ধ কৰিব।

যদি আপুনি এটা নিৰ্দিষ্ট সম্প্ৰসাৰণৰ সৈতে মিল থকা সকলো পৃষ্ঠা (যেনে “.php” বা “.png”) সূচীভুক্ত হোৱাৰ পৰা বন্ধ কৰিব বিচাৰে তেন্তে কি হ’ব?

এইটো ব্যৱহাৰ কৰক:

User-agent: *
Disallow: /*.extension$

The ($ ) sign here এ URL ৰ শেষক বুজায়, অৰ্থাৎ এক্সটেনচনটো URL ৰ শেষ ষ্ট্ৰিং।

যদি আপুনি “.js” এক্সটেনচনৰ সৈতে সকলো পৃষ্ঠা ব্লক কৰিব বিচাৰে (জাভাস্ক্রিপ্টৰ বাবে), ইয়াত আপুনি কি কৰিব ব্যৱহাৰ:

এই আদেশ বিশেষভাৱে ফলপ্ৰসূ যদি আপুনি বটসমূহক স্ক্ৰিপ্টসমূহ ক্ৰ'ল কৰাৰ পৰা বন্ধ কৰিব বিচাৰে।

6. বটসমূহক আপোনাৰ চাইটটো সঘনাই ক্ৰ'ল কৰা বন্ধ কৰক

ওপৰৰ উদাহৰণসমূহত, আপুনি এই আদেশ দেখিছে:

User-agent: *
Crawl-Delay: 20

এই আদেশে সকলো বটক ক্ৰ'ল অনুৰোধৰ মাজত নূন্যতম ২০ ছেকেণ্ড অপেক্ষা কৰিবলৈ নিৰ্দেশ দিয়ে।<১><০>ক্ৰ’ল-ডিলেকমাণ্ড সঘনাই আপডেট কৰা বিষয়বস্তু থকা বৃহৎ চাইটসমূহত (যেনে টুইটাৰ) ব্যৱহাৰ কৰা হয়। এই আদেশে বটসমূহক পৰৱৰ্তী অনুৰোধসমূহৰ মাজত নূন্যতম সময় অপেক্ষা কৰিবলৈ কয়।

ই নিশ্চিত কৰে যে চাৰ্ভাৰ বিভিন্ন বটৰ পৰা একে সময়তে অত্যধিক অনুৰোধৰ দ্বাৰা আৱৰি ধৰা নহয়।

উদাহৰণস্বৰূপে , এইটো হৈছে টুইটাৰৰ Robots.txt ফাইল যিয়ে বটসমূহক অনুৰোধৰ মাজত নূন্যতম ১ ছেকেণ্ড অপেক্ষা কৰিবলৈ নিৰ্দেশ দিয়ে:

আপুনি আনকি ব্যক্তিগত বটৰ বাবে ক্ৰ'ল বিলম্ব নিয়ন্ত্ৰণ কৰিব পাৰে। ই নিশ্চিত কৰে যে অত্যধিক বটে আপোনাৰ চাইটটো একে সময়তে ক্ৰ'ল নকৰে।

উদাহৰণস্বৰূপে, আপোনাৰ এনে আদেশৰ এটা গোট থাকিব পাৰে:

টোকা: আপুনি এই আদেশ ব্যৱহাৰ কৰাৰ প্ৰয়োজন নহ'ব যদিহে আপুনি প্ৰতি মিনিটত হাজাৰ হাজাৰ নতুন পৃষ্ঠা সৃষ্টি কৰা এটা বৃহৎ চাইট চলাই নাই (টুইটাৰৰ দৰে)।

Robots.txt<5 ব্যৱহাৰ কৰাৰ সময়ত এৰাই চলিবলগীয়া সাধাৰণ ভুলসমূহ>

Robots.txt ফাইলটো আপোনাৰ চাইটত বটৰ আচৰণ নিয়ন্ত্ৰণ কৰাৰ বাবে এটা শক্তিশালী সঁজুলি।

কিন্তু, সঠিকভাৱে ব্যৱহাৰ নকৰিলে ই SEO দুৰ্যোগৰ সৃষ্টি কৰিব পাৰে। অনলাইনত Robots.txt সম্পৰ্কে কেইবাটাও ভুল ধাৰণা ওপঙি থকাটোৱে কোনো সহায় নকৰে।

Robots.txt ব্যৱহাৰ কৰাৰ সময়ত আপুনি এৰাই চলিবলগীয়া কিছুমান ভুল ইয়াত উল্লেখ কৰা হৈছে:

ভুল #1 – ব্যৱহাৰ কৰা Robots.txt কন্টেন্ট সূচীভুক্ত হোৱাত বাধা দিবলৈ

যদি আপুনি Robots.txt ফাইলত এটা ফোল্ডাৰ “অনুমতি অস্বীকাৰ” কৰে, বৈধ বটসমূহে ইয়াক ক্ৰ'ল নকৰে।

কিন্তু, ইয়াৰ অৰ্থ এতিয়াও দুটা কথা :

• বটসমূহে ৰ বিষয়বস্তু ক্ৰ'ল কৰিব