د Robots.txt فایل څه شی دی؟ او تاسو څنګه یو جوړ کړئ؟ (د پیل کونکي لارښود)

 د Robots.txt فایل څه شی دی؟ او تاسو څنګه یو جوړ کړئ؟ (د پیل کونکي لارښود)

Patrick Harvey

فهرست

ایا تاسو پوهیږئ چې تاسو په دې باندې بشپړ کنټرول لرئ چې څوک ستاسو سایټ کرال کوي او انفرادي مخونو ته یې لیست کوي؟

د دې کار لاره د روبوټ.txt په نوم د فایل له لارې ترسره کیږي.

Robots.txt یو ساده متن فایل دی چې ستاسو د سایټ په روټ لارښود کې ځای لري. دا "روبوټ" (لکه د لټون انجن سپیډرز) ته وایي چې ستاسو په سایټ کې کومې پاڼې کرال کړئ، کوم پاڼې چې سترګې پټې کړئ. نور د لټون انجنونه ستاسو سایټ ګوري.

کله چې سم کارول کیږي، دا کولی شي کرال کول ښه کړي او حتی SEO اغیزه وکړي.

مګر تاسو څنګه په سمه توګه د Robots.txt فایل جوړ کړئ؟ یوځل جوړ شو، تاسو څنګه کاروئ؟ او تاسو باید د دې کارولو په وخت کې له کومو غلطیو څخه مخنیوی وکړئ؟

په دې پوسټ کې، زه به هر هغه څه شریک کړم چې تاسو ورته اړتیا لرئ د Robots.txt فایل په اړه پوه شئ او څنګه یې په خپل بلاګ کې وکاروئ.

راځئ چې په دې کې ډوب کړو:

د Robots.txt فایل څه شی دی؟

د انټرنیټ په لومړیو ورځو کې، پروګرامرانو او انجینرانو 'روبوټونه' یا 'مکۍ' جوړ کړل په ویب کې د مخونو کرال او شاخص کول. دا روبوټونه د کاروونکي اجنټانو په نوم هم پیژندل کیږي.

کله ناکله، دا روبوټونه به هغه پاڼو ته لاره پیدا کړي چې د سایټ مالکین نه غوښتل چې لیست شي. د مثال په توګه، یو زیر تعمیر سایټ یا شخصي ویب پاڼه.

د دې ستونزې د حل لپاره، مارتیجن کوسټر، یو هالنډي انجینر چې د نړۍ لومړی د لټون انجن (علی ویب) یې جوړ کړ، د معیارونو یوه مجموعه وړاندیز کړه چې هر روبوټ به یې وکړي.فولډر د بهرنیو سرچینو څخه تړل شوی. ووایه، که بل سایټ ستاسو په بند شوي فولډر کې د فایل سره اړیکه ونیسي، بوټان به یې د شاخص له لارې تعقیب کړي.

  • Rogue bots – spammers, spyware, malware, etc. – معمولا به د Robots.txt لارښوونې له پامه غورځوي او ستاسو شاخص به په نښه کړي. محتوا په پام کې نیولو پرته.
  • دا Robots.txt د منځپانګې د شاخص کیدو څخه مخنیوي لپاره یو خراب وسیله جوړوي.

    دلته هغه څه دي چې تاسو یې باید پرځای یې وکاروئ: د 'میټا نوډیکس' ټګ وکاروئ.

    لاندې ټاګ په هغو پاڼو کې اضافه کړئ چې تاسو یې نه غواړئ شاخص ترلاسه کړئ:

    دا وړاندیز شوی، د SEO دوستانه طریقه ده چې د یوې پاڼې د شاخص کولو مخه ونیسي (که څه هم دا لاهم نه بندوي سپیمر).

    یادونه: که تاسو د ورڈپریس پلگ ان کاروئ لکه Yoast SEO، یا ټول په یو SEO کې؛ تاسو کولی شئ دا پرته له کوم کوډ ترمیم کړئ. د مثال په توګه، د Yoast SEO پلگ ان کې تاسو کولی شئ د هر پوسټ / پاڼې په اساس د noindex ټاګ اضافه کړئ لکه څنګه چې:

    یوازې خلاص کړئ او پوسټ / پاڼه او د Yoast SEO بکس دننه کوګ باندې کلیک وکړئ. . بیا د 'میټا روبوټس انډیکس' په څنګ کې ډراپ ډاون کلیک وکړئ.

    سربیره پردې، ګوګل به د سپتمبر له لومړۍ نیټې څخه په robots.txt فایلونو کې د "noindex" کارولو ملاتړ بند کړي. د SearchEngineLand دا مقاله نور معلومات لري.

    22 غلطی – د خصوصي منځپانګې د ساتنې لپاره د Robots.txt کارول

    که تاسو شخصي منځپانګې لرئ – ووایئ، د بریښنالیک کورس لپاره PDFs – له لارې لارښود بلاک کول د Robots.txt فایل به مرسته وکړي، مګر دا کافي نه ده.

    دلته دی ولې:

    ستاسو منځپانګه کیدای شيکه چیرې دا د بهرنیو سرچینو څخه تړاو ولري بیا هم لیست شوي. برسېره پردې، روګ بوټونه به بیا هم دا کرال کړي.

    یو غوره طریقه دا ده چې ټول شخصي مواد د ننوتلو شاته وساتئ. دا به دا یقیني کړي چې هیڅوک - مشروع یا غلط بوټونه به ستاسو مینځپانګې ته لاسرسی ونلري.

    نیکی اړخ دا دی چې دا پدې معنی ده چې ستاسو لیدونکي د کود کولو لپاره اضافي هوپ لري. مګر، ستاسو مینځپانګه به ډیر خوندي وي.

    3 غلطی - د نقل شوي مینځپانګې د شاخص کیدو مخه نیولو لپاره د Robots.txt کارول

    د SEO په اړه د نقل مینځپانګې لوی نه دی.

    په هرصورت، د دې مینځپانګې د شاخص کیدو مخه نیولو لپاره د Robots.txt کارول د حل لاره نه ده. یوځل بیا، هیڅ تضمین شتون نلري چې د لټون انجن سپیډر به دا مواد د بهرنیو سرچینو له لارې ونه موندل شي.

    دلته د نقل شوي منځپانګې د لاس ته راوړلو لپاره 3 نورې لارې دي:

    • حذف کړئ نقل شوي مینځپانګې - دا به په بشپړ ډول له مینځپانګې څخه خلاص شي. په هرصورت، دا پدې مانا ده چې تاسو 404 پاڼې ته د لټون انجنونه رهبري کوئ - مثالی نه. د دې له امله، د ړنګولو سپارښتنه نه کیږي .
    • د 301 ریډیریټ وکاروئ – A 301 ریډیریټ د لټون انجنونو (او لیدونکو) ته لارښوونه کوي چې یوه پاڼه نوي ځای ته لیږدول شوې وي. . په ساده ډول د نقل شوي مینځپانګې په اړه 301 ریډیریټ اضافه کړئ ترڅو لیدونکي ستاسو اصلي مینځپانګې ته ورسوي.
    • د rel="canonical" ټګ اضافه کړئ - دا ټاګ د 301 ریډیریک 'میټا' نسخه ده. د "rel=canonical" ټګ ګوګل ته وایي چې د یوې ځانګړې پاڼې لپاره اصلي URL دی. لپارهد دې کوډ مثال:

      //example.com/original-page.html " rel="canonical" />

      ګوګل ته وايي چې پاڼه - original-page.html - د نقل پاڼې "اصلي" نسخه ده. که تاسو ورڈپریس کاروئ، دا ټاګ د Yoast SEO یا All in One SEO په کارولو سره اضافه کول اسانه دي.

    که تاسو غواړئ چې لیدونکي وکولی شي نقل شوي مینځپانګې ته لاسرسی ومومي ، نو وکاروئ rel="canonical" tag. که تاسو نه غواړئ چې لیدونکي یا بوټونه مینځپانګې ته لاسرسی ومومي - د 301 لارښود وکاروئ.

    په پلي کولو کې محتاط اوسئ ځکه چې دوی به ستاسو SEO اغیزه وکړي.

    تاسو ته

    د Robots.txt فایل د لټون انجن مکڑی او نور بوټونه ستاسو د سایټ سره د تعامل د طریقې په جوړولو کې یو ګټور ملګری دی. کله چې په سمه توګه وکارول شي، دوی کولی شي ستاسو په درجه بندي مثبت اغیزه وکړي او ستاسو سایټ په اسانۍ سره کرال کړي.

    دا لارښود وکاروئ ترڅو پوه شئ چې Robots.txt څنګه کار کوي، دا څنګه نصب شوی او ځینې عام لارې چې تاسو یې کارولی شئ. . او د هر هغه غلطیو څخه ډډه وکړئ چې موږ یې پورته بحث کړی دی.

    اړونده لوستل:

    • د بلاګرانو لپاره د غوره درجه تعقیب وسیلې، پرتله
    • د ګوګل سایټ لینکونو ترلاسه کولو لپاره مشخص لارښود
    • 5 د کلیدي کلمې څیړنې وسیلې پرتله کول
    باید تعقیب شي. دا معیارونه د لومړي ځل لپاره د 1994 په فبروري کې وړاندیز شوي وو.

    د 1994 د جون په 30 کې، یو شمیر روبوټ لیکوالان او د ویب پاڼې لومړني مخکښان د معیارونو په اړه توافق ته ورسیدل.

    دا معیارونه د "روبوټونو ایستل" په توګه ومنل شول. پروتوکول" (REP).

    د Robots.txt فایل د دې پروتوکول پلي کول دي.

    REP د مقرراتو یوه ټولګه تعریفوي چې هر مشروع کرالر یا سپیډر باید تعقیب کړي. که چیرې Robots.txt روبوټ ته لارښوونه وکړي چې د ویب پاڼې لیست ونه کړي، هر مشروع روبوټ - له Googlebot څخه تر MSNbot - باید لارښوونې تعقیب کړي.

    یادونه: د مشروع کرالرونو لیست کولی شي دلته موندل کیدی شي.

    په یاد ولرئ چې ځینې بد روباټونه - مالویر، سپایویر، بریښنالیک راټولونکي، او داسې نور - ممکن دا پروتوکولونه تعقیب نکړي. له همدې امله تاسو ممکن د روبوټس.txt له لارې په هغه پاڼو کې د بوټ ټرافیک وګورئ چې تاسو یې بند کړي دي.

    داسې روبوټونه هم شتون لري چې د REP معیارونه نه تعقیبوي چې د پوښتنې وړ هیڅ شی لپاره نه کارول کیږي.

    تاسو کولی شئ د هرې ویب پاڼې robots.txt دې url ته لاړ شئ:

    //[website_domain]/robots.txt

    هم وګوره: د 2023 لپاره 27+ غوره ورڈپریس عکاسي موضوعات

    د مثال په توګه، دلته د فیسبوک د Robots.txt فایل دی:

    او دلته د ګوګل د Robots.txt فایل دی:

    د Robots.txt کارول

    Robots.txt د ویب پاڼې لپاره اړین سند نه دی. ستاسو سایټ کولی شي پرته له دې فایل څخه په ښه توګه درجه بندي او وده وکړي.

    په هرصورت، د Robots.txt کارول ځینې ګټې وړاندې کوي:

    • د شخصي فولډرونو له مینځلو څخه بوټونه منع کړئ - که څه هم کامل نه وي، د شخصي فولډرونو د کرال کولو څخه د بوټونو منع کول به دوی ته شاخص کول خورا سخت کړي - لږترلږه د مشروع بوټو لخوا (لکه د لټون انجن سپیډرز).
    • د سرچینو کارول کنټرول کړئ - هرکله چې یو بوټ ستاسو سایټ کرال کوي، دا ستاسو د بینډ ویت او سرور سرچینې وچوي - هغه سرچینې چې په ریښتیني لیدونکو باندې به ښه مصرف شي. د ډیری مینځپانګو سره د سایټونو لپاره ، دا کولی شي لګښتونه ډیر کړي او ریښتیني لیدونکو ته ضعیف تجربه ورکړي. تاسو کولی شئ د Robots.txt څخه کار واخلئ ترڅو سکریپټونو، غیر ضروري انځورونو او نورو ته د لاسرسي مخه ونیسي ترڅو سرچینې خوندي کړي.
    • مهمو پاڼو ته لومړیتوب ورکړئ - تاسو غواړئ د لټون انجن سپیډرونه ستاسو په سایټ کې مهمې پاڼې وکرئ (لکه د منځپانګې پاڼې)، د بې کاره پاڼو له لارې د کیندلو سرچینې ضایع مه کوئ (لکه د لټون پوښتنو پایلې). د داسې بې کاره پاڼو په بندولو سره، تاسو کولی شئ لومړیتوب ورکړئ چې کوم مخونه بوټونه تمرکز کوي.

    څنګه خپل د Robots.txt فایل ومومئ

    لکه څنګه چې نوم وړاندیز کوي، Robots.txt یو ساده دی د متن فایل.

    دا فایل ستاسو د ویب پاڼې په روټ ډایرکټر کې زیرمه شوی. د موندلو لپاره، په ساده ډول خپل د FTP وسیله پرانیزئ او د عامه_html لاندې خپل ویب پاڼې ډایرکټر ته لاړ شئ.

    دا یو کوچنی متن فایل دی - زما د 100 بایټ څخه ډیر دی.

    د خلاصولو لپاره. ، هر ډول متن ایډیټر وکاروئ ، لکه نوټ پیډ. تاسو ممکن د دې په څیر یو څه وګورئ:

    داسې چانس شتون لري چې تاسو به د خپل سایټ په روټ لارښود کې هیڅ Robots.txt فایل ونه ګورئ. په دې حالت کې، تاسو باید یو جوړ کړئRobots.txt پخپله فایل کړئ.

    دلته دا دی چې څنګه:

    د Robot.txt فایل څنګه جوړ کړئ

    ځکه چې Robots.txt یو بنسټیز متن فایل دی، نو جوړول یې خورا ساده دي - یوازې د متن مدیر خلاص کړئ او یو خالي فایل د robots.txt په توګه خوندي کړئ.

    خپل سرور ته د دې فایل اپلوډ کولو لپاره ، خپل د خوښې FTP وسیله وکاروئ (زه د WinSCP کارولو وړاندیز کوم) ترڅو خپل ویب سرور ته ننوځي . بیا د عامه_html فولډر پرانیزئ او د خپل سایټ روټ ډایرکټر خلاص کړئ.

    د دې پورې اړه لري چې ستاسو ویب کوربه څنګه تنظیم شوی، ستاسو د سایټ روټ ډایرکټر ممکن په مستقیم ډول په عامه_html فولډر کې وي. یا، دا کیدای شي په دې کې یو فولډر وي.

    یوځل چې تاسو د خپل سایټ ریډ ډایرکټر خلاص کړئ، یوازې ډریګ او amp; د Robots.txt فایل په دې کې وغورځوئ.

    په بدیل سره، تاسو کولی شئ په مستقیم ډول د خپل FTP مدیر څخه د Robots.txt فایل جوړ کړئ.

    د دې کولو لپاره، د خپل سایټ روټ ډایرکټر خلاص کړئ او ښي کلیک وکړئ -> نوې فایل جوړ کړئ.

    د ډیالوګ بکس کې، "robots.txt" (پرته له اقتباساتو) ټایپ کړئ او OK کېکاږئ.

    تاسو باید دننه یو نوی روبوټس.txt فایل وګورئ:

    په نهایت کې، ډاډ ترلاسه کړئ چې تاسو د Robots.txt فایل لپاره د سم فایل اجازه ټاکلې ده. تاسو غواړئ چې مالک - پخپله - فایل ولولي او ولیکي، مګر نورو یا خلکو ته نه.

    ستاسو د Robots.txt فایل باید "0644" د اجازې کوډ په توګه وښيي.

    که دا نه ده، د خپل Robots.txt دوتنې ښي کلیک وکړئ او "د دوتنې اجازې…" غوره کړئ

    دلته تاسو دا لرئ - یو بشپړ فعال روبوټ.txt فایل!

    مګرتاسو واقعیا د دې فایل سره څه کولی شئ؟

    وروسته زه به تاسو ته ځینې عام لارښوونې وښیم چې تاسو کولی شئ خپل سایټ ته د لاسرسي کنټرول لپاره وکاروئ.

    د Robots.txt څنګه وکاروئ<5

    په یاد ولرئ چې Robots.txt په اصل کې دا کنټرولوي چې څنګه روبوټونه ستاسو سایټ سره تعامل کوي.

    ایا غواړئ د لټون انجنونه ستاسو ټول سایټ ته د لاسرسي مخه ونیسئ؟ په ساده ډول په Robots.txt کې اجازې بدل کړئ.

    غواړئ چې Bing د خپلې اړیکې پاڼې له لیست کولو څخه بند کړئ؟ تاسو دا هم کولی شئ.

    په خپله، د Robots.txt فایل به ستاسو SEO ته وده ورنکړي، مګر تاسو کولی شئ دا په خپل سایټ کې د کرالر چلند کنټرولولو لپاره وکاروئ.

    د اضافه کولو یا بدلولو لپاره فایل، په ساده ډول دا په خپل FTP مدیر کې خلاص کړئ او متن مستقیم اضافه کړئ. یوځل چې تاسو فایل خوندي کړئ، بدلونونه به سمدلاسه منعکس شي.

    دلته ځینې کمانډونه دي چې تاسو یې په خپل Robots.txt فایل کې کارولی شئ:

    1. ستاسو د سایټ ټول بوټونه بند کړئ

    ایا غواړئ ټول روبوټونه ستاسو د سایټ له کرال کولو څخه بند کړئ؟

    دا کوډ په خپل Robots.txt فایل کې اضافه کړئ:

    User-agent: *

    Disallow: /

    دا هغه څه دي په ریښتیني فایل کې داسې ښکاري:

    د ساده کولو لپاره ، دا کمانډ هر کارونکي اجنټ (*) ته وايي چې ستاسو سایټ کې هیڅ فایل یا فولډر ته لاسرسی ونلري.

    دلته بشپړ دی د هغه څه تشریح چې دلته څه پیښیږي:

    • د کارونکي ایجنټ:* – ستاره (*) یو 'وائلډ کارډ' کرکټر دی چې په هر <3 باندې تطبیق کیږي> اعتراض (لکه د فایل نوم یا پدې حالت کې، بوټ). که تاسو په خپل کمپیوټر کې د "*.txt" لټون وکړئ، دا به هر فایل ښکاره کړيد .txt توسیع. دلته، ستوری په دې معنی دی چې ستاسو کمانډ په هر کارن-ایجنټ باندې تطبیق کیږي.
    • Disallow: / – "Disallow" د robots.txt کمانډ دی چې یو بوټ منع کوي د فولډر ځړول. د واحد فارورډ سلیش (/) معنی دا ده چې تاسو دا کمانډ په روټ ډایرکټر کې پلي کوئ.

    یادونه: دا غوره ده که تاسو هر ډول شخصي ویب پاڼه چلوئ لکه د غړیتوب سایټ. مګر خبر اوسئ چې دا به ټول قانوني بوټونه ودروي لکه ګوګل ستاسو د سایټ له کښته کولو څخه. په احتیاط سره وکاروئ.

    2. ټول بوټونه یو ځانګړي فولډر ته د لاسرسي مخه ونیسئ

    څه به وي که تاسو غواړئ چې بوټونه د ځانګړي فولډر له کرال کولو او لیست کولو څخه مخنیوی وکړئ؟

    د مثال په توګه ، د عکس فولډر؟

    وکاروئ؟ دا کمانډ:

    User-agent: *

    Disallow: /[folder_name]/

    که تاسو غواړئ بوټونه د /images فولډر ته د لاسرسي مخه ونیسئ ، دلته به کمانډ څه ډول ښکاري:

    دا کمانډ ګټور دی که تاسو د سرچینې فولډر ولرئ چې تاسو نه غواړئ د روبوټ کرالر غوښتنو سره مغلوب شئ. دا کیدای شي یو فولډر وي چې غیر مهم سکریپټونه، زاړه انځورونه، او داسې نور.

    یادونه: د /images فولډر په بشپړه توګه یو مثال دی. زه دا نه وایم چې تاسو باید بوټونه د دې فولډر له کرولو څخه بند کړئ. دا په هغه څه پورې اړه لري چې تاسو یې د ترلاسه کولو هڅه کوئ.

    د لټون انجنونه په عمومي ډول د ویب ماسټرانو څخه ډډه کوي چې خپل بوټونه د غیر عکس فولډرونو له کرولو څخه منع کوي، نو محتاط اوسئ کله چې تاسو دا کمانډ کاروئ. ما د Robots.txt لپاره ځینې بدیلونه لیست کړي ترڅو د لټون انجنونو مخه ونیسيلاندې ځانګړي پاڼې لیست کول.

    3. د خپل سایټ څخه ځانګړي بوټونه بند کړئ

    څه شی که تاسو غواړئ یو ځانګړی روبوټ - لکه ګوګل بوټ - ستاسو سایټ ته د لاسرسي مخه ونیسئ؟

    دلته د دې لپاره کمانډ دی:

    User-agent: [robot name]

    Disallow: /

    د مثال په توګه، که تاسو غواړئ د خپل سایټ څخه Googlebot بند کړئ، دا هغه څه دي چې تاسو یې کاروئ:

    هر مشروع بوټ یا د کارونکي اجنټ یو ځانګړی نوم لري. د مثال په توګه د ګوګل سپیډر په ساده ډول د "Googlebot" په نوم یادیږي. مایکروسافټ دواړه "msnbot" او "bingbot" چلوي. د یاهو بوټ نومیږي "یاهو! Slurp”.

    د مختلفو کارن اجنټانو د کره نومونو موندلو لپاره (لکه Googlebot، bingbot، او داسې نور) دا پاڼه وکاروئ.

    یادونه: پورتنۍ کمانډ به ستاسو د ټول سایټ څخه یو ځانګړی بوټ بند کړئ. Googlebot په خالص ډول د مثال په توګه کارول کیږي. په ډیری قضیو کې تاسو به هیڅکله نه غواړئ چې ګوګل ستاسو د ویب پاڼې له کرلو څخه ودروي. د ځانګړو بوټو د بندولو لپاره د کارونې یوه ځانګړې قضیه دا ده چې هغه بوټونه وساتئ چې تاسو ته ستاسو سایټ ته د رسیدو لپاره ګټه رسوي، پداسې حال کې چې هغه بندول چې ستاسو سایټ ته ګټه نه رسوي.

    4. یو ځانګړی فایل د کرال کیدو څخه بلاک کړئ

    د روبوټ ایستلو پروتوکول تاسو ته ښه کنټرول درکوي کوم فایلونه او فولډر چې تاسو غواړئ د روبوټ لاسرسی بند کړئ.

    دلته هغه کمانډ دی چې تاسو یې د فایل بندولو لپاره کارولی شئ د هر روبوټ لخوا د کرال کیدو څخه:

    User-agent: *

    Disallow: /[folder_name]/[file_name.extension]

    نو، که تاسو غواړئ د "img_0001.png" په نوم فایل د "انځورونو" فولډر څخه بند کړئ، نو تاسو به دا کمانډ وکاروئ:

    5. فولډر ته لاسرسی بند کړئ مګر فایل ته اجازه ورکړئindexed

    د "اجازت" کمانډ بوټونه فولډر یا فایل ته د لاسرسي مخه نیسي.

    د "اجازت" کمانډ برعکس کوي.

    د "اجازت" کمانډ پورته کوي. د "Disallow" کمانډ که پخوانۍ یو انفرادي فایل په نښه کړي.

    دا پدې مانا ده چې تاسو کولی شئ یو فولډر ته لاسرسی بند کړئ مګر د کارونکي اجنټانو ته اجازه ورکړئ چې لاهم په فولډر کې انفرادي فایل ته لاسرسی ومومي.

    دلته دی د کارولو لپاره بڼه:

    User-agent: *

    Disallow: /[folder_name]/

    Allow: /[folder_name]/[file_name.extension]/

    د مثال په توګه، که تاسو غواړئ چې ګوګل د "انځورونو" فولډر له کرال کولو څخه منع کړئ مګر بیا هم غوښتل چې په دې کې زیرمه شوي "img_0001.png" فایل ته لاسرسی ورکړئ، دلته ستاسو بڼه ده دا به وکاروئ:

    د پورتنۍ بېلګې لپاره، دا به داسې ښکاري:

    هم وګوره: 37 د 2023 لپاره د ویب ډیزاین وروستي احصایې: دقیق لیست

    دا به د /search/ ډایرکټر کې ټولې پاڼې د لیست کولو مخه ونیسي.

    <0 څه که تاسو غواړئ هغه ټولې پاڼې چې د ځانګړي توسیع سره سمون لري (لکه ".php" یا ".png") د شاخص کولو مخه ونیسئ؟

    دا وکاروئ:

    User-agent: *

    Disallow: /*.extension$

    د ($) ) دلته نښه د URL پای ته اشاره کوي، د بیلګې په توګه توسیع په URL کې وروستی تار دی.

    که تاسو غواړئ ټولې پاڼې د ".js" توسیع (جاواسکریپټ لپاره) سره بندې کړئ، دلته هغه څه دي چې تاسو یې غواړئ وکاروئ:

    دا کمانډ په ځانګړي ډول مؤثره دی که تاسو غواړئ د کرینګ سکریپټونو څخه بوټونه ودروئ.

    6. بوټونه په مکرر ډول د خپل سایټ له کرال کولو څخه منع کړئ

    په پورتنیو مثالونو کې ، تاسو ممکن دا کمانډ لیدلی وي:

    User-agent: *

    Crawl-Delay: 20

    دا کمانډ ټولو بوټو ته لارښوونه کوي چې د کرال غوښتنو ترمینځ لږترلږه 20 ثانیې انتظار وکړي.

    د کرال ځنډکمانډ په مکرر ډول په لوی سایټونو کې په مکرر ډول تازه شوي مینځپانګې سره کارول کیږي (لکه ټویټر). دا کمانډ بوټونو ته وايي چې د راتلونکو غوښتنو ترمنځ لږ تر لږه وخت انتظار وکړي.

    دا ډاډ ورکوي چې سرور په ورته وخت کې د مختلفو بوټو څخه د ډیرو غوښتنو سره مخ نه دی.

    د مثال په توګه , دا د ټویټر د Robots.txt فایل دی چې بوټو ته لارښوونه کوي چې د غوښتنو ترمنځ لږ تر لږه 1 ثانیه انتظار وکړي:

    تاسو حتی کولی شئ د انفرادي بوټو لپاره د کرال ځنډ کنټرول کړئ. دا ډاډ ورکوي چې ډیری بوټونه په ورته وخت کې ستاسو سایټ نه ګرځوي.

    د مثال په توګه، تاسو ممکن د دې په څیر د کمانډونو سیټ ولرئ:

    یادونه: تاسو به واقعیا د دې کمانډ کارولو ته اړتیا ونلرئ پرته لدې چې تاسو په هره دقیقه کې د زرګونو نوي پاڼو رامینځته کولو سره یو لوی سایټ پرمخ وړئ (لکه ټویټر)>

    د Robots.txt فایل ستاسو په سایټ کې د بوټ چلند کنټرولولو لپاره یو پیاوړی وسیله ده.

    په هرصورت، دا د SEO ناورین لامل کیدی شي که چیرې سمه ونه کارول شي. دا مرسته نه کوي چې د Robots.txt په اړه یو شمیر غلط فهمونه آنلاین تیریږي.

    دلته ځینې غلطۍ دي چې تاسو باید د Robots.txt کارولو په وخت کې مخنیوی وکړئ:

    غلطي #1 – کارول Robots.txt د محتوياتو د شاخص کولو څخه مخنیوي لپاره

    که تاسو د Robots.txt فایل کې یو فولډر "منظم" کړئ، قانوني بوټونه به یې کرال نه کړي.

    مګر، دا لاهم دوه شیان معنی لري. :

    • بوټس به د منځپانګې کرال کړي

    Patrick Harvey

    پیټریک هاروي یو تجربه لرونکی لیکوال او ډیجیټل بازار موندونکی دی چې په صنعت کې د 10 کلونو تجربه لري. هغه د مختلفو موضوعاتو پراخه پوهه لري لکه بلاګینګ، ټولنیز رسنۍ، ای کامرس، او ورڈپریس. د لیکلو او د خلکو سره آنلاین بریالي کولو کې د هغه لیوالتیا هغه دې ته هڅولی چې بصیرت لرونکي او ښکیل پوسټونه رامینځته کړي چې د هغه لیدونکو ته ارزښت ورکوي. د یو تکړه ورڈپریس کارونکي په توګه، پیټریک د بریالۍ ویب پاڼو د جوړولو په اړه پوهه لري، او هغه دا پوهه کاروي ترڅو د سوداګرۍ او افرادو سره په ورته ډول د دوی آنلاین شتون رامینځته کړي. د توضیحاتو لپاره د لیوالتیا او غوره والي لپاره د نه متقابل ژمنې سره ، پیټریک خپلو لوستونکو ته د ډیجیټل بازارموندنې صنعت کې وروستي رجحانات او مشورې چمتو کولو ته وقف شوی. کله چې هغه بلاګ نه وي، پیټریک د نوي ځایونو سپړلو، کتابونو لوستلو، یا د باسکیټبال لوبې موندلی شي.