ඔබේ වෙබ් අඩවිය බඩගාන්නේ සහ සුචිගත කරන්නේ කවුරුන්ද යන්න, තනි තනි පිටු දක්වා ඔබට සම්පූර්ණ පාලනය ඇති බව ඔබ දැන සිටියාද?

මෙය සිදු කරන්නේ Robots.txt නම් ගොනුවක් හරහාය.

Robots.txt යනු ඔබේ වෙබ් අඩවියේ මූල නාමාවලියෙහි ඇති සරල පෙළ ගොනුවකි. එය "රොබෝවරුන්ට" (සෙවුම් යන්ත්‍ර මකුළුවන් වැනි) ඔබේ වෙබ් අඩවියේ බඩගා යා යුතු පිටු මොනවාද, නොසලකා හැරිය යුතු පිටු මොනවාදැයි කියයි.

අත්‍යවශ්‍ය නොවන අතර, Robots.txt ගොනුව ඔබට Google සහ කෙසේද යන්න පිළිබඳව විශාල පාලනයක් ලබා දෙයි. අනෙකුත් සෙවුම් යන්ත්‍ර ඔබේ වෙබ් අඩවිය දකියි.

නිවැරදිව භාවිත කළ විට, මෙය බඩගාමින් සිටීම වැඩිදියුණු කළ හැකි අතර SEOට පවා බලපෑම් කළ හැක.

නමුත් ඔබ හරියටම ඵලදායී Robots.txt ගොනුවක් නිර්මාණය කරන්නේ කෙසේද? නිර්මාණය කළ පසු, ඔබ එය භාවිතා කරන්නේ කෙසේද? සහ එය භාවිතා කිරීමේදී ඔබ වැළැක්විය යුතු වැරදි මොනවාද?

මෙම පෝස්ටුවේදී, Robots.txt ගොනුව සහ එය ඔබේ බ්ලොගයේ භාවිතා කරන ආකාරය පිළිබඳව ඔබට දැන ගැනීමට අවශ්‍ය සියල්ල මම බෙදා ගන්නෙමි.

අපි කිමිදෙමු:

Robots.txt ගොනුවක් යනු කුමක්ද?

අන්තර්ජාලයේ මුල් කාලයේ, ක්‍රමලේඛකයින් සහ ඉංජිනේරුවන් 'රොබෝවරුන්' හෝ 'මකුළුවන්' නිර්මාණය කළහ. වෙබයේ පිටු බඩගා යාමට සහ සුචිගත කිරීමට. මෙම රොබෝවරු ‘පරිශීලක නියෝජිතයන්’ ලෙසද හඳුන්වයි.

සමහර විට, මෙම රොබෝවරු අඩවි හිමිකරුවන්ට සුචිගත කිරීමට අවශ්‍ය නොවන පිටු වෙත පිවිසෙනු ඇත. උදාහරණයක් ලෙස, ඉදිවෙමින් පවතින වෙබ් අඩවියක් හෝ පුද්ගලික වෙබ් අඩවියක්.

මෙම ගැටලුව විසඳීම සඳහා, ලොව ප්‍රථම සෙවුම් යන්ත්‍රය (Aliweb) නිර්මාණය කළ ලන්දේසි ඉංජිනේරුවෙකු වන Martijn Koster සෑම රොබෝවෙක්ම සම්මත කරන ප්‍රමිති මාලාවක් යෝජනා කළේය.ෆෝල්ඩරය බාහිර මූලාශ්‍රවලින් සම්බන්ධ කර ඇත. ඔබේ අවහිර කළ ෆෝල්ඩරය තුළ ඇති ගොනුවකට වෙනත් වෙබ් අඩවියක් සම්බන්ධ කරන්නේ නම්, බොට්ස් එය සුචියක් හරහා අනුගමනය කරයි.

රොග් බොට්ස් - ස්පෑමර්, ඔත්තු මෘදුකාංග, අනිෂ්ට මෘදුකාංග, ආදිය - සාමාන්‍යයෙන් Robots.txt උපදෙස් නොසලකා හරින අතර ඔබේ සුචිගත කරයි අන්තර්ගතය නොතකා.

මෙය Robots.txt අන්තර්ගතය සුචිගත කිරීම වැළැක්වීම සඳහා දුර්වල මෙවලමක් බවට පත් කරයි.

ඒ වෙනුවට ඔබ භාවිතා කළ යුතු දේ මෙන්න: 'meta noindex' ටැගය භාවිතා කරන්න.

ඔබට සුචිගත කිරීමට අවශ්‍ය නැති පිටු තුළ පහත ටැගය එක් කරන්න:

මෙය නිර්දේශිත, SEO-හිතකාමී ක්‍රමයයි පිටුවක් සුචිගත වීම නැවැත්වීමට (එය තවමත් අවහිර කර නැතත් ස්පෑම්කරුවන්).

සටහන: ඔබ Yoast SEO, හෝ All in One SEO වැනි WordPress ප්ලගිනයක් භාවිතා කරන්නේ නම්; ඔබට කිසිදු කේතයක් සංස්කරණය නොකර මෙය කළ හැක. උදාහරණයක් ලෙස, Yoast SEO ප්ලගිනය තුළ ඔබට noindex ටැගය එක් පළ කිරීමකට/පිටුවකට පහත පරිදි එක් කළ හැක:

යන්තම් විවෘත කර පළකිරීම/පිටුව සහ Yoast SEO කොටුව තුළ ඇති දැති රෝදය මත ක්ලික් කරන්න. . ඉන්පසු ‘Meta robots index’ අසල ඇති පතන ක්ලික් කරන්න.

අමතරව, සැප්තැම්බර් 1 වැනිදා සිට Google robots.txt ගොනුවල “noindex” භාවිතයට සහාය දීම නවත්වනු ඇත. SearchEngineLand වෙතින් මෙම ලිපියේ තවත් තොරතුරු ඇත.

වැරදීම #2 - පුද්ගලික අන්තර්ගතය ආරක්ෂා කිරීමට Robots.txt භාවිතා කිරීම

ඔබට පුද්ගලික අන්තර්ගතයක් තිබේ නම් - කියන්න, ඊමේල් පාඨමාලාවක් සඳහා PDFs - හරහා නාමාවලිය අවහිර කිරීම Robots.txt ගොනුව උදවු වනු ඇත, නමුත් එය ප්‍රමාණවත් නොවේ.

මෙන්න හේතුව:

ඔබේ අන්තර්ගතය විය හැකඑය බාහිර මූලාශ්‍රවලින් සම්බන්ධ කර ඇත්නම් තවමත් සුචිගත වේ. තවද, හොර බොට් තවමත් එය බඩගානු ඇත.

වඩා හොඳ ක්‍රමයක් නම් සියලුම පුද්ගලික අන්තර්ගතය පුරනය වීම පිටුපස තබා ගැනීමයි. මෙය කිසිවකුට - නීත්‍යානුකූල හෝ තක්කඩි බොට් - ඔබගේ අන්තර්ගතයට ප්‍රවේශය නොලැබෙන බව සහතික කරනු ඇත.

අඩුපාඩුව නම් එයින් අදහස් වන්නේ ඔබේ අමුත්තන්ට පැනීමට අමතර වළල්ලක් ඇති බවයි. නමුත්, ඔබේ අන්තර්ගතය වඩාත් ආරක්ෂිත වනු ඇත.

වැරදීම #3 - අනුපිටපත් අන්තර්ගතය සුචිගත වීම නැවැත්වීමට Robots.txt භාවිතා කිරීම

අනුපිටපත් අන්තර්ගතය SEO සම්බන්ධයෙන් විශාල නැත.

කෙසේ වෙතත්, මෙම අන්තර්ගතය සුචිගත වීම නැවැත්වීමට Robots.txt භාවිතා කිරීම විසඳුම නොවේ. නැවත වරක්, සෙවුම් යන්ත්‍ර මකුළුවන් මෙම අන්තර්ගතය බාහිර මූලාශ්‍ර හරහා සොයා නොගන්නා බවට සහතිකයක් නොමැත.

අන්තර්ගතය අනුපිටපත් කිරීමට වෙනත් ක්‍රම 3ක් මෙන්න:

• මකන්න අනුපිටපත් අන්තර්ගතය - මෙය අන්තර්ගතය සම්පූර්ණයෙන්ම ඉවත් කරයි. කෙසේ වෙතත්, මෙයින් අදහස් වන්නේ ඔබ සෙවුම් යන්ත්‍ර පිටු 404ක් දක්වා ප්‍රමුඛ වන බවයි - සුදුසු නොවේ. මේ නිසා, මැකීම නිර්දේශ නොකරයි .
• 301 යළි-යොමුවීම් භාවිතා කරන්න – 301 යළි-යොමුවීම් සෙවුම් යන්ත්‍රවලට (සහ අමුත්තන්ට) පිටුවක් නව ස්ථානයකට ගෙන ගොස් ඇති බව උපදෙස් දෙයි. . ඔබේ මුල් අන්තර්ගතයට අමුත්තන් රැගෙන යාමට අනුපිටපත් අන්තර්ගතයට 301 යළි-යොමුවීමක් එක් කරන්න.
• Rel=”canonical” ටැගය එක් කරන්න – මෙම ටැගය 301 යළි-යොමුවීම්වල ‘මෙටා’ අනුවාදයකි. “rel=canonical” ටැගය නිශ්චිත පිටුවක් සඳහා මුල් URL එක Google වෙත කියයි. සදහාඋදාහරණයක් ලෙස මෙම කේතය:

  //example.com/original-page.html ” rel=”canonical” />

  පිටුව - original-page.html - අනුපිටපත් පිටුවේ "මුල්" අනුවාදය බව Google හට කියයි. ඔබ WordPress භාවිතා කරන්නේ නම්, මෙම ටැගය Yoast SEO හෝ All in One SEO භාවිතයෙන් එක් කිරීම පහසුය.

ඔබට අමුත්තන්ට අනුපිටපත් අන්තර්ගතයට ප්‍රවේශ වීමට අවශ්‍ය නම්, භාවිතා කරන්න. rel=”canonical” ටැගය. ඔබට අමුත්තන්ට හෝ bots හට අන්තර්ගතයට ප්‍රවේශ වීමට අවශ්‍ය නැතිනම් - 301 යළි-යොමුවක් භාවිතා කරන්න.

ඔවුන් ඔබේ SEO වලට බලපාන නිසා ක්‍රියාත්මක කිරීමේදී ප්‍රවේශම් වන්න.

ඔබ වෙත

Robots.txt ගොනුව සෙවුම් යන්ත්‍ර මකුළුවන් සහ අනෙකුත් බොට් ඔබේ වෙබ් අඩවිය සමඟ අන්තර් ක්‍රියා කරන ආකාරය හැඩගැස්වීමට ප්‍රයෝජනවත් සහකරුවෙකි. නිවැරදිව භාවිතා කළ විට, ඒවා ඔබේ ශ්‍රේණිගත කිරීම්වලට ධනාත්මක බලපෑමක් ඇති කළ හැකි අතර ඔබේ වෙබ් අඩවියට රිංගා ගැනීම පහසු කරයි.

Robots.txt ක්‍රියා කරන ආකාරය, එය ස්ථාපනය කර ඇති ආකාරය සහ ඔබට එය භාවිතා කළ හැකි පොදු ක්‍රම කිහිපයක් තේරුම් ගැනීමට මෙම මාර්ගෝපදේශය භාවිතා කරන්න. . තවද අප ඉහත සාකච්ඡා කළ වැරදි කිසිවක් වළක්වා ගන්න.

අදාළ කියවීම:

• Bloggers සඳහා හොඳම ශ්‍රේණිගත කිරීමේ මෙවලම්, සසඳන විට
• Google Sitelinks ලබා ගැනීම සඳහා නිශ්චිත මාර්ගෝපදේශය
• 5 බලගතු මූලපද පර්යේෂණ මෙවලම් සසඳා ඇත

පිළිපැදිය යුතුය. මෙම ප්‍රමිතීන් ප්‍රථම වරට යෝජනා කරන ලද්දේ 1994 පෙබරවාරි මාසයේදීය.

1994 ජූනි 30 දින, රොබෝ කතුවරුන් සහ මුල් වෙබ් පුරෝගාමීන් ගණනාවක් ප්‍රමිතීන් පිළිබඳ සම්මුතියකට පැමිණියහ.

මෙම ප්‍රමිතීන් “රොබෝවරුන් බැහැර කිරීම ලෙස සම්මත කරන ලදී. ප්‍රොටෝකෝලය” (REP).

Robots.txt ගොනුව මෙම ප්‍රොටෝකෝලය ක්‍රියාත්මක කිරීමකි.

REP විසින් සෑම නීත්‍යානුකූල බඩගාමින් හෝ මකුළුවෙක්ම අනුගමනය කළ යුතු නීති මාලාවක් නිර්වචනය කරයි. Robots.txt වෙබ් පිටුවක් සුචිගත නොකිරීමට රොබෝවරුන්ට උපදෙස් දෙන්නේ නම්, සෑම නීත්‍යානුකූල රොබෝවෙක්ම - Googlebot සිට MSNbot දක්වා - උපදෙස් අනුගමනය කළ යුතුය.

සටහන: නීත්‍යානුකූල බඩගාන්නන් ලැයිස්තුවක් කළ හැක. මෙහි සොයා ගත හැක.

සමහර හොර රොබෝවරු - අනිෂ්ට මෘදුකාංග, ඔත්තු මෘදුකාංග, ඊමේල් අස්වනු නෙලන යන්ත්‍ර ආදිය - මෙම ප්‍රොටෝකෝල අනුගමනය නොකරන බව මතක තබා ගන්න. ඔබ Robots.txt හරහා අවහිර කර ඇති පිටු මත ඔබට බොට් ගමනාගමනය දැකිය හැක්කේ එබැවිනි.

ප්‍රශ්නකාරී කිසිවක් සඳහා භාවිතා නොකරන REP ප්‍රමිතීන් අනුගමනය නොකරන රොබෝවරු ද ඇත.

මෙම url වෙත යාමෙන් ඔබට ඕනෑම වෙබ් අඩවියක robots.txt දැකිය හැක:

//[website_domain]/robots.txt

උදාහරණයක් ලෙස, මෙන්න Facebook හි Robots.txt ගොනුව:

සහ මෙන්න Google හි Robots.txt ගොනුව:

Robots.txt භාවිතය

Robots.txt වෙබ් අඩවියක් සඳහා අත්‍යවශ්‍ය ලේඛනයක් නොවේ. මෙම ගොනුව නොමැතිව ඔබේ වෙබ් අඩවියට ශ්‍රේණිගත කර හොඳින් වර්ධනය විය හැක.

කෙසේ වෙතත්, Robots.txt භාවිතා කිරීමෙන් සමහර ප්‍රතිලාභ ලබා දේ:

• පෞද්ගලික ෆෝල්ඩර බඩගා යාමෙන් බොට්ස් අධෛර්යමත් කරන්න – පරිපූර්ණ නොවූවත්, බඩගා යන පුද්ගලික ෆෝල්ඩරවලින් බොට් වලට ඉඩ නොදීම, ඒවා සුචිගත කිරීම වඩාත් අපහසු කරයි - අවම වශයෙන් නීත්‍යානුකූල බොට් (සෙවුම් යන්ත්‍ර මකුළුවන් වැනි) මගින්.
• සම්පත් භාවිතය පාලනය කරන්න – බොට් එකක් ඔබේ වෙබ් අඩවියට රිංගන සෑම අවස්ථාවකම, එය ඔබේ කලාප පළල සහ සේවාදායක සම්පත් - සැබෑ අමුත්තන් සඳහා වඩා හොඳින් වියදම් කළ හැකි සම්පත් ඉවත් කරයි. බොහෝ අන්තර්ගතයන් සහිත වෙබ් අඩවි සඳහා, මෙය පිරිවැය වැඩි කිරීමට සහ සැබෑ අමුත්තන්ට දුර්වල අත්දැකීමක් ලබා දිය හැකිය. සම්පත් සංරක්ෂණය කිරීම සඳහා ස්ක්‍රිප්ට්, නොවැදගත් පින්තූර, ආදිය වෙත ප්‍රවේශය අවහිර කිරීමට ඔබට Robots.txt භාවිත කළ හැක.
• වැදගත් පිටුවලට ප්‍රමුඛත්වය දෙන්න – ඔබේ වෙබ් අඩවියේ වැදගත් පිටු බඩගා යාමට සෙවුම් යන්ත්‍ර මකුළුවන්ට අවශ්‍ය වේ. (අන්තර්ගත පිටු වැනි), නිෂ්ඵල පිටු හරහා හාරා සම්පත් නාස්ති නොකරන්න (සෙවුම් විමසුම්වල ප්‍රතිඵල වැනි). එවැනි නිෂ්ඵල පිටු අවහිර කිරීමෙන්, ඔබට bots අවධානය යොමු කරන්නේ කුමන පිටු වෙතද යන්න ප්‍රමුඛත්වය දිය හැක.

ඔබේ Robots.txt ගොනුව සොයා ගන්නේ කෙසේද

නම අනුව, Robots.txt සරලයි text file.

මෙම ගොනුව ඔබගේ වෙබ් අඩවියේ මූල නාමාවලියෙහි ගබඩා කර ඇත. එය සොයා ගැනීමට, හුදෙක් ඔබේ FTP මෙවලම විවෘත කර public_html යටතේ ඔබේ වෙබ් අඩවි නාමාවලිය වෙත සංචාලනය කරන්න.

මෙය කුඩා පෙළ ගොනුවකි - මගේ එක බයිට් 100කට වඩා වැඩිය.

එය විවෘත කිරීමට , Notepad වැනි ඕනෑම පෙළ සංස්කාරකයක් භාවිතා කරන්න. ඔබට මෙවැනි දෙයක් දැකිය හැක:

ඔබේ වෙබ් අඩවියේ මූල නාමාවලියෙහි ඔබට Robots.txt ගොනුවක් නොදැකිය හැකි අවස්ථාවක් තිබේ. මෙම අවස්ථාවේදී, ඔබ විසින් නිර්මාණය කිරීමට සිදු වනු ඇතRobots.txt ගොනුව ඔබම කරන්න.

මෙන්න මෙහෙමයි:

Robot.txt ගොනුවක් සාදන ආකාරය

Robots.txt මූලික පෙළ ගොනුවක් බැවින් එය නිර්මාණය කිරීම ඉතා සරලය. - හුදෙක් පෙළ සංස්කාරකයක් විවෘත කර හිස් ගොනුවක් robots.txt ලෙස සුරකින්න.

මෙම ගොනුව ඔබේ සේවාදායකයට උඩුගත කිරීමට, ඔබේ වෙබ් සේවාදායකයට ලොග් වීමට ඔබේ ප්‍රියතම FTP මෙවලම (WinSCP භාවිතා කිරීමට මම නිර්දේශ කරමි) භාවිතා කරන්න. . ඉන්පසු public_html ෆෝල්ඩරය විවෘත කර ඔබේ වෙබ් අඩවියේ මූල නාමාවලිය විවෘත කරන්න.

ඔබේ වෙබ් සත්කාරක වින්‍යාස කර ඇති ආකාරය අනුව, ඔබේ වෙබ් අඩවියේ මූල නාමාවලිය කෙලින්ම public_html ෆෝල්ඩරය තුළ විය හැකිය. නැතහොත්, එය තුළ ඇති ෆෝල්ඩරයක් විය හැක.

ඔබේ වෙබ් අඩවියේ මූල නාමාවලිය විවෘත කළ පසු, ඇදගෙන යන්න & Robots.txt ගොනුව එයට දමන්න.

විකල්පයක් ලෙස, ඔබට ඔබේ FTP සංස්කාරකයෙන් සෘජුවම Robots.txt ගොනුව සෑදිය හැක.

මෙය කිරීමට, ඔබේ අඩවි මූල නාමාවලිය විවෘත කරන්න. දකුණු ක්ලික් කරන්න -> නව ගොනුවක් සාදන්න.

සංවාද කොටුව තුළ, “robots.txt” (උපුටා දැක්වීම් නොමැතිව) ටයිප් කර OK ඔබන්න.

ඔබ ඇතුළත නව robots.txt ගොනුවක් දැකිය යුතුය:

අවසාන වශයෙන්, ඔබ Robots.txt ගොනුව සඳහා නිවැරදි ගොනු අවසරය සකසා ඇති බව සහතික කර ගන්න. ඔබට ගොනුව කියවීමට සහ ලිවීමට ඔබට අවශ්‍ය - අයිතිකරු - ඔබම - නමුත් අන් අයට හෝ පොදු අයට නොවේ.

ඔබේ Robots.txt ගොනුව අවසර කේතය ලෙස "0644" පෙන්විය යුතුය.

නම් එය එසේ නොවේ, ඔබගේ Robots.txt ගොනුව මත දකුණු ක්ලික් කර "ගොනු අවසර..." තෝරන්න

ඔබට එය තිබේ - සම්පූර්ණ ක්‍රියාකාරී Robots.txt ගොනුවක්!

නමුත්ඔබට මෙම ගොනුව සමඟ ඇත්තටම කුමක් කළ හැකිද?

ඊළඟට, මම ඔබට ඔබේ වෙබ් අඩවියට ප්‍රවේශය පාලනය කිරීමට භාවිත කළ හැකි පොදු උපදෙස් කිහිපයක් පෙන්වන්නම්.

Robots.txt භාවිතා කරන්නේ කෙසේද

Robots.txt අත්‍යවශ්‍යයෙන්ම රොබෝවරු ඔබේ වෙබ් අඩවිය සමඟ අන්තර් ක්‍රියා කරන ආකාරය පාලනය කරන බව මතක තබා ගන්න.

ඔබගේ සම්පූර්ණ වෙබ් අඩවියට පිවිසීමෙන් සෙවුම් යන්ත්‍ර අවහිර කිරීමට අවශ්‍යද? Robots.txt හි අවසර සරලව වෙනස් කරන්න.

ඔබේ සම්බන්ධතා පිටුව සුචිගත කිරීමෙන් Bing අවහිර කිරීමට අවශ්‍යද? ඔබට එයද කළ හැක.

තමන්ම, Robots.txt ගොනුව ඔබේ SEO වැඩිදියුණු නොකරනු ඇත, නමුත් ඔබට එය ඔබේ අඩවියේ crawler හැසිරීම පාලනය කිරීමට භාවිත කළ හැක.

එකතු කිරීමට හෝ වෙනස් කිරීමට ගොනුව, එය ඔබගේ FTP සංස්කාරකයේ විවෘත කර කෙලින්ම පෙළ එක් කරන්න. ඔබ ගොනුව සුරැකීමෙන් පසු, වෙනස්කම් වහාම පිළිබිඹු වනු ඇත.

ඔබේ Robots.txt ගොනුව තුළ ඔබට භාවිතා කළ හැකි විධාන කිහිපයක් මෙන්න:

1. ඔබගේ වෙබ් අඩවියෙන් සියලුම bots අවහිර කරන්න

සියලුම රොබෝවරු ඔබගේ අඩවියට රිංගීමෙන් අවහිර කිරීමට අවශ්‍යද?

මෙම කේතය ඔබගේ Robots.txt ගොනුවට එක් කරන්න:

User-agent: *
Disallow: /

එය මෙයයි සත්‍ය ගොනුවේ ඇති ආකාරයටම බලන්න:

සරලව කිවහොත්, මෙම විධානය සෑම පරිශීලක නියෝජිතයෙකුටම (*) පවසන්නේ ඔබේ වෙබ් අඩවියේ ඇති කිසිදු ගොනුවක් හෝ ෆෝල්ඩරයකට ප්‍රවේශ නොවන ලෙසයි.

සම්පූර්ණය මෙන්න මෙහි සිදුවන්නේ කුමක්ද යන්න පිළිබඳ පැහැදිලි කිරීම:

• පරිශීලක නියෝජිත:* – තරු ලකුණ (*) යනු සෑම<3 සඳහාම අදාළ වන 'වයිල්ඩ්-කාඩ්' අක්ෂරයකි> වස්තුව (ගොනු නාමය හෝ මෙම අවස්ථාවේදී, බොට් වැනි). ඔබ ඔබේ පරිගණකයේ "*.txt" සොයන්නේ නම්, එය සෑම ගොනුවක්ම පෙන්වනු ඇත.txt දිගුව. මෙහිදී, තරු ලකුණෙන් අදහස් වන්නේ ඔබේ විධානය සෑම පරිශීලක නියෝජිතයෙකුටම අදාළ වන බවයි.
• Disallow: / – “Disallow” යනු bot එකක් තහනම් කරන robots.txt විධානයකි. ෆෝල්ඩරයක් බඩගාමින්. තනි ඉදිරි slash (/) යන්නෙන් අදහස් වන්නේ ඔබ මෙම විධානය root බහලුම වෙත යොදන බවයි.

සටහන: ඔබ වැනි ඕනෑම ආකාරයක පුද්ගලික වෙබ් අඩවියක් ධාවනය කරන්නේ නම් මෙය වඩාත් සුදුසු වේ. සාමාජික අඩවියක්. නමුත් මෙය Google වැනි සියලුම නීත්‍යානුකූල බොට් ඔබේ වෙබ් අඩවියට රිංගා ගැනීම නවත්වන බව මතක තබා ගන්න. ප්‍රවේශමෙන් භාවිතා කරන්න.

බලන්න: 29 2023 සඳහා නවතම ප්‍රමුඛ පරම්පරාවේ සංඛ්‍යාලේඛන

2. විශේෂිත ෆෝල්ඩරයකට ප්‍රවේශ වීමෙන් සියලුම බොට් අවහිර කරන්න

ඔබට බොට්ස් රිංගීමෙන් සහ විශේෂිත ෆෝල්ඩරයක් සුචිගත කිරීමෙන් වැලැක්වීමට අවශ්‍ය නම් කුමක් කළ යුතුද?

උදාහරණයක් ලෙස, /images ෆෝල්ඩරය?

භාවිතා කරන්න මෙම විධානය:

User-agent: *
Disallow: /[folder_name]/

ඔබට /images ෆෝල්ඩරයට ප්‍රවේශ වීම බොට්ස් නැවැත්වීමට අවශ්‍ය නම්, විධානය කෙබඳු වනු ඇත්ද යන්න මෙන්න:

ඔබට සම්පත් ෆෝල්ඩරයක් තිබේ නම් මෙම විධානය ප්‍රයෝජනවත් වේ. ඔබට රොබෝ ක්‍රෝලර් ඉල්ලීම්වලින් යටපත් කිරීමට අවශ්‍ය නැති බව. මෙය නොවැදගත් ස්ක්‍රිප්ට්, යල් පැන ගිය පින්තූර ආදිය සහිත ෆෝල්ඩරයක් විය හැක.

සටහන: /images ෆෝල්ඩරය තනිකරම උදාහරණයකි. ඔබ එම ෆෝල්ඩරය බඩගා යාමෙන් බොට්ස් අවහිර කළ යුතු යැයි මම නොකියමි. එය ඔබ සාක්ෂාත් කර ගැනීමට උත්සාහ කරන්නේ කුමක් ද යන්න මත රඳා පවතී.

සෙවුම් යන්ත්‍ර සාමාන්‍යයෙන් වෙබ්මාස්ටර්වරුන්ගෙන් ඔවුන්ගේ බොට් වලට රූප නොවන ෆෝල්ඩර බඩගා යාම අවහිර කරයි, එබැවින් ඔබ මෙම විධානය භාවිතා කරන විට ප්‍රවේශම් වන්න. මම සෙවුම් යන්ත්‍ර නැවැත්වීම සඳහා Robots.txt වෙත විකල්ප කිහිපයක් ලැයිස්තුගත කර ඇතපහත නිශ්චිත පිටු සුචිගත කිරීම.

3. ඔබේ වෙබ් අඩවියෙන් නිශ්චිත bots අවහිර කරන්න

ඔබට Googlebot වැනි නිශ්චිත රොබෝවක් අවහිර කිරීමට අවශ්‍ය නම් කුමක් කළ යුතුද?

මෙන්න ඒ සඳහා විධානය:

User-agent: [robot name]
Disallow: /

උදාහරණයක් ලෙස, ඔබට ඔබගේ අඩවියෙන් Googlebot අවහිර කිරීමට අවශ්‍ය නම්, ඔබ භාවිතා කරන්නේ මෙයයි:

සෑම නීත්‍යානුකූල බොට් හෝ පරිශීලක නියෝජිතයෙකුටම නිශ්චිත නමක් ඇත. උදාහරණයක් ලෙස Google හි මකුළුවා සරලව හඳුන්වන්නේ "Googlebot" යනුවෙනි. Microsoft "msnbot" සහ "bingbot" යන දෙකම ධාවනය කරයි. Yahoo හි bot හැඳින්වෙන්නේ "Yahoo! Slurp”.

විවිධ පරිශීලක නියෝජිතයින්ගේ (Googlebot, bingbot, ආදිය) නිවැරදි නම් සොයා ගැනීමට මෙම පිටුව භාවිතා කරන්න.

සටහන: ඉහත විධානය මගින් ඔබේ සම්පූර්ණ වෙබ් අඩවියෙන් නිශ්චිත බොට් එකක් අවහිර කරන්න. Googlebot තනිකරම උදාහරණයක් ලෙස භාවිතා කරයි. බොහෝ අවස්ථාවලදී Google ඔබේ වෙබ් අඩවියට රිංගීම නතර කිරීමට ඔබට කිසිදා අවශ්‍ය නොවනු ඇත. විශේෂිත bots අවහිර කිරීම සඳහා එක් විශේෂිත භාවිත අවස්ථාවක් නම්, ඔබේ වෙබ් අඩවියට ප්‍රතිලාභ ලබා නොදෙන ඒවා නවත්වන අතරම, ඔබට ප්‍රයෝජනවත් වන bots ඔබේ වෙබ් අඩවියට පැමිණීමට තබා ගැනීමයි.

4. නිශ්චිත ගොනුවක් රිංගා ගැනීම අවහිර කරන්න

Robots Exclusion Protocol මඟින් ඔබට රොබෝ ප්‍රවේශය අවහිර කිරීමට අවශ්‍ය ගොනු සහ ෆෝල්ඩරය පිළිබඳ මනා පාලනයක් ලබා දේ.

ගොනුවක් නැවැත්වීමට ඔබට භාවිතා කළ හැකි විධානය මෙන්න ඕනෑම රොබෝවක් විසින් බඩගාගෙන යාමෙන්:

User-agent: *
Disallow: /[folder_name]/[file_name.extension]

එබැවින්, ඔබට “img_0001.png” නම් ගොනුවක් “පින්තූර” ෆෝල්ඩරයෙන් අවහිර කිරීමට අවශ්‍ය නම්, ඔබ මෙම විධානය භාවිතා කරයි:

21>5. ෆෝල්ඩරයකට ප්‍රවේශය අවහිර කරන්න, නමුත් ගොනුවක් වීමට ඉඩ දෙන්නindexed

“Disallow” විධානය මඟින් bots හට ෆෝල්ඩරයකට හෝ ගොනුවකට ප්‍රවේශ වීම අවහිර කරයි.

“Allow” විධානය ප්‍රතිවිරුද්ධ දෙය කරයි.

“Allow” විධානය මඟින් එය අභිබවා යයි. "Disallow" විධානය කලින් එක තනි ගොනුවක් ඉලක්ක කරන්නේ නම්.

මෙයින් අදහස් කරන්නේ ඔබට ෆෝල්ඩරයකට ප්‍රවේශය අවහිර කළ හැකි නමුත් ෆෝල්ඩරය තුළ තනි ගොනුවකට ප්‍රවේශ වීමට පරිශීලක නියෝජිතයින්ට ඉඩ දෙන බවයි.

මෙන්න භාවිතා කළ යුතු ආකෘතිය:

User-agent: *
Disallow: /[folder_name]/
Allow: /[folder_name]/[file_name.extension]/

උදාහරණයක් ලෙස, ඔබට “පින්තූර” ෆෝල්ඩරය රිංගීමෙන් Google අවහිර කිරීමට අවශ්‍ය වුවද, එහි ගබඩා කර ඇති “img_0001.png” ගොනුවට ප්‍රවේශය ලබා දීමට අවශ්‍ය නම්, මෙන්න ඔබ ආකෘතිය 'd භාවිතා කරන්න:

ඉහත උදාහරණය සඳහා, එය මේ ආකාරයෙන් පෙනෙනු ඇත:

මෙය /search/ බහලුමේ ඇති සියලුම පිටු සුචිගත කිරීම නවත්වනු ඇත.

ඔබට නිශ්චිත දිගුවකට ගැළපෙන සියලුම පිටු (“.php” හෝ “.png” වැනි) සුචිගත කිරීමෙන් නතර කිරීමට අවශ්‍ය නම් කුමක් කළ යුතුද?

මෙය භාවිතා කරන්න:

User-agent: *
Disallow: /*.extension$

The ($) ) මෙහි ලකුණ URL හි අවසානය සංකේතවත් කරයි, එනම් දිගුව URL හි අවසාන තන්තුවයි.

ඔබට “.js” දිගුව (Javascript සඳහා) සමඟින් සියලුම පිටු අවහිර කිරීමට අවශ්‍ය නම්, ඔබ කළ යුතු දේ මෙන්න use:

ඔබට bots crawling scripts නැවැත්වීමට අවශ්‍ය නම් මෙම විධානය විශේෂයෙන් ඵලදායී වේ.

6. ඔබේ වෙබ් අඩවිය නිතර බඩගා යාමෙන් බොට්ස් නවත්වන්න

ඉහත උදාහරණ වල, ඔබ මෙම විධානය දැක ඇති:

User-agent: *
Crawl-Delay: 20

මෙම විධානය මඟින් සියලුම බොට්ස් හට බඩගා යාමේ ඉල්ලීම් අතර අවම වශයෙන් තත්පර 20ක් රැඳී සිටීමට උපදෙස් දෙයි.

Crowl-Delayනිතර යාවත්කාලීන කරන ලද අන්තර්ගතයන් (Twitter වැනි) විශාල වෙබ් අඩවි වල විධානය නිතර භාවිතා වේ. මෙම විධානය මඟින් bots හට පසුකාලීන ඉල්ලීම් අතර අවම කාලයක් රැඳී සිටින ලෙස පවසයි.

මෙමඟින් සේවාදායකය විවිධ bots වෙතින් එකවර බොහෝ ඉල්ලීම් වලින් යටපත් නොවන බව සහතික කරයි.

උදාහරණයක් ලෙස , මෙය Twitter හි Robots.txt ගොනුව ඉල්ලීම් අතර අවම වශයෙන් තත්පර 1ක් රැඳී සිටීමට උපදෙස් දෙන bots වේ:

ඔබට තනි බොට් සඳහා බඩගා යාමේ ප්‍රමාදය පවා පාලනය කළ හැක. මෙමගින් බොහෝ bots එකවර ඔබේ අඩවියට රිංගා නොයන බව සහතික කරයි.

උදාහරණයක් ලෙස, ඔබට මෙවැනි විධාන කට්ටලයක් තිබිය හැක:

සටහන: ඔබ සෑම විනාඩියකටම (ට්විටර් වැනි) නව පිටු දහස් ගණනක් සහිත දැවැන්ත වෙබ් අඩවියක් ධාවනය කරන්නේ නම් මිස ඔබට මෙම විධානය භාවිතා කිරීමට අවශ්‍ය නොවනු ඇත.

Robots.txt භාවිතා කිරීමේදී වළක්වා ගත යුතු පොදු වැරදි

Robots.txt ගොනුව ඔබේ වෙබ් අඩවියේ bot හැසිරීම පාලනය කිරීම සඳහා ප්‍රබල මෙවලමකි.

බලන්න: 2023 සඳහා හොඳම Instagram උපලේඛන මෙවලම් 11 (සැසඳීම)

කෙසේ වෙතත්, එය නිවැරදිව භාවිතා නොකළහොත් SEO ව්‍යසනයට ද හේතු විය හැක. Robots.txt පිළිබඳ වැරදි වැටහීම් ගණනාවක් අන්තර්ජාලයේ සැරිසැරීමට එය උපකාරී නොවේ.

Robots.txt භාවිතා කිරීමේදී ඔබ මග හැරිය යුතු වැරදි කිහිපයක් මෙන්න:

Mstake #1 – භාවිතා කිරීම අන්තර්ගතය සුචිගත කිරීම වැළැක්වීමට Robots.txt

ඔබ Robots.txt ගොනුව තුළ ෆෝල්ඩරයක් "නොහැරිය" නම්, නීත්‍යානුකූල bots එය රිංගා නොයනු ඇත.

නමුත්, මෙයින් තවමත් කරුණු දෙකක් අදහස් වේ. :

• බොට්ස් වල අන්තර්ගතය බඩගා යයි