Dè th' ann am faidhle Robots.txt? Agus Ciamar a chruthaicheas tu fear? (Stiùireadh luchd-tòiseachaidh)
Clàr-innse
An robh fios agad gu bheil smachd iomlan agad air cò a bhios a’ snàgail agus a’ clàr-amais do làrach, sìos gu duilleagan fa leth?
S ann tro fhaidhle air a bheil Robots.txt.
Is e faidhle teacsa sìmplidh a th’ ann an Robots.txt a tha a’ nochdadh ann an eòlaire freumh na làraich agad. Tha e ag innse do “robots” (leithid damhain-allaidh einnsean sgrùdaidh) dè na duilleagan a bu chòir dhut snàgadh air an làrach agad, dè na duilleagan air nach bu chòir dearmad a dhèanamh.
Ged nach eil sin riatanach, bheir am faidhle Robots.txt tòrr smachd dhut air mar a tha Google agus Google bidh einnseanan luirg eile a' faicinn na làraich agad.
Nuair a thèid an cleachdadh ceart, faodaidh seo piseach a thoirt air snàgadh agus eadhon buaidh a thoirt air SEO.
Ach ciamar a chruthaicheas tu faidhle Robots.txt èifeachdach? Nuair a bhios tu air a chruthachadh, ciamar a chleachdas tu e? Agus dè na mearachdan a bu chòir dhut a sheachnadh fhad ‘s a tha thu ga chleachdadh?
Anns an dreuchd seo, roinnidh mi a h-uile dad a dh’ fheumas tu a bhith eòlach air faidhle Robots.txt agus mar a chleachdas tu e air do bhlog.
Daibhidh sinn a-steach:
Dè a th’ ann am faidhle Robots.txt?
Air ais ann an làithean tràtha an eadar-lìn, chruthaich prògramadairean agus innleadairean ‘robots’ neo ‘damhain-allaidh’ gus duilleagan a chraoladh agus a chlàradh air an lìon. Canar ‘user-agents’ ris na h-innealan-fuadain sin cuideachd.
Uaireannan, bhiodh na h-innealan-fuadain sin a’ dèanamh an slighe gu duilleagan nach robh sealbhadairean làraich ag iarraidh a bhith air an clàradh. Mar eisimpleir, làrach togail neo làrach-lìn prìobhaideach.
Gus an duilgheadas seo fhuasgladh, mhol Martijn Koster, innleadair Duitseach a chruthaich a’ chiad einnsean sgrùdaidh san t-saoghal (Aliweb), seata inbhean a bhiodh gach inneal-fuadainpasgan ceangailte bho thùsan bhon taobh a-muigh. Can, ma tha làrach eile a’ ceangal ri faidhle taobh a-staigh a’ phasgan dùinte agad, leanaidh botaichean tro chlàr-amais e.
Tha seo a' fàgail Robots.txt na inneal truagh gus casg a chur air susbaint a bhith air a chlàr-amais.
Seo na bu chòir dhut a chleachdadh na àite: cleachd an taga 'meta noindex'.<1
Cuir an taga a leanas ri duilleagan nach eil thu airson a bhith air an clàr-amais:
Seo an dòigh a thathar a’ moladh a tha càirdeil do SEO gus casg a chuir air duilleag bho chlàr-amais (ged nach eil e fhathast a’ bacadh spammers).
An aire: Ma chleachdas tu plugan WordPress mar Yoast SEO, no All in One SEO; faodaidh tu seo a dhèanamh gun a bhith a 'deasachadh còd sam bith. Mar eisimpleir, ann am plugan Yoast SEO faodaidh tu an taga noindex a chuir ris a rèir gach post / duilleag mar sin:
31>Dìreach fosgail suas agus post / duilleag agus cliog air a’ chog am broinn bogsa Yoast SEO . An uairsin cliog air a’ chlàr-taice ri taobh ‘Meta robots index.’
A bharrachd air an sin, stadaidh Google a’ toirt taic do chleachdadh “noindex” ann am faidhlichean robots.txt bho 1 Sultain. Tha barrachd fiosrachaidh san artaigil seo bho SearchEngineLand.
Mearachd #2 - A’ cleachdadh Robots.txt gus susbaint phrìobhaideach a dhìon
Ma tha susbaint prìobhaideach agad - can, PDFs airson cùrsa post-d - a’ bacadh an eòlaire tro Cuidichidh faidhle Robots.txt, ach chan eil e gu leòr.
Seo carson:
Dh'fhaodadh gum biodh an t-susbaint agadfaigh clàr-amais fhathast ma tha e ceangailte bho thùsan bhon taobh a-muigh. A bharrachd air an sin, bidh botaichean meallta fhathast ga shlaodadh.
S e dòigh nas fheàrr a h-uile susbaint prìobhaideach a chumail air cùl logadh a-steach. Nì seo cinnteach nach fhaigh duine sam bith – botaichean dligheach no meallta – cothrom air an t-susbaint agad.
Is e an taobh àicheil gu bheil e a’ ciallachadh gu bheil cearcall a bharrachd aig an luchd-tadhail agad airson leum troimhe. Ach, bidh an t-susbaint agad nas tèarainte.
Mearachd #3 - A' cleachdadh Robots.txt gus stad a chur air dùblachadh susbaint bho bhith air a chlàr-amais
Tha susbaint dùblaichte na rud mòr gun fheum nuair a thig e gu SEO.
Ach, chan e am fuasgladh a th’ ann a bhith a’ cleachdadh Robots.txt gus stad a chuir air an t-susbaint seo bho chlàr-amais. A-rithist, chan eil gealltanas sam bith ann nach lorg damhain-allaidh einnsean sgrùdaidh an susbaint seo tro thùsan bhon taobh a-muigh.
Seo 3 dòighean eile gus susbaint dùblaichte a làimhseachadh:
- Sguab às susbaint dùblaichte - Gheibh seo cuidhteas an t-susbaint gu tur. Ach, tha seo a’ ciallachadh gu bheil thu a’ stiùireadh einnseanan sgrùdaidh gu 404 duilleag - chan eil sin air leth freagarrach. Air sgàth seo, chan eilear a' moladh sguab às .
- Cleachd 301 ath-sheòladh – Tha ath-sheòladh 301 ag innse dha einnseanan luirg (agus luchd-tadhail) gu bheil duilleag air gluasad gu àite ùr . Dìreach cuir ath-sheòladh 301 air susbaint dùblaichte gus luchd-tadhail a thoirt don t-susbaint thùsail agad.
- Cuir tag rel = “canonical” - 'S e dreach 'meta' den ath-stiùireadh 301 a tha san taga seo. Tha an taga “rel = canonical” ag innse do Google dè an URL tùsail airson duilleag sònraichte. Airsoneisimpleir a’ chòd seo:
//example.com/original-page.html ” rel=”canonical” /> <1
Ag innse do Google gur e an duilleag – original-page.html – an tionndadh “tùsail” den duilleag dhùblaichte. Ma chleachdas tu WordPress, tha e furasta an taga seo a chur ris le Yoast SEO no All in One SEO.
Ma tha thu airson gum faigh luchd-tadhail cothrom air an t-susbaint dhùblaichte, cleachd an rel = “canonical” tag. Mura h-eil thu airson 's gum faigh luchd-tadhail no botaichean cothrom air an t-susbaint - cleachd ath-sheòladh 301.
Bi faiceallach a' cur an gnìomh an dàrna cuid oir bheir iad buaidh air an SEO agad.
A-null dhut
Tha am faidhle Robots.txt na charaid feumail ann a bhith a’ cumadh mar a bhios damhain-allaidh einnsean sgrùdaidh agus botaichean eile ag eadar-obrachadh leis an làrach agad. Nuair a thèid an cleachdadh gu ceart, faodaidh iad buaidh mhath a thoirt air na rangachadh agad agus an làrach agad a dhèanamh nas fhasa a shlaodadh.
Cleachd an iùl seo gus tuigse fhaighinn air mar a tha Robots.txt ag obair, mar a tha e air a stàladh agus dòighean cumanta air an urrainn dhut a chleachdadh . Agus seachain gin de na mearachdan air an do bhruidhinn sinn gu h-àrd.
Leughadh co-cheangailte:
- Na h-innealan tracadh inbhe as fheàrr dha blogairean, air an coimeas
- An Iùl deimhinnte mu bhith a’ faighinn Google Sitelinks
- 5 Innealan Rannsachaidh Prìomh fhaclan cumhachdach air an coimeas
feumaidh cumail ris. Chaidh na h-inbhean sin a mholadh an toiseach sa Ghearran 1994. Air 30 Ògmhios 1994, thàinig grunn ùghdaran robotach agus tùsairean lìn tràth gu co-aontachd air na h-inbhean.
Chaidh gabhail ris na h-inbhean sin mar an “Robots Exclusion”. Protocol” (REP).
Tha am faidhle Robots.txt a’ cur an gnìomh a’ phròtacal seo.
Tha an REP a’ mìneachadh seata de riaghailtean a dh’fheumas a h-uile crawler no damhan-allaidh dligheach a leantainn. Ma tha an Robots.txt ag iarraidh air innealan-fuadain gun a bhith a’ clàradh duilleag-lìn, feumaidh a h-uile inneal-fuadain dligheach – bho Googlebot gu MSNbot – an stiùireadh a leantainn.
Nòta: Faodaidh liosta de luchd-brathaidh dligheach ri lorg an seo.
Cuimhnich gur dòcha nach lean cuid de dh’ innealan-fuadain meallta – malware, spyware, luchd-buain puist-d is msaa – na protocolaidhean seo. Sin as coireach gum faic thu trafaig bot air duilleagan a chuir thu bacadh orra tro Robots.txt.
Tha innealan-fuadain ann cuideachd nach eil a' leantainn inbhean REP nach eil gan cleachdadh airson rud sam bith a tha teagmhach.
>Chì thu robots.txt làrach-lìn sam bith le bhith a’ dol dhan url seo:
//[website_domain]/robots.txt
Mar eisimpleir, seo am faidhle Robots.txt aig Facebook:
Agus seo am faidhle Robots.txt aig Google:
Use of Robots.txt
Chan e sgrìobhainn riatanach airson làrach-lìn a th’ ann an Robots.txt. Faodaidh an làrach agad rangachadh agus fàs gu math às aonais an fhaidhle seo.
Ach, le bhith a’ cleachdadh an Robots.txt tha buannachdan ann:
- Cuir bacadh air botaichean bho bhith a’ snàgadh air pasganan prìobhaideach – Ged nach eil e foirfe, le bhith a’ dì-cheadachadh bhotan bho bhith a’ snàgail phasganan prìobhaideach bidh iad tòrr nas duilghe an clàr-amais - co-dhiù le botaichean dligheach (leithid damhain-allaidh einnsean sgrùdaidh).
- Stiùirich cleachdadh stòrais - Gach uair a bhios bot a’ snàgail air an làrach agad, bidh e a’ drèanadh do leud-bann agus goireasan frithealaiche - goireasan a bhiodh air an caitheamh nas fheàrr air fìor luchd-tadhail. Airson làraich le tòrr susbaint, faodaidh seo cosgaisean àrdachadh agus fìor eòlas a thoirt do luchd-tadhail. 'S urrainn dhut Robots.txt a chleachdadh gus cothrom air sgriobtaichean, ìomhaighean neo-chudromach, is eile a bhacadh gus goireasan a ghleidheadh.
- Thoir prìomhachas do dhuilleagan cudromach - Tha thu airson 's gum bi damhain-allaidh einnsean-rannsachaidh a' snàgadh air na duilleagan cudromach air an làrach agad (mar duilleagan susbaint), gun a bhith a’ caitheamh ghoireasan a’ cladhach tro dhuilleagan gun fheum (leithid toraidhean bho cheistean rannsachaidh). Le bhith a’ cur casg air duilleagan gun fheum mar sin, ’s urrainn dhut prìomhachas a thoirt do na duilleagan air am bi botaichean ag amas.
Mar a lorgas tu am faidhle Robots.txt agad
Mar a tha an t-ainm ag ràdh, tha Robots.txt sìmplidh teacsa.
Tha am faidhle seo air a stòradh ann am freumh-eòlaire na làraich-lìn agad. Gus a lorg, dìreach fosgail an inneal FTP agad agus seòladh chun eòlaire làrach-lìn agad fo public_html.
Is e faidhle teacsa beag a tha seo - tha beagan a bharrachd air 100 byte agamsa.
Gus fhosgladh , cleachd deasaiche teacsa sam bith, leithid Notepad. Is dòcha gum faic thu rudeigin mar seo:
Tha teansa nach fhaic thu faidhle Robots.txt sam bith ann an eòlaire freumh na làraich agad. Anns a 'chùis seo, feumaidh tu a chruthachadhFaidhle Robots.txt thu fhèin.
Seo mar a leanas:
Mar a chruthaicheas tu faidhle Robot.txt
Leis gur e faidhle teacsa bunaiteach a th’ ann an Robots.txt, tha e FÌOR shìmplidh a chruthachadh - dìreach fosgail deasaiche teacsa agus sàbhail faidhle falamh mar robots.txt.
Gus am faidhle seo a luchdachadh suas chun t-seirbheisiche agad, cleachd an inneal FTP as fheàrr leat (tha mi a’ moladh WinSCP a chleachdadh) gus logadh a-steach don t-seirbheisiche lìn agad . An uairsin fosgail am pasgan public_html agus fosgail eòlaire freumh na làraich agad.
A rèir mar a tha an aoigh lìn agad air a rèiteachadh, dh’ fhaodadh gu bheil eòlaire freumh na làraich agad dìreach taobh a-staigh pasgan public_html. No, 's dòcha gur e pasgan taobh a-staigh sin a th' ann.
Aon uair 's gu bheil eòlaire freumh na làraich agad fosgailte, dìreach slaod & leig às am faidhle Robots.txt a-steach ann.
Air neo, faodaidh tu am faidhle Robots.txt a chruthachadh gu dìreach bhon deasaiche FTP agad.
Faic cuideachd: Na roghainnean Linktree as fheàrr airson 2023 (coimeas)Gus seo a dhèanamh, fosgail eòlaire freumh na làraich agad agus Cliog deas -> Cruthaich faidhle ùr.
Anns a’ bhogsa deasbaid, dèan seòrsa a-steach “robots.txt” (gun luachan) agus buail OK.
Bu chòir dhut faidhle robots.txt ùr fhaicinn na bhroinn:
Mu dheireadh, dèan cinnteach gu bheil thu air an cead ceart airson an fhaidhle Robots.txt a shuidheachadh. Tha thu airson 's gun leugh an sealbhadair – thu fhèin - am faidhle, ach chan ann gu daoine eile no dhan phoball.
Bu chòir don fhaidhle Robots.txt agad “0644” a shealltainn mar chòd a' cheada.
Ma tha chan eil, cliog deas air an fhaidhle Robots.txt agad agus tagh “Ceadan faidhle…”
Sin agad e – faidhle Robots.txt làn-ghnìomhach!
Achdè dha-rìribh a nì thu leis an fhaidhle seo?
An ath rud, seallaidh mi dhut cuid de stiùiridhean cumanta as urrainn dhut a chleachdadh gus smachd a chumail air ruigsinneachd don làrach agad.
Mar a chleachdas tu Robots.txt<5
Cuimhnich gu bheil smachd aig Robots.txt gu bunaiteach air mar a bhios innealan-fuadain ag eadar-obrachadh leis an làrach agad.
A bheil thu airson casg a chuir air einnseanan luirg bho bhith a’ faighinn cothrom air an làrach gu lèir agad? Dìreach atharraich ceadan ann an Robots.txt.
A bheil thu airson casg a chuir air Bing bho bhith a’ clàradh do dhuilleag conaltraidh? Faodaidh tu sin a dhèanamh cuideachd.
Leis fhèin, cha leasaich am faidhle Robots.txt do SEO, ach faodaidh tu a chleachdadh gus smachd a chumail air giùlan shreapadairean air an làrach agad.
Gus cuir ris no atharrachadh am faidhle, dìreach fosgail e anns an deasaiche FTP agad agus cuir an teacsa gu dìreach. Aon uair 's gu bheil thu air am faidhle a shàbhaladh, thèid na h-atharraichean a shealltainn sa bhad.
Seo cuid de na h-òrdughan as urrainn dhut a chleachdadh san fhaidhle Robots.txt agad:
1. Cuir casg air a h-uile bot bhon làrach agad
A bheil thu airson casg a chuir air a h-uile inneal-fuadain bho bhith a’ snàgadh air an làrach agad?
Cuir an còd seo ris an fhaidhle Robots.txt agad:
User-agent: *Disallow: /
Seo mar a dhèanadh e coltas anns an fhìor fhaidhle:
Gus a chuir gu sìmplidh, tha an àithne seo ag iarraidh air a h-uile neach-cleachdaidh (*) gun a bhith a’ faighinn cothrom air faidhlichean no pasganan sam bith air an làrach agad.
Seo an coileanta mìneachadh air dè dìreach a tha tachairt an seo:
- User-Agent:* - 'S e caractar 'cairt fhiadhaich' a th' anns an rionnag (*) a tha a' buntainn ri a h-uile nì (leithid ainm faidhle no sa chùis seo, bot). Ma nì thu rannsachadh airson “*.txt” air a’ choimpiutair agad, seallaidh e suas gach faidhle lean leudachan .txt. An seo, tha an rionnag a’ ciallachadh gu bheil an àithne agad a’ buntainn ri a h-uile àidseant-cleachdaidh.
- Dì-cheadachadh: / - ’S e àithne robots.txt a th’ ann an “Dì-cheadachadh” a tha a’ toirmeasg bot bho a' sgoltadh pasgan. Tha an aon slais air adhart (/) a’ ciallachadh gu bheil thu a’ cur an àithne seo an sàs san eòlaire freumha.
An aire: Tha seo air leth freagarrach ma ruitheas tu seòrsa sam bith de làrach-lìn prìobhaideach leithid làrach ballrachd. Ach bi mothachail gun cuir seo stad air a h-uile bot dligheach leithid Google bho bhith a’ snàgadh air an làrach agad. Cleachd gu faiceallach.
2. Cuir casg air a h-uile bot bho bhith a’ faighinn cothrom air pasgan sònraichte
Dè ma tha thu airson casg a chuir air botaichean bho bhith a’ snàgail agus a’ clàradh pasgan sònraichte?
Mar eisimpleir, am pasgan /images?
Cleachd an àithne seo:
User-agent: *Disallow: /[folder_name]/
Ma bha thu airson stad a chur air botaichean bho bhith a’ faighinn cothrom air a’ phasgan /images, seo cò ris a bhiodh an àithne coltach:
24>Tha an àithne seo feumail ma tha pasgan ghoireasan agad nach eil thu airson a dhol thairis air iarrtasan inneal-fuadain robot. Faodaidh seo a bhith na phasgan le sgriobtaichean neo-chudromach, seann dealbhan, is msaa.
An aire: 'S e eisimpleir a th' anns a' phasgan /images a-mhàin. Chan eil mi ag ràdh gum bu chòir dhut botaichean a bhacadh bho bhith a’ snàgadh air a’ phasgan sin. Tha e an urra ris na tha thu a’ feuchainn ri choileanadh.
Mar as trice bidh einnseanan luirg a’ magadh air maighstirean-lìn a’ cur casg air na botaichean aca bho bhith a’ snàgadh air pasganan nach eil nan ìomhaighean, mar sin bi faiceallach nuair a chleachdas tu an àithne seo. Tha mi air cuid de roghainnean eile a liostadh an àite Robots.txt airson stad a chuir air einnseanan sgrùdaidha' clàradh dhuilleagan sònraichte gu h-ìosal.
3. Cuir casg air botaichean sònraichte bhon làrach agad
Dè ma tha thu airson inneal-fuadain sònraichte a bhacadh - leithid Googlebot - bho bhith a’ faighinn cothrom air an làrach agad?
Seo an àithne air a shon:
User-agent: [robot name]Disallow: /
Faic cuideachd: An stiùireadh deimhinnte mu bhith a’ fàs luchd-èisteachd do bhlog
Mar eisimpleir, nam biodh tu airson Googlebot a bhacadh bhon làrach agad, seo an rud a bhiodh tu a’ cleachdadh:
Tha ainm sònraichte aig gach bot dligheach no àidseant-cleachdaidh. Is e dìreach “Googlebot” a chanar ri damhan-allaidh Google, mar eisimpleir. Bidh Microsoft a’ ruith an dà chuid “msnbot” agus “bingbot”. Canar “Yahoo! Slurp”.
Gus dearbh ainmean diofar luchd-cleachdaidh a lorg (leithid Googlebot, bingbot, is msaa) cleachd an duilleag seo.
An aire: Dhèanadh an àithne gu h-àrd cuir casg air bot sònraichte bhon làrach gu lèir agad. Tha Googlebot dìreach air a chleachdadh mar eisimpleir. Anns a’ mhòr-chuid de chùisean cha bhiodh tu a-riamh airson stad a chuir air Google bho bhith a’ snàgadh air an làrach-lìn agad. Is e aon chùis cleachdaidh sònraichte airson botaichean sònraichte a bhacadh na botaichean a tha buannachdail dhut a chumail a’ tighinn chun làrach agad, fhad ‘s a chuireas tu stad air an fheadhainn nach eil buannachdail don làrach agad.
4. Cuir casg air faidhle sònraichte a bhith air a shlaodadh
Bheir am Pròtacal Toirmeasg Robots dhut deagh smachd air na faidhlichean agus na pasganan a tha thu airson casg a chuir air inntrigeadh robot.
Seo an àithne a chleachdas tu gus stad a chur air faidhle bho bhith air do shlaodadh le robot sam bith:
User-agent: *Disallow: /[folder_name]/[file_name.extension]
Mar sin, nan robh thu airson faidhle leis an ainm “img_0001.png” a bhacadh on phasgan “images”, chleachdadh tu an àithne seo:
5. Cuir casg air ruigsinneachd gu pasgan ach leig le faidhle a bhithclàr-amais
Tha an àithne “Dì-cheadachadh” a’ bacadh bhotan bho bhith faighinn gu pasgan no faidhle.
Tha an àithne “Ceadaich” a’ dèanamh a chaochladh.
Tha an àithne “Ceadaich” a’ dol an àite na Òrdugh “Dì-cheadachadh” ma tha an tè mu dheireadh ag amas air faidhle fa leth.
Tha seo a’ ciallachadh gun urrainn dhut inntrigeadh do phasgan a bhacadh ach leigeil le riochdairean cleachdaiche fhathast faighinn gu faidhle fa leth taobh a-staigh a’ phasgan.
Seo am fòrmat a chleachdar:
User-agent: *Disallow: /[folder_name]/
Allow: /[folder_name]/[file_name.extension]/
Mar eisimpleir, nam biodh tu airson Google a bhacadh bho bhith a’ snàgadh air a’ phasgan “images” ach fhathast ag iarraidh cothrom a thoirt dha am faidhle “img_0001.png” a tha air a stòradh ann, seo am fòrmat a tha thu 'd chleachdadh:
Airson an eisimpleir gu h-àrd, bhiodh e a' coimhead mar seo:
Chuir seo stad air a h-uile duilleag san eòlaire /search/ a bhith air an clàr-amais.
Dè nam biodh tu airson stad a chuir air a h-uile duilleag a bha a’ maidseadh leudachan sònraichte (leithid “.php” no “.png”) bho bhith air an clàr-amais?
Cleachd seo:
User-agent: *Disallow: /*.extension$
The ($ ) soidhne an seo a’ comharrachadh deireadh an URL, i.e. ’s e an leudachan an t-sreath mu dheireadh san URL.
Nam biodh tu airson a h-uile duilleag a bhacadh leis an leudachadh “.js” (airson Javascript), seo na dh’iarradh tu cleachdadh:
Tha an àithne seo gu sònraichte èifeachdach ma tha thu airson stad a chur air botaichean bho bhith a’ snàgadh sgriobtaichean.
6. Cuir stad air botaichean bho bhith a’ snàgadh air an làrach agad ro thric
Anns na h-eisimpleirean gu h-àrd, is dòcha gum faca tu an àithne seo:
User-agent: *Crawl-Delay: 20
Tha an àithne seo ag iarraidh air a h-uile bota feitheamh 20 diog aig a’ char as lugha eadar iarrtasan craolaidh.
An Crawl-DelayTha àithne air a chleachdadh gu tric air làraich mòra le susbaint air ùrachadh gu tric (leithid Twitter). Tha an àithne seo ag iarraidh air botaichean feitheamh ùine as lugha eadar iarrtasan às dèidh làimh.
Nì seo cinnteach nach eil cus iarrtasan air an fhrithealaiche aig an aon àm bho dhiofar bhotan aig an aon àm.
Mar eisimpleir , seo am faidhle Robots.txt aig Twitter ag iarraidh air botaichean feitheamh 1 diog aig a’ char as lugha eadar iarrtasan:
Faodaidh tu fiù ’s smachd a chumail air an dàil crawl airson botaichean fa-leth. Nì seo cinnteach nach bi cus bhotan a' snàgail air an làrach agad aig an aon àm.
Mar eisimpleir, 's dòcha gu bheil seata òrduighean agad mar seo:
An aire: Cha bhith feum agad air an àithne seo a chleachdadh mura h-eil thu a’ ruith làrach mhòr le mìltean de dhuilleagan ùra gan cruthachadh a h-uile mionaid (leithid Twitter).
Mearachdan cumanta ri sheachnadh nuair a chleachdas tu Robots.txt<5
Tha am faidhle Robots.txt na inneal cumhachdach airson smachd a chumail air giùlan bot air an làrach agad.
Ach, faodaidh e leantainn gu mòr-thubaist SEO mura tèid a chleachdadh ceart. Cha chuidich e gu bheil grunn mhì-thuigse ann mu Robots.txt a' seòladh mun cuairt air-loidhne.
Seo cuid de mhearachdan a dh'fheumas tu a sheachnadh nuair a bhios tu a' cleachdadh Robots.txt:
Mearachd #1 - A' cleachdadh Robots.txt gus casg a chuir air susbaint a bhith air a chlàr-amais
Ma “Dhiùlt thu” pasgan san fhaidhle Robots.txt, cha bhith botaichean dligheach ga shlaodadh.
Ach, tha seo a’ ciallachadh dà rud fhathast :
- BITHIDH botaichean a’ snàgadh susbaint an
