Beth Yw Ffeil Robots.txt? A Sut Ydych Chi'n Creu Un? (Canllaw i Ddechreuwyr)
Tabl cynnwys
Oeddech chi'n gwybod bod gennych reolaeth lwyr dros bwy sy'n cropian ac yn mynegeio eich gwefan, i lawr i dudalennau unigol?
Y ffordd y gwneir hyn yw trwy ffeil o'r enw Robots.txt.
Ffeil testun syml yw Robots.txt sy'n gosod yng nghyfeiriadur gwraidd eich gwefan. Mae'n dweud wrth “robotiaid” (fel pryfed cop peiriant chwilio) pa dudalennau i'w cropian ar eich gwefan, pa dudalennau i'w hanwybyddu.
Er nad yw'n hanfodol, mae'r ffeil Robots.txt yn rhoi llawer o reolaeth i chi dros sut mae Google a peiriannau chwilio eraill yn gweld eich gwefan.
Pan gaiff ei ddefnyddio'n iawn, gall hyn wella cropian a hyd yn oed effeithio ar SEO.
Ond sut yn union ydych chi'n creu ffeil Robots.txt effeithiol? Ar ôl ei greu, sut ydych chi'n ei ddefnyddio? A pha gamgymeriadau ddylech chi eu hosgoi wrth ei ddefnyddio?
Yn y post hwn, byddaf yn rhannu popeth sydd angen i chi ei wybod am y ffeil Robots.txt a sut i'w ddefnyddio ar eich blog.
Dewch i ni blymio i mewn:
Beth yw ffeil Robots.txt?
Yn ôl yn nyddiau cynnar y rhyngrwyd, fe greodd rhaglenwyr a pheirianwyr 'robotiaid' neu 'bryfed cop' i gropian a mynegeio tudalennau ar y we. Gelwir y robotiaid hyn hefyd yn ‘asiantau defnyddwyr.’
Weithiau, byddai’r robotiaid hyn yn gwneud eu ffordd i dudalennau nad oedd perchnogion gwefannau am gael eu mynegeio. Er enghraifft, safle sy'n cael ei adeiladu neu wefan breifat.
I ddatrys y broblem hon, cynigiodd Martijn Koster, peiriannydd o'r Iseldiroedd a greodd beiriant chwilio cyntaf y byd (Aliweb), set o safonau y byddai pob robotffolder wedi'i gysylltu o ffynonellau allanol. Dywedwch, os yw gwefan arall yn cysylltu â ffeil o fewn eich ffolder sydd wedi'i blocio, bydd bots yn ei ddilyn trwy ei fynegeio.
Mae hyn yn gwneud Robots.txt yn arf gwael i atal cynnwys rhag cael ei fynegeio.
Dyma beth ddylech chi ei ddefnyddio yn lle hynny: defnyddiwch y tag 'meta noindex'.<1
Ychwanegwch y tag canlynol mewn tudalennau nad ydych am eu mynegeio:
Dyma'r dull SEO-gyfeillgar a argymhellir i atal tudalen rhag cael ei mynegeio (er nad yw'n rhwystro o hyd sbamwyr).
Sylwer: Os ydych yn defnyddio ategyn WordPress fel Yoast SEO, neu All in One SEO; gallwch wneud hyn heb olygu unrhyw god. Er enghraifft, yn ategyn Yoast SEO gallwch ychwanegu'r tag noindex fesul post / tudalen fel hyn:
Gweld hefyd: Y Cwmnïau Argraffu-Ar-Galw Gorau yng Nghanada (Cymhariaeth 2023)
Y cyfan sydd angen i chi ei wneud yw agor a phostio / tudalen a chlicio ar y cog y tu mewn i flwch Yoast SEO . Yna cliciwch ar y gwymplen nesaf at ‘Meta robots index.’
Yn ogystal, bydd Google yn rhoi’r gorau i gefnogi’r defnydd o “noindex” mewn ffeiliau robots.txt o Fedi 1af. Mae gan yr erthygl hon o SearchEngineLand ragor o wybodaeth.
Camgymeriad #2 – Defnyddio Robots.txt i ddiogelu cynnwys preifat
Os oes gennych gynnwys preifat - dyweder, PDFs ar gyfer cwrs e-bost - blocio'r cyfeiriadur trwy Bydd ffeil Robots.txt yn helpu, ond nid yw'n ddigon.
Dyma pam:
Efallai y bydd eich cynnwysdal i gael mynegeio os yw'n gysylltiedig o ffynonellau allanol. Hefyd, bydd bots twyllodrus yn dal i'w gropian.
Dull gwell yw cadw'r holl gynnwys preifat y tu ôl i fewngofnod. Bydd hyn yn sicrhau na fydd neb – bots cyfreithlon neu dwyllodrus – yn cael mynediad i'ch cynnwys.
Yr anfantais yw ei fod yn golygu bod gan eich ymwelwyr gylchyn ychwanegol i neidio drwyddo. Ond, bydd eich cynnwys yn fwy diogel.
Camgymeriad #3 – Defnyddio Robots.txt i atal cynnwys dyblyg rhag cael ei fynegeio
Mae cynnwys dyblyg yn fawr ddim o ran SEO.
Fodd bynnag, nid defnyddio Robots.txt i atal y cynnwys hwn rhag cael ei fynegeio yw'r ateb. Unwaith eto, nid oes unrhyw sicrwydd na fydd pryfed cop peiriannau chwilio yn dod o hyd i'r cynnwys hwn trwy ffynonellau allanol.
Dyma 3 ffordd arall o gyflwyno cynnwys dyblyg:
- Dileu cynnwys dyblyg - Bydd hyn yn cael gwared ar y cynnwys yn gyfan gwbl. Fodd bynnag, mae hyn yn golygu eich bod yn arwain peiriannau chwilio i 404 o dudalennau - ddim yn ddelfrydol. Oherwydd hyn, ni argymhellir dilead .
- Defnyddio 301 ailgyfeirio – Mae ailgyfeiriad 301 yn cyfarwyddo peiriannau chwilio (ac ymwelwyr) bod tudalen wedi symud i leoliad newydd . Yn syml, ychwanegwch ailgyfeiriad 301 ar gynnwys dyblyg i fynd ag ymwelwyr i'ch cynnwys gwreiddiol.
- Ychwanegu tag rel="canonaidd" – Mae'r tag hwn yn fersiwn 'meta' o'r ailgyfeiriad 301. Mae'r tag “rel=canonical” yn dweud wrth Google pa un yw'r URL gwreiddiol ar gyfer tudalen benodol. Canysenghraifft y cod hwn:
//example.com/original-page.html ” rel=”canonical” /> <1
Yn dweud wrth Google mai'r dudalen - original-page.html - yw'r fersiwn "gwreiddiol" o'r dudalen ddyblyg. Os ydych chi'n defnyddio WordPress, mae'r tag hwn yn hawdd i'w ychwanegu gan ddefnyddio Yoast SEO neu All in One SEO.
Os ydych chi am i ymwelwyr allu cyrchu'r cynnwys dyblyg, defnyddiwch y rel = “canonaidd” tag. Os nad ydych am i ymwelwyr neu bots gael mynediad i'r cynnwys – defnyddiwch ailgyfeiriad 301.
Byddwch yn ofalus wrth weithredu'r naill neu'r llall oherwydd byddant yn effeithio ar eich SEO.
Drosodd i chi
Mae'r ffeil Robots.txt yn gynghreiriad defnyddiol wrth lunio'r ffordd y mae pryfed cop peiriannau chwilio a botiau eraill yn rhyngweithio â'ch gwefan. Pan gânt eu defnyddio'n gywir, gallant gael effaith gadarnhaol ar eich safleoedd a gwneud eich gwefan yn haws i'w chropian.
Defnyddiwch y canllaw hwn i ddeall sut mae Robots.txt yn gweithio, sut mae wedi'i osod a rhai ffyrdd cyffredin y gallwch ei ddefnyddio . Ac osgowch unrhyw un o'r camgymeriadau rydyn ni wedi'u trafod uchod.
Darllen cysylltiedig:
- Y Offer Olrhain Safle Gorau Ar Gyfer Blogwyr, Wedi'u Cymharu
- Canllaw Diffiniol Ar Gyfer Cael Dolenni Gwefan Google
- 5 Offeryn Ymchwil Allweddair Pwerus wedi'u Cymharu
rhaid cadw at. Cynigiwyd y safonau hyn gyntaf ym mis Chwefror 1994. Ar 30 Mehefin 1994, daeth nifer o awduron robotiaid ac arloeswyr gwe cynnar i gonsensws ar y safonau.
Mabwysiadwyd y safonau hyn fel y “Gwahardd Robotiaid Protocol” (REP).
Mae'r ffeil Robots.txt yn gweithredu'r protocol hwn.
Mae'r REP yn diffinio set o reolau y mae'n rhaid i bob ymlusgwr neu corryn cyfreithlon eu dilyn. Os yw'r Robots.txt yn cyfarwyddo robotiaid i beidio â mynegeio tudalen we, mae'n rhaid i bob robot cyfreithlon – o Googlebot i'r MSNbot – ddilyn y cyfarwyddiadau.
Sylwer: Gall rhestr o ymlusgwyr cyfreithlon ar gael yma.
Cofiwch efallai na fydd rhai robotiaid twyllodrus – drwgwedd, ysbïwedd, cynaeafwyr e-bost, ac ati – yn dilyn y protocolau hyn. Dyma pam efallai y byddwch yn gweld traffig bot ar dudalennau rydych chi wedi'u rhwystro trwy Robots.txt.
Mae yna hefyd robotiaid nad ydyn nhw'n dilyn safonau REP nad ydyn nhw'n cael eu defnyddio ar gyfer unrhyw beth amheus.
Gallwch weld robots.txt unrhyw wefan drwy fynd i'r url hwn:
//[website_domain]/robots.txt
Er enghraifft, dyma ffeil Robots.txt Facebook:
A dyma ffeil Robots.txt Google:
Defnyddio Robots.txt
Nid yw Robots.txt yn ddogfen hanfodol ar gyfer gwefan. Gall eich gwefan raddio a thyfu'n berffaith dda heb y ffeil hon.
Fodd bynnag, mae defnyddio Robots.txt yn cynnig rhai buddion:
- Anogwch bots rhag cropian ffolderi preifat – Er nad yw'n berffaith, bydd peidio â chaniatáu bots rhag cropian ffolderi preifat yn eu gwneud yn llawer anos i'w mynegeio - o leiaf trwy ddefnyddio bots cyfreithlon (fel pryfed cop peiriannau chwilio).
- Rheoli'r defnydd o adnoddau - Bob tro mae bot yn cropian eich gwefan, mae'n draenio'ch lled band ac adnoddau gweinydd - adnoddau y byddai'n well eu gwario ar ymwelwyr go iawn. Ar gyfer gwefannau sydd â llawer o gynnwys, gall hyn gynyddu costau a rhoi profiad gwael i ymwelwyr go iawn. Gallwch ddefnyddio Robots.txt i rwystro mynediad i sgriptiau, delweddau dibwys, ac ati i gadw adnoddau.
- Blaenoriaethu tudalennau pwysig – Rydych chi am i bryfed cop peiriannau chwilio gropian drwy'r tudalennau pwysig ar eich gwefan (fel tudalennau cynnwys), nid gwastraffu adnoddau yn cloddio trwy dudalennau diwerth (fel canlyniadau ymholiadau chwilio). Drwy rwystro tudalennau mor ddiwerth, gallwch flaenoriaethu pa dudalennau y mae bots yn canolbwyntio arnynt.
Sut i ddod o hyd i'ch ffeil Robots.txt
Fel mae'r enw'n awgrymu, mae Robots.txt yn syml ffeil testun.
Mae'r ffeil hon wedi'i storio yng nghyfeiriadur gwraidd eich gwefan. I ddod o hyd iddo, agorwch eich teclyn FTP a llywiwch i gyfeiriadur eich gwefan o dan public_html.
Ffeil testun fach yw hon – mae fy un i ychydig dros 100 beit.
I'w hagor , defnyddiwch unrhyw olygydd testun, fel Notepad. Efallai y byddwch chi'n gweld rhywbeth fel hyn:
Mae siawns na fyddwch chi'n gweld unrhyw ffeil Robots.txt yng nghyfeiriadur gwraidd eich gwefan. Yn yr achos hwn, bydd yn rhaid i chi greu aFfeil Robots.txt eich hun.
Dyma sut:
Sut i greu ffeil Robot.txt
Gan fod Robots.txt yn ffeil testun sylfaenol, mae ei chreu yn syml IAWN – dim ond agor golygydd testun a chadw ffeil wag fel robots.txt.
I uwchlwytho'r ffeil hon i'ch gweinydd, defnyddiwch eich hoff offeryn FTP (rwy'n argymell defnyddio WinSCP) i fewngofnodi i'ch gweinydd gwe . Yna agorwch y ffolder public_html ac agorwch gyfeiriadur gwraidd eich gwefan.
Yn dibynnu ar sut mae eich gwesteiwr wedi'i ffurfweddu, gall cyfeiriadur gwraidd eich gwefan fod yn uniongyrchol o fewn y ffolder public_html. Neu, efallai ei fod yn ffolder o fewn hynny.
Unwaith y byddwch wedi agor cyfeiriadur gwraidd eich gwefan, llusgo & gollwng y ffeil Robots.txt i mewn iddo.
Fel arall, gallwch greu'r ffeil Robots.txt yn uniongyrchol o'ch golygydd FTP.
I wneud hyn, agorwch gyfeiriadur gwraidd eich gwefan a Cliciwch ar y dde -> Creu ffeil newydd.
Yn y blwch deialog, teipiwch “robots.txt” (heb ddyfynbrisiau) a gwasgwch OK.
Dylech weld ffeil robots.txt newydd y tu mewn:
Yn olaf, gwnewch yn siŵr eich bod wedi gosod y caniatâd ffeil cywir ar gyfer y ffeil Robots.txt. Rydych chi eisiau i'r perchennog – chi eich hun – ddarllen ac ysgrifennu'r ffeil, ond nid i eraill na'r cyhoedd.
Dylai eich ffeil Robots.txt ddangos “0644” fel y cod caniatâd.
Os nid yw'n gwneud hynny, cliciwch ar y dde ar eich ffeil Robots.txt a dewis “Caniatâd ffeil…”
Mae gennych chi – ffeil Robots.txt gwbl weithredol!
Ondbeth allwch chi ei wneud mewn gwirionedd gyda'r ffeil hon?
Nesaf i fyny, byddaf yn dangos rhai cyfarwyddiadau cyffredin y gallwch eu defnyddio i reoli mynediad i'ch gwefan.
Sut i ddefnyddio Robots.txt<5
Cofiwch fod Robots.txt yn ei hanfod yn rheoli sut mae robotiaid yn rhyngweithio â'ch gwefan.
Am rwystro peiriannau chwilio rhag cael mynediad i'ch gwefan gyfan? Yn syml, newidiwch ganiatadau yn Robots.txt.
Am rwystro Bing rhag mynegeio eich tudalen gyswllt? Gallwch chi wneud hynny hefyd.
Ar ei ben ei hun, ni fydd y ffeil Robots.txt yn gwella eich SEO, ond gallwch ei ddefnyddio i reoli ymddygiad ymlusgo ar eich gwefan.
I ychwanegu neu addasu y ffeil, agorwch hi yn eich golygydd FTP ac ychwanegwch y testun yn uniongyrchol. Unwaith y byddwch yn cadw'r ffeil, bydd y newidiadau'n cael eu hadlewyrchu ar unwaith.
Dyma rai gorchmynion y gallwch eu defnyddio yn eich ffeil Robots.txt:
1. Rhwystro pob bot o'ch gwefan
Am rwystro pob robot rhag cropian eich gwefan?
Ychwanegwch y cod hwn at eich ffeil Robots.txt:
User-agent: *Disallow: /
Dyma beth fyddai edrych fel yn y ffeil go iawn:
I'w roi'n syml, mae'r gorchymyn hwn yn dweud wrth bob asiant defnyddiwr (*) i beidio â chael mynediad i unrhyw ffeiliau neu ffolderi ar eich gwefan.
Dyma'r cyflawn esboniad o beth yn union sy'n digwydd yma:
- Asiant defnyddiwr:* – Mae'r seren (*) yn nod 'cerdyn gwyllt' sy'n berthnasol i bob gwrthrych (fel enw ffeil neu yn yr achos hwn, bot). Os byddwch yn chwilio am “*.txt” ar eich cyfrifiadur, bydd yn dangos pob ffeil gydayr estyniad .txt. Yma, mae'r seren yn golygu bod eich gorchymyn yn berthnasol i bob asiant-defnyddiwr.
- Aniatáu: / - Gorchymyn robots.txt yw “Disallow” sy'n gwahardd bot rhag cropian ffolder. Mae'r slaes blaen sengl (/) yn golygu eich bod yn defnyddio'r gorchymyn hwn i'r cyfeiriadur gwraidd. safle aelodaeth. Ond byddwch yn ymwybodol y bydd hyn yn atal pob bot cyfreithlon fel Google rhag cropian eich gwefan. Defnyddiwch yn ofalus.
2. Rhwystro pob bot rhag cyrchu ffolder penodol
Beth os ydych am atal bots rhag cropian a mynegeio ffolder benodol?
Er enghraifft, y ffolder /images?
Defnyddio y gorchymyn hwn:
User-agent: *Disallow: /[folder_name]/
Os oeddech am atal bots rhag cyrchu'r ffolder /images, dyma sut olwg fyddai ar y gorchymyn:
24>Mae'r gorchymyn hwn yn ddefnyddiol os oes gennych ffolder adnoddau nad ydych chi eisiau gorlethu â cheisiadau ymlusgo robotiaid. Gall hwn fod yn ffolder gyda sgriptiau dibwys, delweddau hen ffasiwn, ac ati.
> Sylwer:Enghraifft yn unig yw'r ffolder /images. Nid wyf yn dweud y dylech rwystro bots rhag cropian y ffolder honno. Mae'n dibynnu ar yr hyn rydych chi'n ceisio ei gyflawni.Mae peiriannau chwilio fel arfer yn gwgu ar wefeistri gwe yn rhwystro eu bots rhag cropian ffolderi nad ydyn nhw'n ddelweddau, felly byddwch yn ofalus pan fyddwch chi'n defnyddio'r gorchymyn hwn. Rwyf wedi rhestru rhai dewisiadau amgen i Robots.txt ar gyfer atal peiriannau chwilio rhagmynegeio tudalennau penodol isod.
3. Rhwystro botiau penodol o'ch gwefan
Beth os ydych chi am rwystro robot penodol - fel Googlebot - rhag cael mynediad i'ch gwefan?
Gweld hefyd: Yr 8 Dewis Amgen Triberr Gorau ar gyfer 2023: Wedi ceisio & Wedi'i brofiDyma'r gorchymyn ar ei gyfer:
User-agent: [robot name]Disallow: /
Er enghraifft, os oeddech chi eisiau rhwystro Googlebot o'ch gwefan, dyma beth fyddech chi'n ei ddefnyddio:
Mae gan bob bot cyfreithlon neu asiant defnyddiwr enw penodol. Gelwir pry cop Google, er enghraifft, yn syml yn “Googlebot”. Mae Microsoft yn rhedeg “msnbot” a “bingbot”. Gelwir bot Yahoo yn “Yahoo! Slurp”.
I ddod o hyd i union enwau gwahanol ddefnyddwyr-asiantau (fel Googlebot, bingbot, ac ati) defnyddiwch y dudalen hon.
Sylwer: Byddai'r gorchymyn uchod blocio bot penodol o'ch gwefan gyfan. Defnyddir Googlebot fel enghraifft yn unig. Yn y rhan fwyaf o achosion ni fyddech byth am atal Google rhag cropian eich gwefan. Un achos defnydd penodol ar gyfer blocio bots penodol yw cadw'r bots sydd o fudd i chi rhag dod i'ch gwefan, tra'n atal y rhai nad ydynt o fudd i'ch gwefan.
4. Rhwystro ffeil benodol rhag cael ei chropian
Mae Protocol Gwahardd Robotiaid yn rhoi rheolaeth fanwl i chi dros ba ffeiliau a ffolder yr ydych am rwystro mynediad robotiaid iddynt.
Dyma'r gorchymyn y gallwch ei ddefnyddio i atal ffeil rhag cael eich cropian gan unrhyw robot:
User-agent: *Disallow: /[folder_name]/[file_name.extension]
Felly, os oeddech chi am rwystro ffeil o'r enw “img_0001.png” o'r ffolder “delweddau”, byddech chi'n defnyddio'r gorchymyn hwn:
5. Rhwystro mynediad i ffolder ond caniatáu i ffeil fodmynegeio
Mae'r gorchymyn “Dadganiatáu” yn rhwystro bots rhag cyrchu ffolder neu ffeil.
Mae'r gorchymyn “Caniatáu” yn gwneud y gwrthwyneb.
Mae'r gorchymyn “Caniatáu” yn disodli'r Gorchymyn “Anallow” os yw'r cyntaf yn targedu ffeil unigol.
Mae hyn yn golygu y gallwch rwystro mynediad i ffolder ond caniatáu i asiantau defnyddwyr gael mynediad i ffeil unigol o fewn y ffolder o hyd.
Dyma y fformat i'w ddefnyddio:
User-agent: *Disallow: /[folder_name]/
Allow: /[folder_name]/[file_name.extension]/
Er enghraifft, os oeddech am rwystro Google rhag cropian y ffolder “delweddau” ond yn dal eisiau rhoi mynediad iddo i ffeil “img_0001.png” sydd wedi'i storio ynddo, dyma'r fformat rydych chi 'd use:
Ar gyfer yr enghraifft uchod, byddai'n edrych fel hyn:
Byddai hyn yn atal pob tudalen yn y cyfeiriadur /search/ rhag cael ei mynegeio.
Beth os oeddech am atal pob tudalen oedd yn cyfateb i estyniad penodol (fel “.php” neu “.png”) rhag cael eu mynegeio?
Defnyddiwch hwn:
User-agent: *Disallow: /*.extension$
Y ($ ) arwydd yma yn dynodi diwedd yr URL, h.y. yr estyniad yw'r llinyn olaf yn yr URL.
Os oeddech am rwystro pob tudalen gyda'r estyniad “.js” (ar gyfer Javascript), dyma beth fyddech chi defnyddio:
Mae'r gorchymyn hwn yn arbennig o effeithiol os ydych chi am atal bots rhag cropian sgriptiau.
6. Atal bots rhag cropian eich gwefan yn rhy aml
Yn yr enghreifftiau uchod, efallai eich bod wedi gweld y gorchymyn hwn:
User-agent: *Crawl-Delay: 20
Mae'r gorchymyn hwn yn cyfarwyddo pob bot i aros o leiaf 20 eiliad rhwng ceisiadau cropian.
Yr Oedi Ymlusgodefnyddir gorchymyn yn aml ar wefannau mawr gyda chynnwys sy'n cael ei ddiweddaru'n aml (fel Twitter). Mae'r gorchymyn hwn yn dweud wrth bots i aros lleiafswm o amser rhwng ceisiadau dilynol.
Mae hyn yn sicrhau nad yw'r gweinydd yn cael ei lethu gan ormod o geisiadau ar yr un pryd gan wahanol fotiau.
Er enghraifft , dyma ffeil Robots.txt Twitter yn cyfarwyddo bots i aros o leiaf 1 eiliad rhwng ceisiadau:
Gallwch hyd yn oed reoli'r oedi ymlusgo ar gyfer bots unigol. Mae hyn yn sicrhau nad yw gormod o bots yn cropian eich gwefan ar yr un pryd.
Er enghraifft, efallai y bydd gennych set o orchmynion fel hyn:
Sylwer: Ni fydd gwir angen i chi ddefnyddio'r gorchymyn hwn oni bai eich bod yn rhedeg gwefan enfawr gyda miloedd o dudalennau newydd yn cael eu creu bob munud (fel Twitter).
Camgymeriadau cyffredin i'w hosgoi wrth ddefnyddio Robots.txt<5
Mae'r ffeil Robots.txt yn arf pwerus ar gyfer rheoli ymddygiad bot ar eich gwefan.
Fodd bynnag, gall hefyd arwain at drychineb SEO os na chaiff ei ddefnyddio'n gywir. Nid yw'n helpu bod nifer o gamsyniadau ynghylch Robots.txt yn symud o gwmpas ar-lein.
Dyma rai camgymeriadau y mae'n rhaid i chi eu hosgoi wrth ddefnyddio Robots.txt:
Camgymeriad #1 – Defnyddio Robots.txt i atal cynnwys rhag cael ei fynegeio
Os ydych chi'n “Analluogi” ffolder yn y ffeil Robots.txt, ni fydd bots cyfreithlon yn ei gropian.
Ond, mae hyn yn dal i olygu dau beth :
- BYDD bots yn cropian cynnwys y
