Robots.txt-dosiero stokita en la radiko de via retejo informos reteĝajn robotojn kiel serĉiloj- araneoj, kiaj dosierujoj kaj dosieroj oni rajtas rampi. Estas facila uzi dosieron de robotoj.txt, sed estas iuj aferoj, kiujn vi devas memori:
- Nigra ĉapelo retumaj robotoj ignoros vian roboton.txt-dosieron. La plej oftaj tipoj estas malware-robotoj kaj robotoj serĉantaj retpoŝtadresojn por rikolti.
- Kelkaj novaj programistoj skribos robotojn, kiuj ignoris la roboton.txt-dosieron. Ĉi tio kutime fariĝas per eraro.
- Ĉiu povas vidi vian roboton.txt-dosieron. Ili ĉiam estas nomataj robotoj.txt kaj ĉiam konserviĝas ĉe la radiko de la retejo.
- Fine, se iu ligas al dosiero aŭ dosierujo, kiu estas ekskludita de via robotoj.txt-dosiero el paĝo, kiu ne estas ekskludita de sia robotoj.txt-dosiero, la serĉiloj eble povas ĝin trovi.
Ne uzu robotojn.txt-dosierojn por kaŝi ion ajn gravan. Anstataŭe, vi devus meti gravan informon malantaŭ sekuraj pasvortoj aŭ lasi ĝin tute for de la retejo.
Kiel Uzi Ĉi tiujn Specimenajn Dosierojn
Kopiu la tekston el la specimeno, kiu estas plej proksima al tio, kion vi volas fari, kaj batu ĝin en vian dosieron de robotoj. Ŝanĝi la roboton, dosierujon kaj dosierojn por kunigi vian preferan agordon.
Du Bazaj Robotoj.txt Dosieroj
Uzanto-agento: *
Malŝalti: /
Ĉi tiu dosiero diras, ke iu ajn roboto (Uzanto-agento: *), kiu aliras ĝin, devus ignori ĉiun paĝon en la retejo (Malŝalti: /).
Uzanto-agento: *
Malakcepti:
Ĉi tiu dosiero diras, ke iu ajn roboto (Uzanto-agento: *), kiu aliras al ĝi, rajtas vidi ĉiun paĝon en la retejo (Malkonsento:).
Vi ankaŭ povas fari ĉi tion lasante vian roboton.txt-dosieron malplena aŭ tute ne havante unu en via retejo.
Protekti specifajn adresojn de robotoj
Uzanto-agento: *
Malŝalti: / cgi-bin /
Malŝalti: / temp /
Ĉi tiu dosiero diras, ke iu ajn roboto (Uzanto-agento: *), kiu aliras ĝin, devus ignori la dosierujojn / cgi-bin / and / temp / (Malŝalti: / cgi-bin / Disallow: / temp /).
Protekti Specifajn Artikolojn De Robotoj
Uzanto-agento: *
Malakceptu: /jenns-stuff.htm
Malŝalti: /private.php
Ĉi tiu dosiero diras, ke iu ajn roboto (Uzanto-agento: *), kiu aliras ĝin, devus ignori la dosierojn /jenns-stuff.htm kaj /private.php (Malŝalti: /jenns-stuff.htm Malŝalti: /private.php).
Malhelpi specifan roboton aliri vian retejon
Uzanto-agento: Lycos / xx
Malŝalti: /
Ĉi tiu dosiero diras, ke la Lycos-bot (Uzanto-agento: Lycos / xx) ne rajtas aliri al iu ajn loko de la retejo (Malŝalti: /).
Permesu nur unu specifan robotan aliron
Uzanto-agento: *
Malŝalti: /
Uzanto-agento: Googlebot
Malakcepti:
Ĉi tiu dosiero unue malpermesas ĉiujn robotojn kiel ni faris supre, kaj tiam eksplicite lasas la Googlebot (Uzanto-agento: Googlebot) havas aliron al ĉio (Malkonsentu:).
Kombini Multoblajn Liniojn por Akiri Ĝuste la Ekskluzivojn Vi Volas
Dum estas pli bone uzi tre inkluzivan uzanton-agenton, kiel Uzanto-agento: *, vi povas esti tiom specifa kiel vi volas. Memoru, ke robotoj legas la dosieron en ordo. Do se la unuaj linioj diras, ke ĉiuj robotoj estas blokitaj de ĉio, kaj poste poste en la dosiero diras, ke ĉiuj robotoj rajtas aliri al ĉio, la robotoj havas aliron al ĉio.
Se vi ne certas ĉu vi korekte skribis vian roboton.txt-dosieron, vi povas uzi la retejajn ilojn de Google por kontroli vian roboton.txt-dosieron aŭ skribi novan.