ໄຟລ໌ robots.txt ທີ່ເກັບຮັກສາໄວ້ໃນຮາກຂອງເວັບໄຊທ໌ຂອງທ່ານຈະບອກຫຸ່ນຍົນເວັບຄ້າຍຄື spider ເຄື່ອງຈັກຊອກຫາ ສິ່ງທີ່ໄດເລກະທໍລີແລະໄຟລ໌ທີ່ພວກເຂົາຖືກອະນຸຍາດໃຫ້ລວບລວມ. ມັນງ່າຍທີ່ຈະໃຊ້ໄຟລ໌ robots.txt ແຕ່ມີບາງສິ່ງທີ່ທ່ານຄວນຈື່:
- ຫຸ່ນຍົນເວັບຫລີກສີດໍາຈະບໍ່ສົນໃຈໄຟລ໌ robots.txt ຂອງທ່ານ. ປະເພດທົ່ວໄປທີ່ສຸດແມ່ນ malware bots ແລະຫຸ່ນຍົນຊອກຫາທີ່ຢູ່ອີເມວເພື່ອເກັບກ່ຽວ.
- ບາງໂຄງການໃຫມ່ຈະຂຽນຫຸ່ນຍົນທີ່ບໍ່ສົນໃຈກັບໄຟລ໌ robots.txt. ນີ້ແມ່ນປົກກະຕິແລ້ວໂດຍຄວາມຜິດພາດ.
- ທຸກຄົນສາມາດເບິ່ງໄຟລ໌ robots.txt ຂອງທ່ານ. ພວກມັນຖືກເອີ້ນວ່າ robots.txt ແລະຖືກເກັບໄວ້ຢູ່ຮາກຂອງເວັບໄຊທ໌໌.
- ສຸດທ້າຍ, ຖ້າໃຜຜູ້ຫນຶ່ງເຊື່ອມໂຍງກັບໄຟລ໌ຫຼືໄດເລກະທໍລີທີ່ຖືກປະຕິເສດໂດຍແຟ້ມ robots.txt ຂອງທ່ານຈາກຫນ້າທີ່ບໍ່ໄດ້ຖືກປະຕິເສດໂດຍໄຟລ໌ robots.txt, ເຄື່ອງຈັກຊອກຫາອາດຈະຊອກຫາມັນຢ່າງໃດ.
ຢ່າໃຊ້ໄຟລ໌ robots.txt ເພື່ອຊ່ອນສິ່ງທີ່ສໍາຄັນ. ແທນທີ່ຈະ, ທ່ານຄວນເອົາຂໍ້ມູນທີ່ສໍາຄັນໃຫ້ຢູ່ຫລັງ ລະຫັດລັບທີ່ປອດໄພ ຫຼືປ່ອຍໃຫ້ມັນອອກຈາກເວັບທັງຫມົດ.
ວິທີການນໍາໃຊ້ໄຟລ໌ຕົວຢ່າງເຫຼົ່ານີ້
ຄັດລອກຂໍ້ຄວາມຈາກຕົວຢ່າງທີ່ໃກ້ຊິດກັບສິ່ງທີ່ທ່ານຕ້ອງການ, ແລະວາງມັນເຂົ້າໃນໄຟລ໌ robots.txt ຂອງທ່ານ. ປ່ຽນຫຸ່ນຍົນ, ໄດເລກະທໍລີແລະຊື່ໄຟລ໌ເພື່ອໃຫ້ກົງກັບການຕັ້ງຄ່າທີ່ທ່ານຕ້ອງການ.
ສອງໄຟລ໌ຂັ້ນພື້ນຖານ Robots.txt
User-agent: *
ບໍ່ອະນຸຍາດໃຫ້: /
ໄຟລ໌ນີ້ບອກວ່າຫຸ່ນຍົນໃດໆ (User-agent: *) ທີ່ເຂົ້າເຖິງມັນຄວນລະເວັ້ນທຸກໆຫນ້າໃນເວັບໄຊທ໌ (Disallow: /).
User-agent: *
ບໍ່ອະນຸຍາດໃຫ້:
ໄຟລ໌ນີ້ບອກວ່າຫຸ່ນຍົນ (User-agent: *) ທີ່ເຂົ້າເຖິງມັນຈະຖືກອະນຸຍາດໃຫ້ເບິ່ງທຸກໆຫນ້າໃນເວັບໄຊທ໌ (Disallow:).
ນອກນັ້ນທ່ານຍັງສາມາດເຮັດໄດ້ໂດຍການເຮັດໃຫ້ໄຟລ໌ robots.txt ຫວ່າງຫຼືບໍ່ມີຫນຶ່ງຢູ່ໃນເວັບໄຊທ໌ຂອງທ່ານ.
ປົກປັກຮັກສາລາຍຊື່ເສພາະຈາກຫຸ່ນຍົນ
User-agent: *
ບໍ່ອະນຸຍາດໃຫ້: / cgi-bin /
ບໍ່ອະນຸຍາດໃຫ້: / temp /
ໄຟລ໌ນີ້ບອກວ່າຫຸ່ນຍົນ (User-agent: *) ທີ່ເຂົ້າເຖິງມັນຈະບໍ່ສົນໃຈກັບໄດເລກະທໍລີ / cgi-bin / ແລະ / temp / (Disallow: / cgi-bin / Disallow: / temp /).
ປົກປ້ອງຫນ້າເສພາະຈາກຫຸ່ນຍົນ
User-agent: *
Disallow: / jenns-stuffhtm
Disallow: / privatephp
ໄຟລ໌ນີ້ບອກວ່າຫຸ່ນຍົນ (User-agent: *) ທີ່ເຂົ້າເຖິງມັນຈະບໍ່ສົນໃຈໄຟລ໌ /jenns-stuff.htm ແລະ /private.php (Disallow: /jenns-stuff.htm Disallow: / private.php).
ປ້ອງກັນໂຣກເສພາະຈາກການເຂົ້າເຖິງເວັບໄຊຂອງທ່ານ
ຕົວແທນຜູ້ໃຊ້: Lycos / xx
ບໍ່ອະນຸຍາດໃຫ້: /
ໄຟລ໌ນີ້ກ່າວວ່າ Lycos bot (User-agent: Lycos / xx) ບໍ່ໄດ້ຮັບອະນຸຍາດໃຫ້ເຂົ້າເຖິງທຸກບ່ອນໃນເວັບໄຊທ໌ (Disallow: /).
ອະນຸຍາດໃຫ້ເສພາະການເຂົ້າເຖິງຫຸ່ນຍົນເສພາະ
User-agent: *
ບໍ່ອະນຸຍາດໃຫ້: /
User-agent: Googlebot
ບໍ່ອະນຸຍາດໃຫ້:
ໄຟລ໌ນີ້ທໍາອິດບໍ່ອະນຸຍາດໃຫ້ຫຸ່ນຍົນທັງຫມົດທີ່ພວກເຮົາເຮັດຢູ່ຂ້າງເທິງ, ແລະຫຼັງຈາກນັ້ນ Googlebot (User-agent: Googlebot) ສາມາດເຂົ້າເຖິງທຸກສິ່ງທຸກຢ່າງ (Disallow:).
ສົມທົບເສັ້ນຫລາຍເພື່ອໃຫ້ໄດ້ຮັບການຍົກເວັ້ນທີ່ທ່ານຕ້ອງການ
ໃນຂະນະທີ່ມັນເປັນການດີກວ່າການນໍາໃຊ້ເສັ້ນຜູ້ໃຊ້ຕົວແທນທີ່ມີປະໂຫຍດຫຼາຍເຊັ່ນ: User-agent: *, ທ່ານສາມາດເປັນສະເພາະທີ່ທ່ານຕ້ອງການ. ຈື່ໄວ້ວ່າຫຸ່ນຍົນອ່ານໄຟລ໌ໄວ້ໃນຄໍາສັ່ງ. ດັ່ງນັ້ນ, ຖ້າສາຍທໍາອິດກ່າວວ່າຫຸ່ນຍົນທັງຫມົດຖືກສະກັດຈາກທຸກສິ່ງທຸກຢ່າງ, ແລະຫຼັງຈາກນັ້ນໃນໄຟລ໌ມັນບອກວ່າຫຸ່ນຍົນທັງຫມົດຈະຖືກເຂົ້າເຖິງທຸກສິ່ງທຸກຢ່າງ, ຫຸ່ນຍົນຈະມີການເຂົ້າເຖິງທຸກສິ່ງທຸກຢ່າງ.
ຖ້າທ່ານບໍ່ແນ່ໃຈວ່າທ່ານໄດ້ຂຽນໄຟລ໌ robots.txt ຂອງທ່ານຢ່າງຖືກຕ້ອງ, ທ່ານສາມາດໃຊ້ເຄື່ອງມືຄຸ້ມຄອງລະບົບຂອງ Google ເພື່ອກວດສອບໄຟລ໌ robots.txt ຫຼືຂຽນໃຫມ່.