Fail robots.txt yang disimpan dalam akar tapak web anda akan memberitahu robot web seperti labah-labah enjin carian apa direktori dan fail yang mereka boleh merangkak. Mudah digunakan fail robots.txt, tetapi ada beberapa perkara yang perlu diingat:
- Robot web Blackhat akan mengabaikan fail robots.txt anda. Jenis yang paling biasa adalah bot malware dan robot mencari alamat e-mel untuk menuai.
- Beberapa pengaturcara baru akan menulis robot yang mengabaikan fail robots.txt. Ini biasanya dilakukan secara tidak sengaja.
- Sesiapa sahaja boleh melihat fail robots.txt anda. Mereka sentiasa dipanggil robots.txt dan sentiasa disimpan di akar tapak web.
- Akhirnya, jika seseorang memaut ke fail atau direktori yang dikecualikan oleh fail robots.txt anda dari halaman yang tidak dikecualikan oleh fail robots.txt mereka, enjin carian boleh menemukannya.
Jangan gunakan fail robots.txt untuk menyembunyikan sesuatu yang penting. Sebaliknya, anda harus meletakkan maklumat penting di sebalik kata laluan selamat atau meninggalkannya di seluruh web.
Cara Penggunaan Fail Sampel Ini
Salin teks dari sampel yang paling dekat dengan perkara yang anda ingin lakukan, dan tampalkannya ke dalam fail robots.txt anda. Tukar robot, direktori, dan nama fail untuk menyesuaikan konfigurasi pilihan anda.
Dua Fail Robots.txt Asas
Agen-pengguna: *Tidak membenarkan: / Fail ini mengatakan bahawa mana-mana robot ( Agen-pengguna: *) yang mengakses ia harus mengabaikan setiap halaman di laman web ini ( Tidak membenarkan: /). Agen-pengguna: *Tidak membenarkan: Fail ini mengatakan bahawa mana-mana robot ( Agen-pengguna: *) yang mengakses ia dibenarkan untuk melihat setiap halaman di laman web ini ( Tidak membenarkan:). Anda juga boleh melakukan ini dengan meninggalkan fail robots.txt kosong atau tidak mempunyai satu di laman web anda sama sekali. Agen-pengguna: *Tidak membenarkan: / cgi-bin /Tidak membenarkan: / temp / Fail ini mengatakan bahawa mana-mana robot ( Agen-pengguna: *) yang mengakses ia harus mengabaikan direktori / cgi-bin / dan / temp / ( Tidak membenarkan: / cgi-bin / Disallow: / temp /). Agen-pengguna: *Tidak membenarkan: /jenns-stuff.htmTidak membenarkan: /private.php Fail ini mengatakan bahawa mana-mana robot ( Agen-pengguna: *) yang mengakses ia harus mengabaikan fail /jenns-stuff.htm dan /private.php ( Disallow: /jenns-stuff.htm Disallow: /private.php). Agensi-pengguna: Lycos / x.xTidak membenarkan: / Fail ini mengatakan bahawa bot Lycos ( Agensi-pengguna: Lycos / x.x) tidak dibenarkan masuk ke mana-mana sahaja di laman web ini ( Agen-pengguna: *Tidak membenarkan: /Agensi-pengguna: GooglebotTidak membenarkan: Fail ini pertama sekali tidak membenarkan semua robot seperti yang kami lakukan di atas, dan kemudian secara jelas membenarkan Googlebot ( Agensi-pengguna: Googlebot) mempunyai akses kepada segala-galanya ( Walaupun lebih baik menggunakan garis Agen Pengguna yang sangat inklusif, seperti Ejen Pengguna: *, anda boleh menjadi seperti yang anda suka. Ingat bahawa robot membaca fail dalam rangka. Jadi jika baris pertama mengatakan bahawa semua robot disekat dari segala-galanya, dan kemudian dalam fail ia mengatakan bahawa semua robot dibenarkan akses kepada segalanya, robot akan mempunyai akses kepada segalanya. Sekiranya anda tidak pasti sama ada anda telah menulis fail robots.txt dengan betul, anda boleh menggunakan Alat Juruweb Google untuk menyemak fail robots.txt atau menulis yang baharu. Lindungi Direktori Khusus Dari Robot
Lindungi Halaman Tertentu Daripada Robot
Mencegah Robot Spesifik daripada Mengakses Laman Anda
Benarkan Hanya Satu Akses Robot Khusus
Menggabungkan Pelbagai Talian untuk Dapatkan Tepat Pengecualian Anda Ingin
