Cara mengisi robot.txt di blogger yang benar

Mari kita pahami robot.txt jadi , robots.txt adalah file teks yang ditempatkan di root directory (direktori utama) sebuah situs web. File ini memberikan instruksi kepada web crawler (bot) mesin pencari, seperti Googlebot, Bingbot, atau Yandexbot, tentang halaman mana yang boleh atau tidak boleh di-crawl (dijelajahi dan diindeks).

Mengapa robots.txt Penting?

• Mengontrol Crawling: Membantu Anda mengontrol bagaimana mesin pencari menjelajahi dan mengindeks situs Anda.

• Mencegah Crawling Konten Duplikat: Mencegah mesin pencari meng-crawl halaman yang tidak perlu atau konten duplikat, yang dapat merusak SEO.

• Menghemat Bandwidth: Menghemat bandwidth server Anda dengan membatasi crawling pada halaman yang tidak penting.

• Mengarahkan Crawler ke Konten Penting: Mengarahkan crawler ke halaman-halaman penting di situs Anda yang perlu diindeks.

Format Dasar robots.txt

File robots.txt menggunakan sintaks sederhana yang terdiri dari:

• User-agent: Menentukan bot mesin pencari mana yang akan mengikuti aturan.

  • Contoh: User-agent: Googlebot (khusus untuk Googlebot)

  • Contoh: User-agent: * (untuk semua bot)

• Disallow: Menentukan direktori atau halaman mana yang tidak boleh di-crawl.

  • Contoh: Disallow: /admin/ (melarang semua bot meng-crawl direktori /admin/)

  • Contoh: Disallow: /search?q= (melarang bot meng-crawl hasil pencarian internal)

• Allow: Menentukan direktori atau halaman mana yang boleh di-crawl (sering digunakan untuk pengecualian).

  • Contoh: Allow: /blog/ (mengizinkan semua bot meng-crawl direktori /blog/)

• Sitemap: Menentukan lokasi file XML sitemap situs Anda.

  • Contoh Sitemap: https://contohblog.blogspot.com/sitemap.xml

Cara Mengisi robots.txt di Blogger dengan Benar

1. Akses Pengaturan Blogger:

   • Masuk ke dashboard Blogger Anda.

   • Pilih blog yang ingin Anda atur.

   • Klik "Settings" (Setelan).

2. Temukan Bagian "Crawlers and Indexing" (Perayap dan Pengindeksan):

   • Gulir ke bawah hingga menemukan bagian "Crawlers and Indexing" (Perayap dan Pengindeksan).

3. Aktifkan "Custom robots.txt" (robots.txt Kustom):

   • Klik toggle/switch "Enable custom robots.txt" (Aktifkan robots.txt kustom) sampai berubah menjadi aktif.

4. Isi File robots.txt:

   • Setelah Anda mengaktifkan kustom robots.txt, Anda akan melihat kotak teks. Di sinilah Anda akan memasukkan kode robots.txt Anda.

   • Kode robots.txt yang Direkomendasikan untuk Blogger:

           User-agent: *
     Disallow: /search
     Allow: /
     Sitemap: https://namabloganda.blogspot.com/sitemap.xml
         

     Use code with caution.

     Penjelasan Kode:

     • User-agent: *: Menginstruksikan semua crawler mesin pencari untuk mengikuti aturan yang ada.

     • Disallow: /search: Melarang crawler mengindeks halaman pencarian internal blog Anda. Halaman ini tidak penting dan seringkali mengandung konten duplikat.

     • Allow: /: Mengizinkan crawler mengindeks seluruh bagian lainnya di situs web Anda.

     • Sitemap: https://namabloganda.blogspot.com/sitemap.xml: Menentukan lokasi sitemap XML blog Anda. Ganti "namabloganda" dengan nama blog Anda.

5. Simpan Perubahan:

   • Klik tombol "Save" (Simpan).

Penjelasan Tambahan:

• Mengapa Melarang /search?: Halaman pencarian internal pada blog tidak memberikan nilai SEO yang tinggi dan seringkali mengandung konten duplikat. Melarang crawler mengindeks halaman ini akan menghemat bandwidth server dan mengarahkan crawler ke halaman yang lebih penting.

• Ganti namabloganda: Pastikan Anda mengganti namabloganda.blogspot.com dengan URL blogspot Anda yang sebenarnya.

• Sitemap: Pastikan Anda telah membuat file sitemap.xml dan mengunggahnya ke blog Anda. Blogger secara otomatis membuatkan sitemap.

Tips Tambahan:

• Jangan Terlalu Rumit: Untuk pemula, cukup gunakan kode robots.txt dasar yang direkomendasikan di atas. Tidak perlu membuat aturan yang terlalu rumit, kecuali Anda memiliki kebutuhan khusus.

• Uji Coba: Setelah membuat atau mengubah robots.txt, Anda bisa mengujinya menggunakan Google Search Console atau alat robots.txt tester lainnya.

• Perbarui Secara Berkala: Jika ada perubahan pada struktur situs Anda, pastikan untuk memperbarui file robots.txt Anda.

• Hindari Larangan yang Tidak Perlu: Jangan melarang crawler mengakses halaman yang penting, karena akan menghambat indexing dan visibilitas blog Anda di mesin pencari.

Kesimpulan:

Mengisi file robots.txt di Blogger tidaklah sulit. Dengan mengikuti panduan di atas, Anda dapat membuat robots.txt yang benar dan efektif untuk mengontrol bagaimana mesin pencari meng-crawl dan mengindeks blog Anda. Pastikan Anda selalu memantau dan memperbarui robots.txt jika diperlukan untuk menjaga performa SEO blog Anda.

Jika Anda memiliki pertanyaan lebih lanjut atau hal lain yang ingin didiskusikan, jangan ragu untuk bertanya.