Lebih Mengenal Apa itu Robots.txt Pada Website

Robots.txt bukan hal yang baru bagi anda yang berkecimpung di dunia website, blog, dan hosting, tapi banyak orang yang masih belum memahami apa itu robots.txt padahal penting diketahui karena menyangkut keamanan dan SEO.

Bagi blogger pemula mungkin saja masih cuek dengan beberapa dampak yang akan datang, seperti dapat serangan jingling, optimasi search engine jelek dan sebagainya. Mari kita simak penjelasan berikut ini agar anda lebih mengoptimalkan pengaturan pada blog atau website.

Lebih Mengenal Apa itu Robots.txt Pada Website


Apa itu Robots.txt?

Sebelum membahas lebih jauh lebih baik kita cari tau dulu, robots.txt itu yang seperti apa, sebenarnya robots.txt itu adalah nama sebuah file berukuran kecil dan sangat sederhana, tetapi memiliki fungsi yang baik untuk website atau blog jika diterapkan.

Fungsi dari Robots.txt

Robots.txt bekerja sebagai kontrol terhadap segala yang mengindex website atau blog kita, misalnya robot milik google dibolehkan untuk mengindex sedangkan robot yang tidak dikenal tidak boleh mengindex. Jadi robots.txt memerintahkan bot milik search engine untuk diindex dan yang tidak boleh diindex oleh robot.

Cara kerja robot search engine adalah mengindex semua informasi yang didapat pada situs kita, tapi dengan anda menerapkan robots.txt dengan settingan yang kita inginkan maka bot search engine tidak bisa melakukan penyerapan seluruh isi website karena ada dibatasi oleh pengaturan yang anda buat pada file robot.txt.

Apakah memasang robots.txt itu penting?


Tidak semuanya mengatakan bahwa memasang robots.txt itu penting, karena berbagai alasan, tapi saya sendiri menganggapnya penting karena beberapa alasan seperti keamanan, jika saya tidak membatasi robot milik google saja sebagai contohnya, ia akan mengindex seluruh informasi yang harusnya tidak boleh diketahui oleh orang lain, khawatir ada penyalahgunaan.

Kemudian alasan berikutnya serangan jingling, apa anda sudah tau dengan istilah tersebut? Jika belum tahu, jingling itu bisa berupa software yang kerjanya bisa mendatangkan visitor dalam waktu cepat. Yang membuat bahaya visitor yang datang itu bukan manusia melainkan bot.

Antisipasi di jigling orang lain.

Dengan menggunakan robots.txt dapat mencegah terjadinya jigling yang dilakukan oleh orang lain, antisipasinya bukan hanya dengan menggunakan robots.txt saja, karena anda harus menahan diri mengirimkan link ke banyak group atau forum-forum khawatir ada yang iseng melakukan jingling pada blog atau website kita.

Resiko yang akan dihadapi yaitu penghapusan seluruh url yang mengarah ke blog kita oleh mesin pencari karena dianggap sebagai tindakan spam oleh google. Perbuatan tersebut jelas akan merugikan anda sebagai pemilik blog, yang sudah susah payah membangun blog malah ada yang iseng orang yang tidak bertanggung jawab.

Berikut ini skrip robots.txt yang sangat simpel untuk blogger;

User-agent: Mediapartners-Google
Disallow: 
User-agent: Googlebot
Allow: /
Disallow: /search
User-agent: *Disallow: /
Sitemap: alamatblog-anda/feeds/posts/default?orderby=UPDATED 

Dengan kita memasang skrip ini semua bot akan ditolak kecuali yang diperbolehkan untuk datang dan mengindex isi blog atau website.

Berikutnya skrip yang robots.txt untuk yang berbasis Wordpress

sitemap: https://www.ganti-dg-domaian-anda.com/post-sitemap.xml
User-agent: *
Allow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Skrip robots.txt akan bekerja dengan sendirinya, jadi tugas anda tinggal memasang saja, tujuan utamanya adalah mengurangi dan mencegah datangnya bot yang sifatnya merugikan.

Sekian dulu artikel lebih mengenal apa itu robots.txt semoga bermanfaat.

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel