Apakah Anda tahu cara setting robots txt di website? Robot txt ini penting sekali Anda setting / atur karena ini berkaitan dengan indexing pada mesin pencari (search engine). Bila Anda mau tahu caranya, silakan simak artikel ini hingga selesai.
Robots.txt
Pemilik website pasti pun menginginkan website miliknya ada di peringkat atas pencarian Google. Tapi, mesin pencari Google tak dapat membedakan halaman mana yang boleh dan tak boleh diindeks.
Supaya halaman tiap website bisa terindeks dengan rapi dan membatasi halaman yang tak boleh diindeks, Anda memerlukan file robots.txt. Lalu apa itu robots.txt dan bagaimana cara setting robots txt di website?
Sebelum membahasnya, Anda harus tahu dengan memberikan robots.txt pada website, maka anda sedang memberikan tanda ke Google. Yaitu memberi tanda ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks Google.
Selain itu robots.txt pun berguna untuk SEO. Di mana setiap artikel di website kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google.
Tujuannya yaitu untuk menaikan peringkat website di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur.
Apa itu Robots.txt?
Robots.txt merupakan sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Istilah mudahnya yaitu sebagai jalan atau tanda yang dipakai website untuk menunjukkan jalan kepada mesin pencari.
Saat membuat website baru maka harus dihubungkan dengan Google Search Console (GSC). Setelah terhubung dengan GSC maka setiap halaman website akan di crawl oleh Google dan muncul di hasil pencarian.
Google akan melakukan pendataan sesuai dengan kata kunci yang ada pada website dan lain sebagainya.
Robots.txt bertugas untuk memisahkan halaman yang tak mau Anda tampilkan ke dalam mesin pencari. Karena meskipun tak ada file ini Google tetap akan melakukan proses ‘crawl’ hingga keseluruhan halaman yang ada di website.
Selain itu robots.txt pun bertugas untuk menghalangi beberapa website pencari supaya tak melakukan crawl website. Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh website.
Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman website mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga dapat menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google.
Letak File Robots.txt
File robots.txt sebenarnya telah ada di dalam folder root pada server penyimpanan file website atau yang biasa disebut dengan public_html. Hanya saja robots.txt adalah file virtual yang tak dapat diakses ataupun diganti lewat direktori manapun.
Jadi, saat Anda membuka halaman public_html maka tak ditemukan file robots.txt di sana. Supaya bisa memodifikasi rule atau melakukan setting robots txt harus menambahkan file baru di sana.
Anda bisa membuat sendiri file robots.txt lalu diletakkan di dalam folder public_html dan memasukkan skrip konfigurasi secara manual. File baru yang dibuat bertugas jadi file replacement yang nantinya akan menimpa file konfigurasi yang telah ada.
Rule File Robots.txt di WordPress
Konfigurasi atau setting robots txt termasuk cukup simpel disebabkan hanya ada beberapa perintah saja yang dibutuhkan. Berikut ini contoh dari konfigurasi file robots.txt yang bisa Anda terapkan :
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Atau Anda bisa menambahkan beberapa konfigurasi lain untuk mengizinkan beberapa website pencari untuk melakukan ‘crawl’. Anda cukup menambahkan beberapa baris skrip di file robots.txt, seperti dibawah ini :
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://ternakwebsite.com/sitemap_index.xml
Keterangan:
- User-agent : bagian ini dipakai untuk mendeskripsikan rule jenis / nama robot.
- Allow : untuk menambahkan bagian mana yang bisa diakses oleh robot.
- Disallow : untuk mendeskripsikan bagian yang tak boleh diakses oleh robot.
Skrip di atas merupakan contoh dari robots.txt yang dipakai untuk mengarahkan mesin pencari untuk pemindaian isi dari website. Anda bisa mengatur skrip tersebut sesuai dengan kebutuhan.
Misalnya :
Bila ada halaman forum, maka yang harus dilakukan yaitu disallow folder forum. Hal ini supaya tak terbaca dan tak muncul pada halaman pencarian oleh mesin pencarian. Bisa jadi bila tak disallow maka seluruh thread yang ada di dalam forum tersebut akan terindeks.
Cara Setting Robots TXT di Website
Ada beberapa cara yang bisa Anda lakukan untuk mengaktifkan Robot TXT di website. Cara yang paling simpel dan tak butuh tambahan plugin yaitu dengan mengunggah file robots.txt secara manual.
Setidaknya akan ada beberapa cara yang bisa Anda lakukan untuk setting robots txt di website, yaitu :
a. Mengunggah Manual File Robots.txt
Cara setting robots txt di website yang pertama yaitu dengan mengunggahnya secara manual dengan :
- memakai FTP, atau
- melakukan akses ke panel hosting.
Berikut langkah-langkah setting file robot.txt secara manual
1. Membuat File Robots.txt
Anda bisa membuat lebih dulu file robots.txt memakai aplikasi note di perangkat desktop, misalnya :
- atom,
- notepad++,
- sublime text,
- dan sebagainya.
Masukkan rule ke dalam file robots.txt lalu klik Save.
2. Mengunggah File Robots.txt ke Server Hosting
Setelah langkah di atas selesai, Anda bisa mengunggah file robot.txt tersebut melalui panel admin layanan hosting (cPanel).
b. Menggunakan Plugin
Ada beberapa plugin yang bisa Anda pilih untuk melakukan setting robots txt :
1) Plugin All in One SEO Pack
Berikut cara setting robots txt dengan menggunakan plugin All in One SEO Pack :
1. Instal All in One SEO Pack
Anda harus melakukan instalasi plugin All in One SEO Pack bila belum melakukan proses instalasi. Jangan lupa mengaktifkannya setelah proses download selesai.
2. Feature Manager
Setelah proses instalasi selesai, lalu masuk ke dalam menu All in One SEO. Setelah itu, aktifkan fitur robots.txt yang ada di dalamnya.
Di dalam plugin ini ada beberapa fitur yang bisa Anda manfaatkan sekaligus. Jadi tak perlu melakukan instalasi plugin yang lainnya.
3. Klik Robots.txt
Ketika robots.txt telah aktif, Anda akan melihat pilihan menu robots.txt di panel (cPanel). Lalu klik menu tersebut dan Anda akan diarahkan pada menu robots.txt.
Di dalam menu ini Anda bisa menambahkan user-agent, rule, dan directory-path yang akan dimasukkan ke dalam file.
4. Menambahkan Rule
Anda tak perlu khawatir dalam menambahkan rule di dalam plugin, sebab bisa menghapusnya sewaktu-waktu. Tinggal sesuaikan saja pengaturan yang Anda mau dan sesuaikan dengan mesin pencari.
2) Plugin Yoast SEO
Cara setting robots txt di website lainnya yaitu dengan menggunakan plugin Yoast SEO. Plugin Yoast SEO fungsinya hampir sama dengan plugin All in One SEO Pack. Berikut ini langkah-langkah yang dibutuhkan untuk setting robots.txt di WordPress.
1. Instal Plugin
Langkah pertama yang harus dilakukan tentu saja melakukan instalasi plugin Yoast SEO.
2. Masuk ke Halaman Tools
Setelah terinstal, navigasikan menu menuju ke SEO >> Tools. Pada halaman ini akan ada beberapa pilihan yang muncul, lalu klik File Editor.
3. Membuat File Robots.txt
Pada halaman berikutnya akan ada pilihan untuk membuat robots.txt baru (Create a New Robots.txt). Pada halaman ini, masukkan rule yang mau Anda terapkan pada website. Anda bisa menyesuaikan dengan kebutuhan website Anda masing-masing.
Submit ke Google Search Console
Anda bisa memastikan bila file robots.txt yang telah dibuat memang benar dan memastikan tak ada error yang muncul. Pengecekan dapat dilakukan dengan memakai Google Search Console (GSC).
Saatnya Setting Robots txt di Website Anda Sekarang!
Robots.txt bisa memudahkan Google untuk menentukan halaman mana saja yang boleh dan bisa untuk di crawl. Selain itu robots.txt pun memberikan arahan atau petunjuk jalan supaya Google melakukan crawl pada file atau folder tertentu.
Cara setting robots txt di website pun tak terlalu rumit. Caranya juga bermacam-macam sehingga dapat Anda pilih sesuai dengan pemahaman Anda.
Namun cara yang paling sederhana yaitu dengan memakai plugin. Ketika memakai plugin pengguna tak perlu mengetikkan kode program atau rule robots.txt secara manual.
Demikian info perihal cara setting robots txt di website, semoga post kali ini bermanfaat buat kawan-kawan semua. Tolong postingan tutorial website ini dishare biar semakin banyak yang mendapat manfaat.
