Cara Setting Robots TXT di Website

bannerlbo

Apakah Anda tahu cara setting robots txt di website? Robot txt ini penting sekali Anda setting / atur karena ini berkaitan dengan indexing pada mesin pencari (search engine). Bila Anda mau tahu caranya, silakan simak artikel ini hingga selesai.

Setting Robot TXT

Robots.txt

Pemilik website pasti pun menginginkan website miliknya ada di peringkat atas pencarian Google. Tapi, mesin pencari Google tak dapat membedakan halaman mana yang boleh dan tak boleh diindeks.

Supaya halaman tiap website bisa terindeks dengan rapi dan membatasi halaman yang tak boleh diindeks, Anda memerlukan file robots.txt. Lalu apa itu robots.txt dan bagaimana cara setting robots txt di website?

Sebelum membahasnya, Anda harus tahu dengan memberikan robots.txt pada website, maka anda sedang memberikan tanda ke Google. Yaitu memberi tanda ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks Google.

Selain itu robots.txt pun berguna untuk SEO. Di mana setiap artikel di website kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google.

Tujuannya yaitu untuk menaikan peringkat website di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur.

Apa itu Robots.txt?

Robots.txt merupakan sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Istilah mudahnya yaitu sebagai jalan atau tanda yang dipakai website untuk menunjukkan jalan kepada mesin pencari.

Saat membuat website baru maka harus dihubungkan dengan Google Search Console (GSC). Setelah terhubung dengan GSC maka setiap halaman website akan di crawl oleh Google dan muncul di hasil pencarian.

Google akan melakukan pendataan sesuai dengan kata kunci yang ada pada website dan lain sebagainya.

Robots.txt bertugas untuk memisahkan halaman yang tak mau Anda tampilkan ke dalam mesin pencari. Karena meskipun tak ada file ini Google tetap akan melakukan proses ‘crawl’ hingga keseluruhan halaman yang ada di website.

Selain itu robots.txt pun bertugas untuk menghalangi beberapa website pencari supaya tak melakukan crawl website. Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh website.

Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman website mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga dapat menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google.

Letak File Robots.txt

File robots.txt sebenarnya telah ada di dalam folder root pada server penyimpanan file website atau yang biasa disebut dengan public_html. Hanya saja robots.txt adalah file virtual yang tak dapat diakses ataupun diganti lewat direktori manapun.

Jadi, saat Anda membuka halaman public_html maka tak ditemukan file robots.txt di sana. Supaya bisa memodifikasi rule atau melakukan setting robots txt harus menambahkan file baru di sana.

Anda bisa membuat sendiri file robots.txt lalu diletakkan di dalam folder public_html dan memasukkan skrip konfigurasi secara manual. File baru yang dibuat bertugas jadi file replacement yang nantinya akan menimpa file konfigurasi yang telah ada.

Rule File Robots.txt di WordPress

Konfigurasi atau setting robots txt termasuk cukup simpel disebabkan hanya ada beberapa perintah saja yang dibutuhkan. Berikut ini contoh dari konfigurasi file robots.txt yang bisa Anda terapkan :

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

User-agent: Bingbot

Disallow: /

Atau Anda bisa menambahkan beberapa konfigurasi lain untuk mengizinkan beberapa website pencari untuk melakukan ‘crawl’. Anda cukup menambahkan beberapa baris skrip di file robots.txt, seperti dibawah ini :

User-agent: Mediapartners-Google

Allow: /

User-agent: Adsbot-Google

Allow: /

User-agent: Googlebot-Mobile

Allow: /

Sitemap: https://ternakwebsite.com/sitemap_index.xml

Keterangan:

  • User-agent : bagian ini dipakai untuk mendeskripsikan rule jenis / nama robot.
  • Allow : untuk menambahkan bagian mana yang bisa diakses oleh robot.
  • Disallow : untuk mendeskripsikan bagian yang tak boleh diakses oleh robot.

Skrip di atas merupakan contoh dari robots.txt yang dipakai untuk mengarahkan mesin pencari untuk pemindaian isi dari website. Anda bisa mengatur skrip tersebut sesuai dengan kebutuhan.

Misalnya :

Bila ada halaman forum, maka yang harus dilakukan yaitu disallow folder forum. Hal ini supaya tak terbaca dan tak muncul pada halaman pencarian oleh mesin pencarian. Bisa jadi bila tak disallow maka seluruh thread yang ada di dalam forum tersebut akan terindeks.

Cara Setting Robots TXT di Website

Ada beberapa cara yang bisa Anda lakukan untuk mengaktifkan Robot TXT di website. Cara yang paling simpel dan tak butuh tambahan plugin yaitu dengan mengunggah file robots.txt secara manual.

Setidaknya akan ada beberapa cara yang bisa Anda lakukan untuk setting robots txt di website, yaitu :

a. Mengunggah Manual File Robots.txt

Cara setting robots txt di website yang pertama yaitu dengan mengunggahnya secara manual dengan :

  • memakai FTP, atau
  • melakukan akses ke panel hosting.

Berikut langkah-langkah setting file robot.txt secara manual

1. Membuat File Robots.txt

Anda bisa membuat lebih dulu file robots.txt memakai aplikasi note di perangkat desktop, misalnya :

  • atom,
  • notepad++,
  • sublime text,
  • dan sebagainya.

Masukkan rule ke dalam file robots.txt lalu klik Save.

2. Mengunggah File Robots.txt ke Server Hosting

Setelah langkah di atas selesai, Anda bisa mengunggah file robot.txt tersebut melalui panel admin layanan hosting (cPanel).

b. Menggunakan Plugin

Ada beberapa plugin yang bisa Anda pilih untuk melakukan setting robots txt :

1) Plugin All in One SEO Pack

Berikut cara setting robots txt dengan menggunakan plugin All in One SEO Pack :

1. Instal All in One SEO Pack

Anda harus melakukan instalasi plugin All in One SEO Pack bila belum melakukan proses instalasi. Jangan lupa mengaktifkannya setelah proses download selesai.

2. Feature Manager

Setelah proses instalasi selesai, lalu masuk ke dalam menu All in One SEO. Setelah itu, aktifkan fitur robots.txt yang ada di dalamnya.

Di dalam plugin ini ada beberapa fitur yang bisa Anda manfaatkan sekaligus. Jadi tak perlu melakukan instalasi plugin yang lainnya.

3. Klik Robots.txt

Ketika robots.txt telah aktif, Anda akan melihat pilihan menu robots.txt di panel (cPanel). Lalu klik menu tersebut dan Anda akan diarahkan pada menu robots.txt.

Di dalam menu ini Anda bisa menambahkan user-agent, rule, dan directory-path yang akan dimasukkan ke dalam file.

4. Menambahkan Rule

Anda tak perlu khawatir dalam menambahkan rule di dalam plugin, sebab bisa menghapusnya sewaktu-waktu. Tinggal sesuaikan saja pengaturan yang Anda mau dan sesuaikan dengan mesin pencari.

Cara Setting Yoast SEO

2) Plugin Yoast SEO

Cara setting robots txt di website lainnya yaitu dengan menggunakan plugin Yoast SEO. Plugin Yoast SEO fungsinya hampir sama dengan plugin All in One SEO Pack. Berikut ini langkah-langkah yang dibutuhkan untuk setting robots.txt di WordPress.

1. Instal Plugin

Langkah pertama yang harus dilakukan tentu saja melakukan instalasi plugin Yoast SEO.

2. Masuk ke Halaman Tools

Setelah terinstal, navigasikan menu menuju ke SEO >> Tools. Pada halaman ini akan ada beberapa pilihan yang muncul, lalu klik File Editor.

3. Membuat File Robots.txt

Pada halaman berikutnya akan ada pilihan untuk membuat robots.txt baru (Create a New Robots.txt). Pada halaman ini, masukkan rule yang mau Anda terapkan pada website. Anda bisa menyesuaikan dengan kebutuhan website Anda masing-masing.

Submit ke Google Search Console

Anda bisa memastikan bila file robots.txt yang telah dibuat memang benar dan memastikan tak ada error yang muncul. Pengecekan dapat dilakukan dengan memakai Google Search Console (GSC).

Saatnya Setting Robots txt di Website Anda Sekarang!

Robots.txt bisa memudahkan Google untuk menentukan halaman mana saja yang boleh dan bisa untuk di crawl. Selain itu robots.txt pun memberikan arahan atau petunjuk jalan supaya Google melakukan crawl pada file atau folder tertentu.

Cara setting robots txt di website pun tak terlalu rumit. Caranya juga bermacam-macam sehingga dapat Anda pilih sesuai dengan pemahaman Anda.

Namun cara yang paling sederhana yaitu dengan memakai plugin. Ketika memakai plugin pengguna tak perlu mengetikkan kode program atau rule robots.txt secara manual.

Demikian info perihal cara setting robots txt di website, semoga post kali ini bermanfaat buat kawan-kawan semua. Tolong postingan tutorial website ini dishare biar semakin banyak yang mendapat manfaat.

Ternyata belajar internet itu mengasyikan, apalagi bisa punya penghasilan 20 jutaan per bulan... rasanya gimana gitu... Tapi gimana cara belajarnya?? Klik gambar di bawah untuk dapat solusinya

22793

Leave a Reply

Situs Penerima PPC
Situs Penerima PPC beserta Syarat dan Ketentuannya
Mendapatkan Income dari Program PPC
Mendapatkan Income dari Program PPC untuk Website
Cara Mendaftarkan Website ke UpToPromo
Cara Mendaftarkan Website ke UpToPromo
Cara Mendapatkan Income dari UpToPromo
Cara Mendapatkan Income dari UpToPromo
Bahasa Pemrograman CMS cPanel Domain Hosting Website WordPress
Setting Robot TXT
Cara Setting Robots TXT di Website
Belajar HTML Dasar
Belajar HTML Dasar bagi Pemula Lengkap
Platform Website Terbaik
Platform Website Terbaik bagi Pemula dan Profesional

Dasar SEO

Pengenalan SEO Riset Keyword

Teknik SEO

SEO Off Page SEO On Page Technical SEO

Tips SEO

Copywriting Error Website Tips SEO Lain

Tools SEO

Tools Google Tools Riset KK Tools SEO Lain
Jasa Digital Theme Tools Website Webhosting
Diztro Theme
Diztro Theme Toko Online Indonesia
Olzhop Theme
Olzhop Theme Toko Online Terbaru
Tokow Theme
Tokow Theme Template Toko Online Terbaik untuk WordPress
Struktur Google Ads
Struktur Google Ads untuk Kampanye Iklan
Cara Kerja Google Ads
Cara Kerja Google Ads di Mesin Pencarian
Layanan Google Ads
Layanan Google Ads atau Adwords
Google Keyword Planner
Panen Kata Kunci dengan Google Keyword Planner