;
Home robots.txt SEO

Cara Setting robots.txt Di Blogger Beserta Kodenya Dengan Benar

Cara Membuat Dan Mengirim File Robots.txt di Website


buayaberdiri.blogspot.com - Robot.txt adalah file dengan format txt atau text yang isinya digunakan untuk mengatur halaman website atau blog yang dapat dicrawl google. Robot.txt dapat mengizinkan dan melarang halaman website untuk di rayapi oleh bot google di perangkat smartphone atau ponsel dan desktop atau komputer.

Proses crawling halaman website atau blog dapat mempengaruhi cepat atau lamanya pengindeksan di pencarian google.Jadi penggunaan robots.txt ini memiliki peranan yang penting dalam hal SEO website dan menjadi salahsatu teknik SEO yang dilakukan oleh para blogger atau penulis konten artikel,SEO Expert,dan Digital Marketing. 

Cara Setting Robots.txt di Blogspot atau Blogger


Buat kamu yang membangun website atau blog menggunakan paltform blogspot atau blogger,maka kamu dapat menambahkan file robots.txt di settings atau pengaturan yang terletak didasboard blogspot atau blogger.

Langkah-langkah Membuat File Robots,txt di Blogger atau Blogspot :

  1. Buka dashboard blogger atau blogspot
  2. Kemudian buka menu Settings
  3. Kemudian scroll kebawah sampai ketemu Crawlers and Indexing
  4. Setelah itu beri centang pada Enable Custom Robots.txt
  5. Lalu klik pada custom robots.txt
  6. Kemudian isi seperti ini :

    User-agent: Mediapartners-Google
Disallow:
 
User-agent: *
Disallow: 
Allow: /
 
Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml



file robots.txt diatas adalah file yang paling aman digunakan untuk SEO,akan tetapi kode robots.txt diatas mengizinkan semua file untuk di crawl oleh google.Menurut John Mueller kode diatas akan membuat google mengizinkan menampilkan semua iklan pada pengunjung yang masuk ke semua halaman website anda.Tentu ini akan membuat proses crawling menjadi lebih lama,kamu bisa melarang atau block beberapa halaman yang tidak perlu di rayapi bot google seperti URL blog yang diawali dengan /search/ 

Contoh URL yang tidak perlu dirayapi oleh bot google :

  1. https://buayaberdiri.blogspot.com/search/label/Windows
  2. https://buayaberdiri.blogspot.com/search/label/SEO
  3. Dan lain-lain

Maka kamu bisa menggunakan file robots.txt yang memblokir atau melarang halaman yang diawali /search/ dengan cara seperti ini :

User-agent: Mediapartners-Google
Disallow:/search/
 
User-agent: *
Disallow: 
Allow: /
 
Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml



Jika kamu ingin melarang Googlebot untuk merayapi halaman tertentu website kamu,sebagai contoh kamu ingin melarang crawling pada salahsatu artikel  dan halaman blog seperti ini :
  1. https://buayaberdiri.blogspot.com/2021/10/ubersuggest-tools-cara-riset-keyword.html
  2. https://buayaberdiri.blogspot.com/p/about-us-buayaberdiriblogspotcom-team.html

Maka bisa membuat file robots.txt seperti ini :

User-agent: Googlebot
Disallow:/2021/10/ubersuggest-tools-cara-riset-keyword.html
Disallow:/p/about-us-buayaberdiriblogspotcom-team.html
 
User-agent: *
Disallow: 
Allow: /
 
Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml


Jika kamu ingin mengizinkan semua halaman website di crawl oleh Googlebot maka kamu bisa mengirim atau membuat robots.txt dibawah ini :


User-agent: Googlebot
Disallow:
 
User-agent: *
Disallow: 
Allow: /
 
Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml


Jika kamu ingin Google Gambar tidak merayapi salahsatu gambar yang ada di halaman artikel yang kamu buat,maka kamu bisa menggunakan robots.txt untuk melarang atau memblokir URL gambar yang ada di halaman artikel tersebut dengan cara seperti ini :


User-agent: Googlebot-Image
Disallow:/1.bp.blogspot.com/-DHjDVSYMjN4/YWabYL2d2CI/AAAAAAAAJ6A/O08eCpEojE0h7W0oAFYngMh57KZxXvBmACLcBGAsYHQ/w640-h240/Riset%2BSEO%2BKeywords%2BRangking%2Bdi%2BUbersuggest%2BNeil%2BPatel%2B%2528buayaberdiri.blogspot.com%2529.png/
 
User-agent: *
Disallow: 
Allow: /
 
Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml


Jika kamu ingin mengizin semua gambar di rayapi atau di crawl oleh bot google image ,maka kamu bisa membuat file robots.txt seperti ini :


User-agent: Googlebot-Image
Disallow:

User-agent: *
Disallow: 
Allow: /
 
Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml




Sepertinya mudah bukan untuk membuat file robots.txt di blogspot atau blogger ? dengan membuat robots.txt kita dapat mengatur halaman mana saja yang boleh dicrawl oleh google iklan,bot google dan bot google image.


Cara Menguji File Robots.txt Blogspot atau Blogger


Sekarang kamu bisa mengetes apakah robots.txt sudah benar atau tidak dan apakah terjadi error pada file robots.txt yang kamu buat di pengaturan blogger.

Untuk melihat atau mengetahui apakah file robots.txt kamu sudah bekerja atau belum,kamu dapat mengunjungi di root domain blog di google seperti ini :

contoh : 

https://buayaberdiri.blogspot.com/robots.txt

Maka tampilannya akan seperti dibawah ini :



Cara Melihat File Robots.txt blog di google chrome


Penutup


Demikian informasi tentang bagaimana cara menulis kode untuk file robots.txt dengan mudah dan untuk membuat website kita lebih SEO dan dapat meningkatkan cepat atau lambatnya proses pengindeksan halaman website atau artikel dan gambar tertentu.

Semoga informasi ini dapat membuat kamu,Gbu :)





List of Article Posts https://buayaberdiri.blogspot.com

Jamal Thursday, October 14, 2021 Tags: robots.txt, SEO