Cara Membuat Dan Mengirim File Robots.txt di Website
buayaberdiri.blogspot.com - Robot.txt adalah file dengan format txt atau text yang isinya digunakan untuk mengatur halaman website atau blog yang dapat dicrawl google. Robot.txt dapat mengizinkan dan melarang halaman website untuk di rayapi oleh bot google di perangkat smartphone atau ponsel dan desktop atau komputer.
Proses crawling halaman website atau blog dapat mempengaruhi cepat atau lamanya pengindeksan di pencarian google.Jadi penggunaan robots.txt ini memiliki peranan yang penting dalam hal SEO website dan menjadi salahsatu teknik SEO yang dilakukan oleh para blogger atau penulis konten artikel,SEO Expert,dan Digital Marketing.
Cara Setting Robots.txt di Blogspot atau Blogger
Buat kamu yang membangun website atau blog menggunakan paltform blogspot atau blogger,maka kamu dapat menambahkan file robots.txt di settings atau pengaturan yang terletak didasboard blogspot atau blogger.
Langkah-langkah Membuat File Robots,txt di Blogger atau Blogspot :
- Buka dashboard blogger atau blogspot
- Kemudian buka menu Settings
- Kemudian scroll kebawah sampai ketemu Crawlers and Indexing
- Setelah itu beri centang pada Enable Custom Robots.txt
- Lalu klik pada custom robots.txt
- Kemudian isi seperti ini :
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: Allow: / Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml
file robots.txt diatas adalah file yang paling aman digunakan untuk SEO,akan tetapi kode robots.txt diatas mengizinkan semua file untuk di crawl oleh google.Menurut John Mueller kode diatas akan membuat google mengizinkan menampilkan semua iklan pada pengunjung yang masuk ke semua halaman website anda.Tentu ini akan membuat proses crawling menjadi lebih lama,kamu bisa melarang atau block beberapa halaman yang tidak perlu di rayapi bot google seperti URL blog yang diawali dengan /search/
Contoh URL yang tidak perlu dirayapi oleh bot google :
- https://buayaberdiri.blogspot.com/search/label/Windows
- https://buayaberdiri.blogspot.com/search/label/SEO
- Dan lain-lain
Maka kamu bisa menggunakan file robots.txt yang memblokir atau melarang halaman yang diawali /search/ dengan cara seperti ini :
User-agent: Mediapartners-Google Disallow:/search/ User-agent: * Disallow: Allow: / Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml
Jika kamu ingin melarang Googlebot untuk merayapi halaman tertentu website kamu,sebagai contoh kamu ingin melarang crawling pada salahsatu artikel dan halaman blog seperti ini :
- https://buayaberdiri.blogspot.com/2021/10/ubersuggest-tools-cara-riset-keyword.html
- https://buayaberdiri.blogspot.com/p/about-us-buayaberdiriblogspotcom-team.html
Maka bisa membuat file robots.txt seperti ini :
User-agent: Googlebot Disallow:/2021/10/ubersuggest-tools-cara-riset-keyword.html
Disallow:/p/about-us-buayaberdiriblogspotcom-team.html User-agent: * Disallow: Allow: / Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml
Jika kamu ingin mengizinkan semua halaman website di crawl oleh Googlebot maka kamu bisa mengirim atau membuat robots.txt dibawah ini :
User-agent: Googlebot Disallow: User-agent: * Disallow: Allow: / Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml
Jika kamu ingin Google Gambar tidak merayapi salahsatu gambar yang ada di halaman artikel yang kamu buat,maka kamu bisa menggunakan robots.txt untuk melarang atau memblokir URL gambar yang ada di halaman artikel tersebut dengan cara seperti ini :
User-agent: Googlebot-Image Disallow:/1.bp.blogspot.com/-DHjDVSYMjN4/YWabYL2d2CI/AAAAAAAAJ6A/O08eCpEojE0h7W0oAFYngMh57KZxXvBmACLcBGAsYHQ/w640-h240/Riset%2BSEO%2BKeywords%2BRangking%2Bdi%2BUbersuggest%2BNeil%2BPatel%2B%2528buayaberdiri.blogspot.com%2529.png/ User-agent: * Disallow: Allow: / Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml
Jika kamu ingin mengizin semua gambar di rayapi atau di crawl oleh bot google image ,maka kamu bisa membuat file robots.txt seperti ini :
User-agent: Googlebot-Image Disallow: User-agent: * Disallow: Allow: / Sitemap: https://buayaberdiri.blogspot.com/sitemap.xml
Sepertinya mudah bukan untuk membuat file robots.txt di blogspot atau blogger ? dengan membuat robots.txt kita dapat mengatur halaman mana saja yang boleh dicrawl oleh google iklan,bot google dan bot google image.
Cara Menguji File Robots.txt Blogspot atau Blogger
Sekarang kamu bisa mengetes apakah robots.txt sudah benar atau tidak dan apakah terjadi error pada file robots.txt yang kamu buat di pengaturan blogger.
Untuk melihat atau mengetahui apakah file robots.txt kamu sudah bekerja atau belum,kamu dapat mengunjungi di root domain blog di google seperti ini :
contoh :
https://buayaberdiri.blogspot.com/robots.txt
Maka tampilannya akan seperti dibawah ini :
Penutup
Demikian informasi tentang bagaimana cara menulis kode untuk file robots.txt dengan mudah dan untuk membuat website kita lebih SEO dan dapat meningkatkan cepat atau lambatnya proses pengindeksan halaman website atau artikel dan gambar tertentu.
Semoga informasi ini dapat membuat kamu,Gbu :)