Duuuh galaunya hati ini karena blog tercinta yang sudah saya urus hampir mau setaun ini, banyak masalah melandanya. Masalah datang bertubi-tubi karena kenekatan sang admin.. hidup sang admin.. (loh ko?)
Yaah kemarin Duplikat deskripsi akibat arsip yang menimpa. Sekarang duplikat deskripsi akibat label blog menimpa. saya hanya ingin berbagi untuk para blogger yang haus ilmu SEO dan seluk beluknya dan ini adalah murni dari eksperimen saya. anda juga boleh menyebarkan artikel ini asal jangan lupa mencatumkan sumber.
*artikel ini hanya untuk blogger dan website developer.
Sebenarnya masalah ini tidak akan dialami oleh kalian yang belum pernah menyentuh 'robot.txt' (apalagi yang ga tau). ya, jadi masalah ini terjadi karena kesalahan saya pas setting robot.txt buat benerin masalah yang sebelumnya > duplikat karena widget arsip. intinya di artikel ini saya hanya memberi tahu agar anda tidak salah pas setting robot.txt.. oke langsung to the point aja yaah..
*kenapa saya menyalahkan widget label sebagai 'oknum' penduplikat deskripsi ? inilah sebabnya > lihat gambar di bawah gan :
url-url label di atas adalah url yang saya temukan di daftar duplikat deskripsi di google webmaster
1. sumber masalah
sumber masalahnya sebenarnya sepele.. hanya karena kecerobohan saya dalam memilih trik saat googling, terlalu berlebihan dalam mengatasi masalah, dan rasa ingin tahu yang kuat. waktu itu saya mensetting robot.txt seperti pada gambar di bawah ini :
tips settng ini saya dapatkan saat googling. arti kode disallow: /search?update-min= dan disallow: /search?update-max= , adalah untuk mengintruksikan agar mesin pencari tidak mengindeks halaman dengan awal url yang seperti itu (/search?update-min= dan /search?update-max= adalah awal dari url arsip)..*trik ini salah dan jangan dipraktekkan bila tidak ingin seperti saya. Sebenarnya dalam intruksinya, kita tidak harus memakai dissalow: /search. Namun karena rasa ingin tahu dan supaya mesin pencari tidak mencrawl setiap url dengan awal /search maka saya tetap memakainya.
2. Logika masalahnya.
karena pada robot.txt ditambahkan kode disallow: /search?update-min= dan disallow: /search?update-max=, ternyata Kode disallow: /search tetap diabaikan oleh mesin pencari karena sudah ada yang lebih spesifik yaitu kode disallow: /search?update-min= dan disallow: /search?update-max=, Nah inilah masalahnya. karena mesin pencari sudah diinstruksikan untuk hanya mengnoncrawl /search?update-min= dan /search?update-max=, maka url dengan awalan /search lainnya jadi tercrawl dan terindex. url dengan awalan itu di antaranya adalah /search/label/. jadi, karena hal inilah label terindex dan membuat duplikat deskripsi. Seperti yang saya katakan di posting sebelumnya yaitu arsip widget sebabkan duplikat konten, halaman label tidak memiliki deskripsi tersendiri sehingga memakai deskripsi homepage dan membuat duplikat.
*default robot.txt di blogger adalah seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: (url blog anda)/feeds/posts/default?orderby=UPDATED
hati-hati dalam mengubah setting ini, karena kesalahan pada setting file robots.txt dapat menyebabkan blog/website anda hilang dari mesin pencari
*default robot.txt di blogger adalah seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: (url blog anda)/feeds/posts/default?orderby=UPDATED
hati-hati dalam mengubah setting ini, karena kesalahan pada setting file robots.txt dapat menyebabkan blog/website anda hilang dari mesin pencari
3. saya mengatasinya dengan...
Menurut logika dan pengetahuan saya(yang terbukti benar menurut percobaan dan kata master SEO) akan robot.txt, saya memutuskan untuk menghapus kode disallow: /search?update-min= dan disallow: /search?update-max= pada file robot.txt.. jadi saat ini kodenya seperti semula lagi yaitu : Disallow:/search saja yang kalau di artikan adalah untuk menonindex url dengan awalan www.blogberbagi.com/search/
jadi, sekarang label tidak akan terindex lagi.
*catatan : walaupun cara di atas belum terbukti secara percobaan, namun saya bisa mempertanggungjawabkannya dengan variabel-variabel lain yang sangat bersangkutan erat dengan cara ini.saya akan memberitahu benar tidaknya cara ini setelah berhasil atau tidak, sekedar untuk lebih kuat bukti kebenarannya saja.
PS : jangan takut mencoba sesuatu yang tidak anda ketahui walaupun itu salah.. Nekatlah seperti saya hehehehe :p.. dan belajarlah dari kesalahan
Semoga bermanfaat dan keep happy blogging :)
PS : jangan takut mencoba sesuatu yang tidak anda ketahui walaupun itu salah.. Nekatlah seperti saya hehehehe :p.. dan belajarlah dari kesalahan
Semoga bermanfaat dan keep happy blogging :)
Share ke :
Sip mas, saya juga udah beralih ke template deafult blogger saja. dengan menggunakan template standart, resiko duplilat konten gak separah kalau mau modif template. mending yang alami saja mas
BalasHapus@Heru Prasetyo: Mas heru, sebenernya ini ngga ada hubunganya dengan template.. ini file robots.txt..
BalasHapusYaah, memang kalo kita cuma nyari aman aja, mening ga usah oprak-oprek default dari bloggernya, cuman kalo kita pengen punya pengalaman lebih.. mau ga mau harus berani kya agitu walaupun jadinya malah jelek sama kita.. tapi yang paling penting itu ilmunya mas :)
Sebelumnya saya ucapkan terimakasih atas pengalaman Anda ini,
BalasHapusKemaren saya sendiri juga mengubah robots.txt dengan menambahkan disallow : /search/?update bla bla..
beruntung saya membaca artikel ini jadi saya kembalikan ke mode default , takut terjadi bom error duplikat .. sekali lagi thx Gan, Salam sukses
Ane juga ngalamin gan dan url yang terditeksi duplikat seperti ini /search?updated-max=2016-04-09T06:02:00-07:00&max-results=1&reverse-paginate=true
BalasHapusMohon bantuannya gan..