SEO Spammer Membuat Google Makin Lambat Melakukan Crawling & Indexing Setiap URL
Belakangan, para praktisi SEO dan pemilik website mengeluhkan Google yang semakin lambat meng-index konten mereka. Siapa sangka, ini disebabkan ulah para SEO spammer, yang membuat Google harus bekerja keras dan memilih URL mana yang mau di-index dan di-crawl.
Google mengatakan bahwa tidak ada cara secara objektif bagi Google untuk melakukan crawling ke semua URL di web, karena crawling itu mahal dan bisa menjadi tidak efisien. Selain itu, website di seluruh penjuru Internet berubah dengan sangat cepat, dan ada banyak sekali konten spam dan sampah yang harus diperhatikan oleh Google agar bisa diabaikan.
Lambatnya Crawling & Indexing Google Beberapa Waktu Terakhir
Bermacam-macam diskusi di berbagai forum praktisi SEO, blogger, dan pemilik website, hingga observasi pribadi penulis, mengeluhkan hal serupa: beberapa bulan terakhir Google semakin lambat melakukan crawling & indexing website kita. Posting konten hari ini, baru muncul di Google SERP beberapa hari kemudian.
Begitu URL-nya dicek di Google Search Console, statusnya Crawled – currently not indexed (di-crawl – saat ini tidak diindeks). Status ini menunjukkan bahwa halaman telah di-crawl oleh Google, tetapi tidak diindeks.
Atau lebih parah lagi, statusnya Discovered – currently not indexed (ditemukan – saat ini tidak diindeks). Google sudah tahu ada URL halaman tersebut, tapi boro-boro masuk ke index, Google saja tidak mau masuk dan crawl halaman itu.
Penulis sendiri merasakan hal ini paling parah terjadi pada website yang relatif masih baru. Setelah seminggu, baru 2 dari 10 konten yang dibuat minggu lalu masuk di index Google!
Tidak ada keterangan mengenai apa yang harus dilakukan kalau halaman kita berada dalam kondisi ini. Laman bantuan Google Search Console hanya menyebutkan hal seperti ini:
Discovered – currently not indexed (Ditemukan – saat ini tidak diindeks): [..] Biasanya, Google ingin meng-crawl URL, tetapi hal ini diperkirakan akan membebani situs. Oleh karena itu, Google menjadwalkan ulang crawl.
Crawled – currently not indexed (Di-crawl – saat ini tidak diindeks): [..] Halaman ini mungkin diindeks atau mungkin tidak diindeks di masa mendatang; tidak perlu mengirim ulang URL ini untuk crawling.
Baca juga:
Apakah SEO hemat biaya pada tahun 2023?
Bahkan Google mengatakan bahwa keadaan ini bisa saja bertahan selamanya, tanpa kejelasan apa yang harus kita lakukan!
John Mueller dari Google: Mengapa Google Tidak Meng-Crawl & Meng-Index Semua URL
Dalam sebuah forum diskusi di Reddit, John Mueller, Search Advocate di Google, menjawab pertanyaan, “mengapa tools SEO tidak menunjukkan semua backlinks?”
John Mueller menjawab dari sudut pandang Google, sebagai berikut.
Tidak ada cara yang objektif untuk bisa meng-crawl seluruh website dengan baik.
Secara teori, tidak mungkin ada yang bisa meng-crawl seluruh website, karena jumlah URL yang ada di seluruh Internet itu bisa dibilang tidak terbatas.
Karena tidak ada satupun yang sanggup menyimpan jumlah URL yang tidak terbatas itu di database mereka (yang terbatas, -red), semua web crawler menggunakan asumsi, simplifikasi, dan menebak mana URL yang secara realistis berharga untuk di-crawl.
Walaupun demikian, pada prakteknya kami tidak bisa melakukan crawl seluruh URL setiap saat, karena the internet tidak punya cukup bandwidth dan konektivitas untuk itu.
Akan menghabiskan banyak sekali uang (bagi crawler dan bagi pemilik situs) jika kami meng-crawl banyak halaman secara teratur.
Di luar itu, ada website yang berubah dengan cepat, sementara yang lain tidak berubah selama 10 tahun. Jadi crawlers mencoba untuk fokus di website yang mereka perkirakan akan berubah isinya dibanding dengan yang tidak.
Kemudian, kita bersentuhan dengan isu crawler yang berusaha untuk mengetahui halaman-halaman mana yang sebenarnya berguna (untuk users).
Internet dipenuhi oleh sampah yang orang tidak pedulikan, halaman yang spam dan tidak berguna.
Situs-situs ini mungkin masih berubah secara regular. Mereka punya URL yang wajar, tapi situs seperti ini ditakdirkan untuk berakhir di “tempat sampah”, dan search engine apapun yang peduli dengan user mereka pasti akan mengabaikan situs seperti itu.
Kadangkala, kami menemukan situs yang jelas-jelas bukan sampah/spam. Secara teknis, situsnya OK, hanya saja tidak mencapai level standar kualitas yang kami inginkan untuk bisa di-crawl lebih sering. Semakin sering kami menemukan situs seperti itu.
Oleh karena itu, semua crawler (termasuk SEO tools) bekerja dalam kumpulan URL yang disederhanakan. Kami harus menentukan seberapa sering melakukan crawling, URL mana yang harus di-crawl lebih sering, dan bagian mana di Internet yang harus diabaikan.
Tidak ada aturan yang pasti dalam hal ini, jadi setiap tool harus membuat keputusan mereka sendiri. Itulah mengapa search engine yang berbeda punya website yang berbeda dalam index-nya, mengapa beda SEO tools beda pula links yang ditampilkan, dan mengapa metrics dari links tersebut juga sangat berbeda.
SEO Spammer Membuat Susah Google dan Semua Pemilik Website di Dunia
Satu bagian dari jawaban John Mueller menarik untuk disorot, yaitu bagian yang menyoroti halaman-halaman sampah, spam, dan tidak berguna:
Internet dipenuhi oleh sampah yang orang tidak pedulikan, halaman yang spam dan tidak berguna.
Oleh karena itu, semua crawler (termasuk SEO tools) bekerja dalam kumpulan URL yang disederhanakan. Kami harus menentukan seberapa sering melakukan crawling, URL mana yang harus di-crawl lebih sering, dan bagian mana di Internet yang harus diabaikan.
Google menunjukkan bahwa semakin banyak halaman website yang ada di penjuru Internet, semakin berat kerja search engine untuk meng-crawl semua halaman itu. Ditambah lagi, banyak sekali konten-konten itu masuk klasifikasi konten sampah dan tidak berguna.
Secara langsung, hal ini membuat Google harus memilih URL mana yang mau di-crawl. Secara tidak langsung, hal ini membuat kita semua yang memiliki konten yang kita niatkan berguna untuk users jadi “kena getahnya”.
Konten kita jadi semakin jarang di-crawl Google, karena Google harus terlebih dahulu memilah mana konten yang berguna, mana yang tidak berguna, sebelum datang untuk melakukan crawling.
Bayangkan kalau halaman-halaman yang ada di Internet adalah konten yang berguna. Mungkin search engine tidak harus memilah-milah dulu sehingga bisa crawling semua halaman di Internet.
Baca juga:
Panduan SEO YouTube Terbaru 2023
SEO spammer adalah pihak yang harus bertanggung jawab atas melimpahnya konten sampah di Internet yang memunculkan masalah crawling & indexing ini. Mereka adalah orang-orang yang mengakali search engine supaya website mereka bisa ranking tinggi di SERP, agar bisa mendapatkan uang dari Internet, dengan cara membuat banyak sampah, misalnya:
1. Website auto-generated
Website seperti ini melakukan scrapping atau mencuri konten dari website lain, baik tulisan maupun gambar, lalu dijadikan konten di website-nya sendiri.
Tujuannya apa? Supaya mereka bisa punya website dengan konten, tapi tidak mau repot-repot menulis atau membuat konten. Website tersebut akan dipasangi iklan, sehingga mereka mendapat uang dari traffic yang masuk ke konten sampah tersebut.
2. Auto generate konten artikel (article spin)
Dengan menggunakan sebuah software, kita bisa menghasilkan ratusan hingga ribuan konten unik hanya dengan sekali klik. Pertanyaannya, apakah konten yang dihasilkan berguna untuk user? Jawabannya: tidak. Jangankan berguna, artikel yang dihasilkan oleh mesin seperti ini bahkan tidak bisa dibaca.
3. Backlink spam
Kita tahu backlink penting untuk meningkatkan ranking. Akan tetapi, search engine sudah memiliki panduan mengenai link yang terlarang, yang sayangnya tidak dipatuhi oleh para pemain SEO.
4. Jasa meningkatkan Domain Authority (DA) atau Domain Rating (DR)
Merupakan salah satu salah kaprah terbesar bagi para pemilik website, memiliki DA atau DR tinggi dianggap akan mempermudah mendapatkan ranking tinggi di search engine. Padahal Moz sendiri sebagai pembuat metrics DA menyatakan bahwa Domain Authority bukanlah Google ranking factor dan tidak ada efeknya di Search Engine Result Page Google.
Secara teknis, jasa meningkatkan DA ini menggunakan backlink spam juga, tapi berfokus di meningkatkan nilai DA secara artifisial.
Penutup
Berhati-hatilah dengan teknik dan strategi optimasi yang dipelajari dan dijalankan. Teknik tertentu mungkin bisa meningkatkan ranking dalam jangka waktu pendek, tapi malah merugikan banyak orang dalam jangka waktu panjangnya.
Contohnya adalah teknik spamming yang sudah tidak membawa manfaat bagi user, malah memperlambat kerja search engine karena harus memilih URL mana yang harus di-index dan di-crawl.
Hal ini menyulitkan pemilik website yang punya konten yang betul-betul berguna buat user, karena tidak bisa membuat kontennya ter-index di SERP secepat dulu lagi.
SEO sejatinya adalah membantu manusia dan mesin, bukan sekedar teknik untuk mengakali algoritma search engine hanya demi ranking yang tinggi sesaat, tapi sebenarnya merusak untuk jangka panjang. Setuju?
Sumber : https://www.dailyseo.id