Website mới ra mắt mà Google mãi không index hết các trang
Kiến thức thiết kế web và công nghệ nền tảng là thứ nhiều chủ site mới mở còn thiếu. Khi thấy Google chỉ index vài trang, họ thường hoang mang. Website đã có hàng chục bài viết, vậy mà kết quả tìm kiếm vẫn thưa thớt. Chuyện này khá phổ biến, và thường có lời giải khá rõ ràng.
Chúng tôi từng làm việc với một khách hàng bán đồ nội thất. Website chạy được ba tháng với 80 trang. Google Search Console lại chỉ ghi nhận 12 trang đã được index. Nội dung họ làm khá kỹ nên ban đầu ai cũng khó hiểu. Sau khi rà lại, đội ngũ bên mình nhận ra phần lớn trang còn lại gần như không có đường dẫn nào trỏ tới. Google không biết chúng tồn tại.
Bạn có thể kiểm tra tình trạng này khá nhanh. Mở Google Search Console, vào mục Lập chỉ mục rồi chọn Trang. Ở đó liệt kê số trang đã index, số trang bị loại và lý do cụ thể cho từng nhóm. Đọc kỹ phần này sẽ cho bạn biết nên bắt đầu sửa từ đâu.
Phần còn lại thường nằm trong một mục riêng, Search Console gọi là “đã thu thập dữ liệu, hiện chưa lập chỉ mục”. Nói đơn giản, Google đã ghé qua trang đó nhưng chưa quyết định đưa vào kết quả tìm kiếm. Với website mới, hiện tượng này gần như là chuyện bình thường.
Nguyên nhân chúng tôi hay gặp nhất là thiếu sitemap.xml. Có trường hợp sitemap đã có nhưng chưa khai báo đúng chỗ. Một số site khác lại gặp liên kết nội bộ quá rời rạc, khiến Googlebot khó dò ra các trang con. Hai lỗi này thường đi cùng nhau, và gốc rễ vẫn là chủ site chưa hiểu sitemap vận hành ra sao.
Sitemap.xml là gì và vì sao quan trọng với công cụ tìm kiếm
Sitemap.xml là một tệp liệt kê các đường dẫn quan trọng trên website. Tệp được viết theo định dạng mà máy tìm kiếm đọc được. Người dùng bình thường hiếm khi mở ra xem, nhưng với Google nó rất hữu ích.
Hãy hình dung một hiệu sách có hàng nghìn đầu sách. Nếu không có mục lục, khách phải lục từng kệ mới tìm được cuốn cần mua. Sitemap đóng vai trò đó, chỉ khác là được viết cho Googlebot đọc chứ không phải cho con người. Nhờ vậy, máy biết ngay có những trang nào và chúng nằm ở đâu.
Googlebot vẫn có thể thu thập dữ liệu mà không cần sitemap. Tuy vậy, nó sẽ đi theo từng liên kết trên trang. Trang nào không có đường link trỏ tới dễ bị bỏ sót, và trang nằm quá sâu trong menu cũng vậy. Website mới thường ít liên kết nội bộ, nên tình trạng này càng dễ xảy ra.
Dân kỹ thuật hay nhắc tới ngân sách thu thập dữ liệu. Hiểu đơn giản, đó là lượng thời gian Google dành cho website của bạn mỗi ngày. Site càng lớn, ngân sách này càng cần dùng đúng chỗ. Sitemap giúp Google ưu tiên những trang bạn muốn index trước, thay vì mất công dò các trang trùng lặp hoặc ít giá trị với người đọc.
Theo kinh nghiệm của đội ngũ bên mình, một sitemap được khai báo đàng hoàng tạo khác biệt rõ rệt. Khi kết hợp thêm tốc độ tải trang tối ưu theo chuẩn Core Web Vitals, hiệu quả còn rõ hơn. Những site như vậy thường được index trang mới nhanh hơn, có khi chỉ mất vài giờ thay vì cả tuần.
Tạo và khai báo sitemap.xml đúng cách
Phần lớn câu hỏi về sitemap mà bên mình nhận được đều xuất phát từ một điểm: người hỏi chưa nắm rõ nền tảng website đang chạy. Khi biết nền tảng, việc tạo và khai báo sitemap đơn giản hơn nhiều. Bạn không cần tự viết mã từ đầu.
Tạo sitemap bằng công cụ có sẵn trên từng nền tảng
Tin vui là hầu hết nền tảng dựng web phổ biến đã lo sẵn phần này. Với WordPress, bạn chỉ cần cài một plugin SEO như Yoast hoặc Rank Math. Sitemap sẽ tự sinh ra ở một đường dẫn cố định, thường có dạng tenmien.com/sitemap_index.xml, và tự cập nhật mỗi khi có bài mới.
Với Shopify hay Wix, sitemap được tạo sẵn ngay từ lúc mở site. Người dùng gần như không phải can thiệp gì thêm.
Website lập trình riêng, không dùng CMS có sẵn, sẽ khác. Lúc này nên nhờ đội kỹ thuật viết một đoạn script nhỏ để sitemap tự cập nhật khi có trang mới. Làm thủ công lâu dài rất dễ quên.
Một điều chúng tôi hay nhắc khách hàng là đừng đưa mọi trang vào sitemap. Trang giỏ hàng, trang cảm ơn sau khi đặt hàng hay các trang đang thử nghiệm đều không nên có mặt. Đưa chúng vào chỉ khiến Google phân tán chú ý, chẳng giúp ích gì cho thứ hạng.
Muốn kiểm tra sitemap đã có chưa, bạn chỉ cần gõ tenmien.com/sitemap.xml lên trình duyệt. Nếu hiện danh sách đường dẫn dạng XML, nghĩa là sitemap đang hoạt động. Nếu báo lỗi 404 thì chưa có, bạn cần tạo ngay.
Khai báo sitemap trong Google Search Console
Có sitemap rồi vẫn chưa đủ, bạn phải cho Google biết đường dẫn cụ thể. Đăng nhập Google Search Console, chọn đúng property của website, rồi vào mục Sitemaps ở thanh bên trái. Dán đường dẫn sitemap vào và bấm Gửi.
Sau khi gửi, Google không index ngay lập tức. Thường phải chờ từ vài giờ đến vài ngày, tùy độ tin cậy của từng site. Có khách hàng trong mảng công nghệ từng áp dụng đúng cách tối ưu quy trình SEO kỹ thuật cho website, và tốc độ index của họ cải thiện rõ rệt so với trước.
Lỗi chúng tôi gặp nhiều nhất là dán nhầm đường dẫn, ví dụ thiếu chữ s hoặc sai đuôi tệp. Google sẽ báo lỗi ngay vì không đọc được tệp. Kiểm tra kỹ trước khi bấm Gửi sẽ tránh được phiền toái này.
Ngoài Search Console, bạn còn có thể khai báo sitemap trong tệp robots.txt bằng một dòng Sitemap: kèm URL đầy đủ. Cách này giúp cả những công cụ tìm kiếm khác như Bing cũng tìm được đường đi tới sitemap.
Lời khuyên khi quản lý sitemap cho website
Nhiều người nghĩ khai báo sitemap một lần là xong. Đây là hiểu lầm khá phổ biến, và cũng là lý do một số website từng index tốt bỗng tụt hẳn. Sitemap cần được chăm sóc đều đặn theo thay đổi của site.
Mỗi khi đổi cấu trúc menu, sitemap cần cập nhật ngay. Xóa bớt danh mục cũng vậy. Đổi tên miền hay chuyển sang tên miền phụ thì càng phải chú ý hơn, vì mọi đường dẫn cũ đều thay đổi.
Đội ngũ bên mình từng xử lý một trường hợp khá đáng nhớ. Khách hàng đổi giao diện, xóa gần 30 trang cũ nhưng quên cập nhật sitemap. Google cứ cố index những trang không còn tồn tại suốt nhiều tuần, và lượng truy cập tự nhiên giảm rõ rệt trong giai đoạn đó.
Khi sitemap không được làm mới, Google vẫn tiếp tục truy cập các đường dẫn cũ đã biến mất. Việc này gây lãng phí ngân sách thu thập dữ liệu, đồng thời khiến Search Console báo hàng loạt lỗi 404 khó hiểu.
Vì vậy chúng tôi khuyên bạn dành vài phút mỗi tháng cho việc này. Vào lại Search Console, xem mục Sitemaps có báo lỗi không, rồi đối chiếu số trang đã gửi với số trang thực tế được index. Nếu chưa quen thao tác, bạn có thể tham khảo thêm danh sách công cụ hỗ trợ quản trị website, việc theo dõi sẽ bớt thủ công hơn.
Sitemap không phải thứ làm một lần rồi quên. Nó giống một cuốn sổ tay cần cập nhật đều đặn, và chính sự đều đặn ấy giữ website trong tầm ngắm của Google, thay vì âm thầm rơi khỏi kết quả tìm kiếm mà chủ site không hay biết.