Cách Google tìm kiếm, sắp xếp thứ hạng website
Google là cỗ máy tìm kiếm lớn nhất thế giới hiện nay, thuật toán và quy trình tìm
kiếm dữ liệu website của nó đã được phát triển rất tối ưu. Trong bài viết này tôi sẽ
mô tả quy trình tìm kiếm thông tin của Google. Bạn hiểu được quy trình này nó sẽ
hỗ trợ rất nhiều cho bạn trong quá hình học và làm SEO.
Matt Cutt mô tả quá trình tìm kiếm của Google
Mattcutt đã có 1 video mô tả quá trình tìm kiếm của Google, các bạn có thể bật CC
để xem bản dịch tiếng việt.
Những điều nên biết
1. Khi bạn tìm kiếm không phải tìm trực tiếp trên Internet mà đang tìm dữ liệu
trong Sever của Google.
2. Google sử dụng phần mềm tìm kiếm thông tin trên Internet gọi là Spider.
3. Spider di chuyển giữa các trang web thông qua Link.
4. Google sử dụng thuật toán để sắp xếp và đưa những kết quả tốt nhất có thể
và cho hiển thị lên trên top 10.
Các giai đoạn tìm kiếm thông tin của Google
Giai đoạn 1: Tìm thông tin – Web Crawling
Google bot tìm kiếm thông tin mới + website mới theo các nguồn:
1. Khám phá qua link – Discovery Craw
Tưởng tượng Internet như 1 hệ thống xe buýt trong thành phố, mỗi điểm dừng là 1
tài liệu (bài viết, hình ảnh, file pdf,…). Nhiệm vụ của SE bot là phải đi qua hết các
điểm này để thu thập thông tin. Giống như tuyến đường xe buýt, sẽ dẫn ta từ điểm
A -> điểm B. Các Link liên kết giúp SE Bot đi từ webpage này sang webpage
khác.
2. Khám phá qua Sitemaps – Sitemap Crawl
Làm sao website của bạn được Google crawl nếu như nó không có backlink nào
cả? Để giải quyết vấn đề này Google phát hiện url mới thông qua việc submit
sitemaps trên Google webmaster tool, hoặc HTTP request >>
www.google.com/addurl.html.
Lọc link với Spam Filter
Quá trình tìm nội dung mới được Google thực hiện thường xuyên. Tuy nhiên
spider không chạy theo các liên kết 1 cách ngẫu nhiên mà đi theo 1 thứ tự ưu
tiên. SE bot sẽ quét dữ liệu trong các Danh bạ website lớn (dmoz, yahoo,…) – nơi
có nhiều website, thường được update website mới -> Nhóm 1.
SE Bot tiếp tục tìm các link trong Nhóm 1 để tìm liên kết ngoài và đưa các link này
-> nhóm 2. Toàn bộ các url này sẽ được quăng sang quá trình tiếp theo là Spam
Filter để lọc các liên kết trùng lặp, hỏng. Trong quá trình này, nếu như những link
đến bị lỗi (không truy cập được) nó sẽ được đưa lại quá trình Discovery Crawl.
Giai đoạn 2: Lập chỉ mục – Indexing.
Các URL sạch có được sau quá trình Spam Filter sẽ được Google tung web cralwer
vào để thu thập nội dung và xây dựng chỉ mục.