Як працює ранжування в Google пошуку

На результати видачі впливає понад 1000 факторів ранжування, і ми не знаємо їхніх точних вагових коефіцієнтів, до того ж частина чинників – приховані пошуковою системою. Навіть співробітники Google, які безпосередньо працюють над алгоритмами ранжування, не можуть пояснити, чому той чи інший результат перебуває на одній із топових позицій. Розуміння структури пошукової системи пояснює: чому іноді добре оптимізовані сторінки не ранжуються, а короткі та/або малоінформативні сторінки потрапляють у ТОП. Джерелом основної інформації цієї статті є матеріал: How Google Search ranking works

Коли ви запускаєте новий сайт, його індексування не відбувається миттєво. Google дізнається про сайт через оновлену карту сайту або через посилання, розміщені на вже відомих сторінках. Головна сторінка та інші популярні сторінки часто швидше привертають увагу Google. Краулер витягує новий контент, а планувальник керує частотою його відвідувань, вирішуючи, коли повернутися для перевірки оновлень.
Деякі сайти, особливо ті, що вважаються спамними або малозначущими, можуть потрапити в «пісочницю», де вони проходять додаткові перевірки. Частота обходу сайту залежить від його трафіку: що більше відвідувань, то частіше сайт обробляється.

Система індексації Google (Alexandria) присвоює кожному документу унікальний DocID. Якщо контент уже існує (наприклад, у разі дубльованих сторінок), новий ID не створюють – URL пов’язують з наявним DocID.
Кожен фрагмент сайту індексується за ключовими фразами, які поміщаються в прямий і зворотний індекси. Наприклад, наш умовний документ – про олівці. Слово «олівець», яке часто трапляється на сторінці, буде додано до зворотного індексу з прив’язкою до відповідного DocID, що збільшує його значущість у пошуковій видачі.

Кожному документу присвоюється:

• Генерується автоматично під час додавання документа в систему. Зазвичай це довгий рядок символів або чисел, наприклад:
  doc-98765a4b-cdef-1234-5678-90abcdef1234

• Опис документа: назва, автор, мова, дата публікації
• Технічні параметри: розмір файлу, формат, дата завантаження
• Категорії та ключові слова для тематичної класифікації

• Зв’язок з іншими документами

Кожному DocID присвоюється алгоритмічно розрахована оцінка IR (information retrieval – цей показник можна інтерпретувати як міру тематичної релевантності документа. Це кількісна характеристика, яка допомагає системі визначити, наскільки документ відповідає запиту і де він має бути розміщений у результатах пошуку).

Крім іншого, Google відстежує останні зміни в документах, і якщо контент змінюється занадто сильно або різко, алгоритми можуть обнулити всі старі сигнали. Документи та їхні версії зберігаються в репозиторії, і з плином часу Google аналізує зміни. Щоб змінити тему документа або оновити його, потрібно пройти через кілька проміжних версій, інакше старі сигнали залишаться в системі.
Важливо також зазначити, що при зміні адміністратора і змісту домену одночасно, всі старі SEO-сигнали обнуляються.

Коли користувач вводить запит, приміром, зі словом «олівець» у пошуковому рядку Google – починається процес його обробки в системі QBST.

QBST – механізм пошуку та ранжування на основі запитів

Процес роботи QBST:

QBST аналізує текст запиту користувача, щоб зрозуміти його намір (інтент). Це дає змогу Google вибирати між різними типами результатів. Інтент уточнюється додатковими ключовими словами або попередніми діями користувача.

Простими словами, Гугл хоче зрозуміти, що Вам показати, тобто, якого типу це має бути контент: інформаційний, навігаційний, комерційний, транзакційний або розважальний.

Після інтерпретації запиту QBST взаємодіє з індексом Google. Завдання – знайти найбільш релевантні документи:

Система QBST використовує складні алгоритми для сортування результатів на основі таких факторів:

QBST також підтримує розширені функції: голосові запити, картографічні запити, мультимедіа.

Після цього, відповідні терміни (у нашому прикладі – «олівець») передаються в систему Ascorer для подальшої обробки.

Система Ascorer бере зі зворотного індексу 1000 найбільш релевантних документів (DocID) для запиту «олівець» і сортує їх за IR-оцінкою. Цей список називають «зеленим кільцем» або posting list (списком публікацій).

Ascorer входить у систему ранжування Mustang, яка далі відбирає результати. Вона застосовує такі методи, як:

• Видалення дублікатів за допомогою SimHash (відбитки документів)
• Аналіз фрагментів тексту
• Перевірка оригінальності та корисності контенту

Мета – вибрати 1000 кандидатів, які потім оцінюються для потрапляння в топ-10 результатів, які називаються «синім кільцем». На цьому етапі наш документ про олівці посідає умовне 132-ге місце в списку публікацій. Якщо фільтрації більше не буде, це місце залишиться фінальним.

Система Superroot займається повторним ранжуванням, виконуючи точну роботу зі скорочення «зеленого кільця» (1000 DocID) до «синього кільця», яке містить лише 10 результатів. Для цього завдання використовуються Twiddlers і NavBoost. Можливо, задіяні й інші системи, але їхня точна роль залишається неясною через брак інформації.

Twiddlers – це спеціальні інструменти (подібні до плагінів), які допомагають фільтрувати й ранжирувати документи в пошуковій системі без необхідності змінювати складні алгоритми, такі як Ascorer. Їх багато, і кожен із них виконує окреме завдання, покращуючи роботу на різних етапах.

Деякі Twiddlers змінюють оцінки релевантності документів (IR), наприклад, підвищують новинки або різноманітність контенту, а інші – рухають документи вгору або вниз у результатах пошуку. Вони економлять ресурси системи і роблять видачу більш корисною та релевантною.

Деякі Twiddlers додають анотації для поліпшення відображення сніпетів (наприклад, зображень або тексту). Вони також враховують, що запити можуть бути різними (купівля, інформація, навігація) і регулюють видачу залежно від цього.

Оцінювачі якості (експерти, які виконують ручну перевірку релевантності та корисності результатів пошуку на основі суворих протоколів Google) відіграють ключову роль у непрямому впливі на алгоритми Google, допомагаючи навчати системи машинного навчання. Хоча їхні оцінки безпосередньо не впливають на ранжування, вони формують критерії, за якими алгоритми розуміють, які сторінки заслуговують на довіру і відповідають очікуванням користувачів.

• Чи явно вказані автор і дата публікації?
• Чи відповідає інформація професійним знанням?
• Відповіді записуються і використовуються для навчання алгоритмів

• Алгоритми вивчають характеристики якісних сторінок, виявляючи ключові ознаки, такі як наявність фотографії автора, повного імені та посилання на біографію LinkedIn
• Ці ознаки можуть потім стати сигналами ранжування. Наприклад, сторінки з авторськими даними можуть бути підвищені в рейтингу, а їх відсутність – навпаки, знецінена

• Оцінки експертів збираються в показник задоволеності інформацією (IS)
• Якщо для сторінки IS-показник недоступний, система екстраполює дані на основі схожих шаблонів

• Деякі документи можуть бути визнані еталоном якості («золотим стандартом»), що сприяє їхньому просуванню
• Такі документи можуть отримати підтримку Twiddlers, які просувають їх у топові позиції, наприклад, у першу десятку

• Twiddlers і нейронні мережі
  • Після позитивних тестів алгоритми, спираючись на дані від оцінювачів, інтегрують виявлені ознаки через Twiddlers, впливаючи на ранжування
  • Це створює більш точне налаштування видачі, враховуючи не тільки структуру контенту, а й репутацію авторів
• AuthorVectors і «відбиток автора»
  • Google може враховувати стиль письма автора, ідентифікуючи його через AuthorVectors, що посилює значення авторського контенту
• Експерименти в RankLab
  • Власні експерти Google розробляють і тестують Twiddlers, оцінюючи їхній вплив на якість видачі та ефективність у боротьбі зі спамом
  • Тільки перевірені Twiddlers інтегруються в систему Mustang, що відповідає за фінальну обробку результатів

Щоб підвищити позиції в пошуковій видачі, варто враховувати ці аспекти:

• Забезпечити прозорість авторства, включно з фото, ім’ям і біографією
• Зосередитися на створенні контенту, який може відповідати «золотим» стандартам
• Регулярно аналізувати SERP і адаптувати стратегію залежно від виявлених змін

NavBoost – це система Google, яка допомагає керувати результатами пошуку для мобільних, десктопних і локальних запитів. Хоча Google офіційно заявляє, що дані про кліки не впливають на ранжування, внутрішні документи говорять про протилежне. Система дійсно враховує кліки, час на сайті та поведінку користувача (наприклад, дані з браузера Chrome), щоб визначити, які сторінки дають найкращий користувацький досвід.

1. Дані про кліки та час на сайті:
   • Сторінки, на яких користувачі проводять більше часу і які стають їхнім останнім кліком у пошуку, вважаються більш релевантними
   • Якщо у сторінки низький CTR (відсоток кліків за посиланням), вона може втратити позиції. Високий CTR і задоволеність користувачів навпаки підвищують сторінку у видачі
2. Аналіз поведінки:
   • NavBoost використовує дані про те, як користувачі взаємодіють з результатами, щоб запропонувати більш якісні сторінки
   • Система мінімізує маніпуляції за допомогою алгоритмів стиснення даних і захисту від ботів

• Новим сторінкам тимчасово передається вага головної сторінки («NearestSeed»), доки вони не наберуть власних сигналів, таких як кліки, зворотні посилання або трафік
• Якщо нова сторінка показує низький CTR, вона швидко втрачає позиції, але якщо кліки і залученість високі, то позиції зростають
• Система адаптується до змін, наприклад, до сезонних запитів або нових користувацьких патернів

• Довгостроковий аналіз: Google зберігає метрики 13 місяців, щоб вивчати тенденції
• Брендові сигнали і трафік: Популярні сторінки або ті, які згадуються в брендовому контексті, швидше потрапляють у топ видачі
• Мінімізація персоналізації: Google намагається показувати загальні результати, які краще передбачають наміри користувачів, замість занадто індивідуалізованих

NavBoost допомагає Google адаптувати видачу в режимі реального часу, роблячи її більш релевантною для користувачів і стійкою до спаму.

Google GWS (веб-сервер) збирає і відображає результати пошуку, включно з органічними посиланнями, рекламою і додатковими блоками. Tangram (система, що відповідає за розрахунок: скільки місця або обчислювальних ресурсів потрібно для певних елементів) визначає, скільки місця потрібно кожному елементу видачі, а Glue (це інструмент, призначений для з’єднання різних компонентів в єдине ціле) – розміщує їх на сторінці. Однак система CookBook (система адаптації видачі до поточних призначених для користувача інтересів), включно з FreshnessNode (стежить за актуальністю контенту) і InstantNavBoost (змінює ранжування на основі поведінкових факторів користувача), може змінювати результати в реальному часі.
Наприклад, якщо виходить програма про Faber-Castell і міфи, що оточують слово «олівець», FreshnessNode помічає сплеск запитів про «олівець» і замінює транзакційні результати інформаційними. У такій ситуації наш документ, орієнтований на продажі, втрачає позицію в пошуку.
Це демонструє, що високі позиції залежать не лише від якісного контенту та SEO, а й від поведінки користувачів та нових сигналів. Система NavBoost може змінити ранжування, якщо інтереси користувачів змінюються.
SEO працює в складній екосистемі, де сигнали, як-от зворотні посилання або кліки, постійно перераховуються. Навіть тимчасове падіння позицій може бути пов’язане із зовнішніми факторами, а не помилками. Коли сплеск інтересу до теми вщухне, документ, ймовірно, повернеться на своє місце.
Щоб утриматися в топі, важливо зберігати високий CTR. Наприклад, для позиції 5 нормальний показник CTR – близько 4%. Це допомагає закріпити результат у довгостроковій перспективі.