Який бюджет сканування

Термін, про який сьогодні багато говорять у SEO-спільноті, - це сканування бюджету. Якщо ми перекладемо це, він би читався як "стеження за бюджетом". Це рідкісна середина, але це дуже стара концепція в області SEO.

Ті, хто працює з масштабними проектами, такими як велика електронна комерція, портали контенту та спеціалісти з SEO, розуміють бюджет сканування як час, який Google витрачає на читання сторінок вашого веб-сайту в певний день.

Зміст індексу

Настав час, коли сканер Google займає читання сторінок веб-сайту. Але цього разу сканер витрачає на ваш веб-сайт, залежить від кількох факторів; наприклад, веб-сайт, відсоток дублюючого вмісту, помилки на сторінці та багато іншого.

Однак, згідно з офіційним блогом веб-майстрів Google, зазначається, що не всі повинні бути стурбовані цим питанням сканування бюджету. Тобто, якщо у них є веб-сайт з кількома десятками сторінок, не потрібно турбуватися з цього приводу сканування сторінок, оскільки Google це зробить без зачіпки.

Але якщо у вас є інтернет-магазин або будь-який інший веб-проект з кількома тисячами сторінок, вам доведеться приділити пильну увагу та оптимізувати бюджет сканування стосовно вашого веб-сайту.

Скануйте бюджет та розміщення в Інтернеті

В Google вони підтверджують, що бюджет сканування не впливає на позиціонування, але, тим не менш, він може впливати, а іноді і контролювати, негативно інші з більш ніж 200 факторів для ранжирування в пошуковій системі.

Але чому ми хочемо Google більше разів сканувати сторінки нашого веб-сайту? З іншого боку, ми знаходимо декількох експертів з SEO, які гарантують, що хороший бюджет сканування поліпшить загальне розташування сторінок веб-сайту у рейтингу та, таким чином, збільшить органічний трафік.

В основному, Google має певний час витратити на вашому веб-сайті, оскільки він повинен вирішити, скільки часу він витратить на кожен із сайтів у всьому світі, для чого йому доведеться підрахувати, скільки одночасних з'єднань він зможе зробити, щоб мати можливість читати сторінки вашого веб-сайту.

Якість веб-сайту

Google витрачає час, щоб мати змогу підключитися на веб-сайті, прочитати ці сторінки та зупинити це читання. Повторюйте це протягом дня, але завжди є частина часу. Частина часу зазвичай пропорційна повноваженням вашого веб-сайту, кількості нових сторінок та релевантності, яку він має щодо Google.

Це пояснюється якістю вашого контенту та посиланнями, які вказують на сайт, тобто, якщо у вас є багато вказівок на якість, Google може розуміти вас більш якісно і витрачає більше часу на вашому веб-сайті, якщо є більший обсяг сторінок.

Взагалі бюджет сканування не сильно змінюється для 10, 50 або 100 сторінок, тому на кількох сторінках різниці немає. Але для великих сайтів, якщо Google має секунду, щоб перейти на ваш сайт, і ви скажете йому, що читати, це буде дуже корисно для сканера, виконуючи їх завдання сканування швидше.

Встановіть, які важливі сторінки

По-перше, потрібно скласти більш організовану архітектуру інформації про сайт, встановивши, які сторінки непотрібні, і не дозволяти індексувати певні сторінки, перевіривши файл robots.txt.

Google не повинен проводити час у розділі пошуку веб-сайту чи навіть у розділі, де є навігація по фільтрах, наприклад, як в інтернет-магазині, де ви можете вибрати розмір взуття, розмір квартири чи колір сорочки. Ці фільтри - це те, що люди зазвичай називають "навігаційною" або "навігаційними фільтрами".

Деякі веб-майстри, як правило, блокують ці фільтри та ті пошуки у файлі robots.txt лише для того, щоб Google не витрачав час на читання цих сторінок, адже насправді вони орієнтовані на користувача, який шукає цього досвіду, і вони є вмістом, який вже є доступні на інших внутрішніх сторінках сайту.

Рекомендуємо прочитати: Помилки, яких слід уникати під час створення веб-сайту

Інший рядок полягає в тому, що, встановлюючи, які важливі сторінки вашого веб-сайту, ви економите час Google на сторінках, які мають повторюваний вміст, наприклад, у випадку зіткнення навігації, сторінки політики конфіденційності, умов, а не ви хочете, щоб вони були прочитані. Ці сторінки будуть доступні лише тим користувачам, які хочуть бачити ці сторінки.

Час не варто витрачати даремно на ці низькоцінні сторінки, оскільки ви не хочете займати рейтинг за ними, і вони не мають найменшої різниці у вашому житті, але вони повинні бути там, оскільки деякі користувачі хочуть отримати інформацію про цю інформацію в будь-якому випадку.

Як внутрішній працює бюджет сканування

Загалом бюджет сканування базується на архітектурі. Ви визначаєте посилання на сторінки, які Google зможе прочитати, та визначте їх із їх важливістю.

Зрештою, посилання, що виходять з цих сторінок, - це ті, які, ймовірно, мають пріоритет від Google. Отже, варто логічно дуже добре подумати про внутрішнє посилання та спосіб структурування вашої сторінки.

Бюджет сканування - це час, який Google витрачає на можливість читати, розуміти інформацію на веб-сайті та оцінювати такі елементи, як організація архітектури та блокування в robots.txt. Використання тега nofollow у посиланні заважає Google слідувати за цим посиланням. Наприклад, якщо посилання має атрибут nofollow, але інше внутрішнє посилання не має жодного, щоб потрапити на сторінку, то Google піде другим шляхом, змусивши витратити менше часу.

Переваги оптимізованого сайту

Є речі, які допоможуть вам щодня читати більше сторінок, які можуть бути корисні для будь-якого веб-сайту. Наприклад, якщо ваш сервер швидше, Google за цей час запитає більше сторінок.

Якщо ваша сторінка стискається, Google у цих запитах запитає більше сторінок. І якщо у вас чистий і адекватний код, в кінці дня Google також отримає більш стиснуту сторінку з кращими бітами. Тобто оптимізація веб-сайту, швидкість сайту та сервера, сильно впливають на питання сканування бюджету.

Як розрахувати бюджет сканування вашого сайту

Кількість разів, коли павук пошукової системи Google сканує ваш веб-сайт за певний час, називається "сканування бюджету". Тому, якщо Googlebot відвідує ваш сайт 32 рази на день, можна сказати, що бюджет відстеження Google становить приблизно 960 на місяць.

Ви можете використовувати такі інструменти, як консоль пошуку Google та інструменти для веб-майстрів Bing, щоб розрахувати приблизний бюджет сканування вашого веб-сайту. Просто увійдіть та перейдіть до програми Відстеження> Статистика відстеження, щоб побачити середню кількість відстежених сторінок на день.

Скануйте бюджет та SEO: вони однакові?

Так і ні Хоча обидва типи оптимізації спрямовані на те, щоб зробити вашу сторінку більш помітною та впливати на ваші SERP, SEO робить великий акцент на користувацькому досвіді, тоді як оптимізація павуків - це повністю привабливість ботів.

Оптимізація пошукової системи (SEO) більш орієнтована на процес оптимізації запитів користувачів. Натомість оптимізація Googlebot фокусується на тому, як сканер Google отримує доступ до вашого сайту.

Як оптимізувати бюджет сканування

Існує кілька способів оптимізації бюджету сканування будь-якого веб-сайту, залежно від кожного веб-проекту, кількості сторінок та інших питань. Ось кілька моментів, які слід врахувати:

Переконайтесь, що ваші сторінки можна відстежувати

Ваша сторінка простежується, якщо павуки пошукової системи можуть знаходити та переходити за посиланнями на вашому веб-сайті, тому вам доведеться налаштувати файли .htaccess і robots.txt, щоб вони не блокували критичні сторінки на вашому сайті. Ви також можете надати текстові версії сторінок, які значною мірою покладаються на мультимедійні файли, такі як Flash та Silverlight.

Звичайно, зворотне дійсне, якщо ви хочете запобігти появі сторінки в результатах пошуку. Однак встановити файл robots.txt на "заборонити" недостатньо, якщо ви хочете запобігти індексації сторінки. За даними Google, правило "заборонити" не гарантує, що сторінка не відображатиметься в результатах.

Якщо зовнішня інформація (наприклад, вхідні посилання) продовжує притягувати трафік до сторінки, яку ви відхилили, Google може вирішити, що сторінка все ще є актуальною. У цьому випадку потрібно блокувати індексацію сторінки вручну за допомогою мета-тегу noindex або заголовка HTTP X-Robots-Tag.

- Метатег Noindex: помістіть цей метатег у розділ вашої сторінки, щоб запобігти індексації більшості веб-сканерів:

noindex "/>

- X-Robots-Tag - розміщує наступне у відповіді заголовка HTTP, щоб доручити сканерам не індексувати сторінку:

X-Robots-Tag: noindex

Зауважте, що якщо ви використовуєте метатег noindex або тег X-Robots, вам не слід заборонити сторінку в robots.txt. Сторінку потрібно просканувати перед тим, як тег буде переглянуто та виконано.

Обережне використання мультимедійних файлів

Був час, коли Googlebot не міг сканувати вміст, такий як JavaScript, Flash та HTML. Ці часи давно минули (хоча у Googlebot все ще є проблеми із Silverlight та деякими іншими файлами).

Однак, навіть якщо Google може читати більшість мультимедійних файлів, інші пошукові системи можуть не мати можливості, а це означає, що ви повинні використовувати ці файли розумно, і ви, ймовірно, хочете уникати їх повністю на потрібних сторінках. положення.

Уникайте рядків перенаправлення

Кожна URL-адреса, яку ви переспрямовуєте, змушує витрачати частину бюджету на сканування. Якщо на вашому веб-сайті є довгі рядки для переадресації, тобто велика кількість переспрямувань 301 та 302 підряд, павуки, як Googlebot, можуть зірватися до досягнення цільової сторінки, тобто ця сторінка не буде індексуватися. Найкраща практика переадресації - мати якомога менше переспрямувань на веб-сайті, і не більше двох поспіль.

Виправити непрацюючі посилання

Коли Джона Мюллера запитали про те, впливають чи не порушені посилання на позиціонування, він відповів, що це дещо більше орієнтоване на користувацький досвід, ніж на цілі позиціонування.

Це одна з принципових відмінностей між оптимізацією SEO та Googlebot, оскільки це означатиме, що розірвані посилання не грають істотної ролі в рейтингу, хоча вони сильно перешкоджають можливості Googlebot індексувати та ранжувати веб-сайт.

Зважаючи на це, ви повинні слідувати порадам Мюллера, враховуючи, що алгоритм Google істотно покращився за ці роки, і все, що впливає на досвід роботи користувачів, ймовірно, вплине на SERP.

Встановлення параметрів у динамічних URL-адресах

Павуки розглядають динамічні URL-адреси, які ведуть на ту саму сторінку, як окремі сторінки, це означає, що ви, можливо, зайве витрачаєте бюджет на сканування. Ви можете керувати параметрами URL-адреси, відвідавши пошукову консоль та натиснувши Відстеження> Параметри URL-адреси. Звідси ви можете повідомити Googlebot, якщо ваша CMS додає параметри до ваших URL-адрес, які не змінюють вміст сторінки.

Очистіть мапу сайту

Мапи сайту XML допомагають як відвідувачам, так і павуковим роботам, роблячи вміст краще організованим та легшим у пошуку. Тому намагайтеся постійно оновлювати мапу сайту та очищайте її від будь-якого захаращення, яке може зашкодити зручності використання вашого веб-сайту, включаючи сторінки на рівні 400, непотрібні переадресації, неканонічні сторінки та заблоковані сторінки.

Найпростіший спосіб очистити мапу сайту - використовувати такий інструмент, як Аудитор веб-сайтів. Ви можете використовувати генератор XML Sitemap для аудитора веб-сайтів, щоб створити чисту мапу сайту, яка виключає індексацію всіх заблокованих сторінок. Крім того, перейшовши до параметра "Аудит сайту", ви можете знайти та виправити всі 4хx помилки, переадресації 301 та 302 та неканонічні сторінки.

Скористайтеся каналами

Обидва канали, RSS, XML та Atom дозволяють доставляти вміст підписникам, коли вони не переглядають сайт. Це дозволяє користувачам підписуватися на улюблені сайти та отримувати регулярні оновлення щоразу, коли публікується новий вміст.

Окрім того, що RSS-канали вже давно є хорошим способом підвищення читацької та зацікавленості, вони також є одними з найбільш відвідуваних сайтів Googlebot. Коли ваш веб-сайт отримає оновлення (наприклад, нові продукти, публікації в блогах, оновлення сторінок тощо), надішліть його в Палець Google Feed, щоб переконатися, що він правильно індексується.

Створюйте зовнішні посилання

Будівництво посилань залишається гарячою темою, і немає жодного погляду, що воно скоро піде в минуле.

Культивування стосунків в Інтернеті, відкриття нових спільнот, створення цінності бренду; Ці маленькі виграші вже повинні бути надруковані у процесі планування посилань. Хоча існують відмінні елементи побудови зв’язків, які зараз так 1990 р., Потреба людини у зв'язку з іншими ніколи не зміниться.

Наразі ми вже маємо докази того, що зовнішні посилання тісно співвідносяться з кількістю павуків, які відвідує ваш веб-сайт.

Підтримуйте цілісність внутрішніх зв'язків

Хоча створення внутрішніх посилань не грає істотної ролі у швидкості сканування, це не означає, що його можна повністю ігнорувати. Доглянута структура сайту робить ваш вміст легко відкритим для пошукових роботів, не витрачаючи на ваш бюджет сканування.

Добре організована структура внутрішніх посилань також може покращити роботу користувачів, особливо якщо користувачі можуть дістатися до будь-якої області вашого веб-сайту за три кліки. Зробити все більш доступним означає, що відвідувачі залишаться довше, що може покращити СЕРП.

Який висновок ми робимо?

Знову ж таки, підсилюючи те, що вже було сказано вище, цей випуск бюджету для сканування буде важливим для великих веб-сайтів із сотнями та тисячами веб-сторінок, інакше турбуватися не варто, оскільки Google відстежить ваш веб-сайт плавно.

Ми не повинні ускладнювати сканування сторінок нашого сайту в Google. Існує багато веб-сайтів з достатньою кількістю помилок і навіть із бар'єрами, створеними файлами robots.txt та sitemap.xml, які не дають Google отримати доступ до вмісту. Якщо ми хочемо покращити позиціонування в рейтингу Google, тоді нам доведеться авторизувати та спростити сторінки веб-сайту, щоб Google міг швидко отримувати доступ, індексувати та позиціонувати. Дуже просто.

На даний момент ви вже напевно помітили тенденцію в цій статті: Найкращі практики відстеження також мають тенденцію до покращення пошуку. Тож якщо вам цікаво, чи важлива оптимізація бюджету для сканування для вашого веб-сайту, відповідь - так.

Простіше кажучи, якщо ви полегшите Google виявити та індексувати ваш веб-сайт, ви будете насолоджуватися більше сканування, що означає швидше оновлення, коли ви публікуєте новий вміст. Ви також покращите загальну роботу користувачів, покращуючи видимість і, в кінцевому рахунку, рейтинг SERPs.

Це лише деякі моменти, серед багатьох інших, щодо покращення та оптимізації бюджету сканування веб-сайту.