Наявність технічних помилок на сайті може негативно позначитися на його ранжуванні, що в свою чергу призведе до зниження пошукового трафіку і позицій в пошукових системах. Щоб виявити технічні помилки, необхідно провести комплексний технічний SEO-аудит сайту. Одним з основних помічників у цьому складному і трудовитратному завданні для нас виступає десктопна програма Screaming Frog.
О Screaming Frog
Screaming Frog - це софт для сканування сайту, ключовими функціями якого є:
- пошук битих посилань;
- пошук посилань з редиректом;
- пошук дублів сторінок;
- аналіз зображень;
- пошук сторінок, де відсутні мета-теги або основний заголовок h1;
- вилучення елементів зі сторінок сайту;
- пошук порожніх сторінок або неінформативних сторінок, де вкрай мало контенту.
За допомогою цієї програми можна проаналізувати сторінки, які закриті у файлі robots.txt, перевірити наявність та коректність заповнення тегів alt у зображень, а також наявність атрибута Canonical та багато іншого.
Screaming Frog може просканувати весь сайт повністю, або ж певний каталог, або вказаний вручну список сторінок. Щоб не створювати сильне навантаження на сервер, можна в будь-який момент зупинити сканування.
Важливим плюсом є те, що результат сканування можна вивантажити у форматі csv або xlsx. Але є і деякі мінуси:
- складний та інтуїтивно незрозумілий інтерфейс для нових користувачів;
- дані зберігаються в оперативній пам'яті вашого ПК, у зв'язку чим досить проблематично повністю сканувати об'ємний сайт. А також при роботі з софтом робота ПК може сповільнитися;
- програма платна (але є безкоштовна версія з обмеженнями).
А тепер детальніше.
Пошук бітих посилань
Ми навмисно перескочили через тему «Налаштування Screaming Frog», оскільки в мережі присутня велика кількість мануалів з налаштування програми, описів інтерфейсу і вступної інформації про те, як працювати з програмою і сканувати сайт. Переходимо відразу до технічного аналізу сайту.
Отже, ми просканували сайт. Для пошуку битих посилань необхідно справа знайти вкладку «Response Code» - «Client Error (4xx)». Тепер ми бачимо список битих посилань при їх наявності на сайті.
Як визначити на яких сторінках знаходяться биті посилання?
Необхідно вибрати посилання або виділити декілька посилань і внизу ліворуч вибрати вкладку «Inlinks». У нижній частині з'явиться список сторінок, де розміщено вибране посилання або список посилань.
Такі посилання рекомендується прибирати, оскільки велика кількість битих посилань може негативно позначитися на ранжуванні сайту.
Як знайти биті посилання на сторінці сайту?
Якщо при огляді сторінки бите посилання не кидається в очі, необхідно відкрити код сайту «ctrl + shift + i», далі відкрити форму пошуку в коді «ctrl + а» і вбити адресу битого посилання.
Биті посилання можна розмістити в текстах сторінок. У такому разі необхідно прибирати посилання вручну. У деяких випадках посилання може бути розміщено відразу на декількох сторінках. Це говорить про те, що посилання розміщене в меню, в футері або в якомусь іншому наскрізному блоці. У такому разі не потрібно заходити на кожну сторінку окремо, а можна просто видалити або замінити посилання.
Чому биті посилання - це погано?
Биті посилання не чинять прямого впливу на ранжування сайту, і будь-яких санкцій за биті посилання з боку пошукових систем немає. Однак вони можуть витратити частину краулінгового бюджету пошукових роботів, знизити показник якості сайту, збільшити кількість відмов. Крім того, биті посилання не передають вагу іншим сторінкам, а якщо на неї стоять посилання із зовнішніх ресурсів, вага такого посилання не враховується. Тому биті посилання необхідно видаляти з сайту або замінювати їх на діючі.
Пошук посилань з 301 редиректом
301 редирект - перенаправлення зі старої адреси на нову, якщо змінилася адреса сторінки, а контент не змінювався. Це робиться якраз для того, щоб не з'являлися биті посилання. Але краще відразу ставити посилання з 200 кодом відповіді на існуючу сторінку. Якщо немає можливості змінювати посилання, тоді налаштовують 301 редирект. Зазвичай ми від таких посилань позбавляємося.
Пошук посилань з 301 редиректом проводиться аналогічним пошуку битих посилань чином. Потрібно знайти праворуч вкладку Response Code - Redirection (3xx). Тепер ми бачимо список посилань з 301 редиректом та іншими редиректами з 3xx кодом при їх наявності на сайті.
Як визначити на яких сторінках знаходяться посилання з 301 редиректом?
Пошук таких посилань здійснюється так само, як і пошук битих посилань. Необхідно вибрати посилання або виділити декілька посилань і внизу ліворуч вибрати вкладку «Inlinks». У нижній частині з'явиться список сторінок, де розміщено вибране посилання або список посилань, як і у випадку з битими посиланнями.
Поряд присутня вкладка Outlinks, де вказані сторінки, куди приходить редирект.
Чому бажано позбуватися таких посилань?
Невелика кількість таких посилань ніяк не позначиться на ранжуванні сайту. Однак, якщо посилання з редиректами багато або такі посилання розміщені на всіх сторінках в меню, футері або інших наскрізних блоках, рекомендується замінити дані посилання на існуючі сторінки, на які налаштований редирект. Такі посилання не несуть в собі інформацію про те, чому відбувається перенаправлення на іншу адресу, що ускладнює пошуковим системам обробку даного редиректу.
Пошук дублів сторінок
Наявність дублів сторінок негативно позначається на ранжуванні сайту, оскільки з двох сторінок пошукові системи найімовірніше будуть індексувати тільки одну найбільш релевантну, на їх погляд, сторінку. Дублями сторінок можуть сприйматися сторінки з різним контентом, але однаковими тегами title. Буває, що сторінки послуг та статті ідентичні теги title, і такі сторінки визнаються дублями. При цьому інтент запитів зовсім різний: у першої - інформаційний, у другої - комерційний. Для уникнення виникнення дублів слід в першу чергу перевіряти сайт на наявність дублікатів title і при наявності дублів коригувати мета-теги.
Як шукати дублікати title?
Вибираємо праворуч вкладку Page Titles - Duplicate і отримуємо список сторінок, на яких дублюються мета-теги.
У разі, коли на сторінках різний контент і однакові теги title, необхідно скоригувати мета-теги.
Якщо сторінки ідентичні до тегів та контенту, ви можете видалити одну сторінку та налаштувати 301 редирект з адреси видаленої сторінки на існуючу сторінку. Це допоможе, якщо посилання на видалені сторінки розміщені на інших сайтах або знаходяться в індексі. 301 редирект тут потрібен, щоб користувачі потрапляли не на віддалену, а на потрібну сторінку.
Але на самому сайті такі посилання потрібно видалити. Тому рекомендуємо відразу перевірити, чи є на сайті посилання на віддалену сторінку (див. інструкції вище) і замінити їх на існуючу сторінку.
Аналіз заголовків h1
На кожній сторінці повинен бути основний заголовок у тегах < h1 >, який максимально детально і при цьому коротко відображає зміст сторінки. Це дозволяє пошуковим система більш точно визначити, що за інформація розміщена на сторінці. При проведенні SEO-аудиту необхідно перевірити наявність основного заголовка на всіх сторінках сайту. Крім того, тегами < h1 > має бути позначено лише один основний заголовок.
Як знайти сторінки, де відсутній основний заголовок h1?
Необхідно вибрати вкладку "H1" - "Missing >. Ви побачите список сторінок, де немає заголовка h1. Додайте цей заголовок на всі сторінки сайту.
В тому ж блоці праворуч у вкладці «Multiple» будуть сторінки, де присутні кілька заголовків h1. У такому випадку необхідно вилучити другий заголовок, якщо він дублює перший або в ньому немає необхідності, або розмітити заголовок тегами < h2 > - < h6 > відповідно до його ієрархії.
Рекомендуємо також перевірити вкладку «Duplicate» на наявність дублів заголовків h1. В цілому, дублі h1 не є проблемою. Однак за наявності великої кількості дублів рекомендуємо коригувати заголовки, особливо на сторінках товарів/послуг/статей і у випадках, коли на сайті налаштована автоматична генерація мета-тегів.
Перевірка наявності і коректності Canonical
Щоб уникнути дублів сторінок, рекомендується на всіх сторінках розміщувати атрибут Canonical із зазначенням канонічної (основної) сторінки. Атрибут rel = canonical тега < link > вказує пошуковим системам, що деякі сторінки можуть бути однаковими, незважаючи на різні URL-адреси (наприклад, сторінки згінки).
Наявність цього атрибута не є фактором ранжування, але в деяких випадках може позитивно позначитися на індексації сайту і уникнути виникнення дублів сторінок, наприклад, коли в URL додаються GET-параметри (рекламні мітки, сортування тощо).
Для того, щоб перевірити на яких сторінках розміщено цей атрибут і чи коректно вказані посилання, необхідно праворуч вибрати вкладку «Canonicals» - «All». На вкладці Missing можна переглянути список сторінок, де атрибуту немає.
Пошук порожніх або малоінформативних сторінок
Наявність порожніх або малоінформативних сторінок може негативно позначитися на ранжуванні сайту. Найчастіше такі сторінки виключаються з індексу пошукових систем. Такі сторінки рекомендується видаляти або допрацьовувати таким чином, щоб сторінка повністю відповідала на запитання користувача.
Для пошуку порожніх або малоінформативних сторінок необхідно вибрати вкладку «Crawl Dara» - «Internal» - «All».
За допомогою форми пошуку слід відфільтрувати сторінки з контентом.
Далі необхідно знайти стовпчик Word Count у полі зі списком сторінок, відсортувати список сторінок зі збирання кількості слів і вже вручну перевірити сторінки з низькою кількістю слів у тексті сторінок.
Спамний тег Keywords
Тег Keywords давно не враховується пошуковими системами як фактор ранжування і не надає позитивного впливу. Однак при наявності на сайті спамних текстів і мета-тегів даний тег може стати одним із сигналів, що сторінка просувається неприродними способами.
Щоб уникнути таких ситуацій, ми рекомендуємо видаляти теги Keywords з усіх сторінок сайту.
Щоб знайти сторінки, де знаходиться цей тег, потрібно вибрати праворуч вкладку «Meta Keywords» - «Missing», і ви побачите список сторінок, де присутній даний тег.
Аналіз зображень
Зображення на сайті дуже важливі для просування і правильна оптимізація зображень може позитивно позначитися на ранжуванні сайтів і принести додатковий трафік, наприклад з пошуку за картинками.
Щоб розпочати аналіз зображень, перейдіть праворуч у вкладку «Crawl Data» - «Internal» - «Images». Ви побачите список посилань на зображення. Необхідно перевірити код відповіді сервера в стовпчику «Status Code» - всі посилання повинні віддавати 200 код відповіді. Биті зображення слід видалити або замінити на існуючі зображення. Якщо закрито службові теки, зображення рекомендується відкривати у файлі robots.txt, щоб вони індексувалися пошуковими системами.
Також слід перевірити вагу зображень у стовпчику Size. Зображення з вагою понад 3 мб рекомендуємо стискати, щоб вони не уповільнювали швидкість завантаження сторінок.
Аналіз тегів Noindex і Nofollow
На деяких сторінках можуть бути розміщені теги «noindex», «nofollow». Найчастіше за допомогою таких тегів навмисно закривають сторінки, які не повинні індексуватися. Однак деякі теги можуть бути розміщені на сторінках сайту помилково, в результаті чого потрібні сторінки не потраплять в індекс і не будуть приносити трафік.
Тому рекомендуємо перевіряти наявність даних тегів на сторінках сайту. Для цього необхідно праворуч вибрати вкладку «Directives» - «noindex» і «nofollow» і перевірити, чи не розміщені дані теги на потрібних для просування сторінках. За наявності таких тегів на важливих сторінках рекомендуємо прибрати їх з коду, щоб сторінки індексувалися пошуковими системами.
Вилучення елементів зі сторінок сайту
Іноді виникає потреба витягти будь-який елемент зі сторінок сайту. Наприклад, підзаголовки, ціни, назви якихось певних блоків тощо.
У випадку з нашим клієнтом ми виявили, що на деяких сторінках відсутні ціни. Наявність ціни на комерційних сторінках є одним із факторів ранжування, у зв'язку з чим ми підготували рекомендацію про необхідність розмістити ціну на всіх сторінках сайту. Щоб підготувати список сторінок, де відсутня ціна, ми скористалися функцією Custom Extraction.
Як це зробити?
Для початку необхідно визначити, де знаходиться потрібний елемент на сторінці сайту, і скопіювати стиль даного елемента.
У інтерфейсі Screaming Frog необхідно вибрати вкладку Configuration - Custom - Extraction.
Далі необхідно додати новий елемент, натиснувши кнопку add, і вибрати спосіб вилучення - CSSPath і що витягуємо - Extract Inner HTML. Далі вказуємо CSS стиль елемента, який раніше ми скопіювали з коду сайту і ставимо перед назвою стилю точку.
Після цього запускаємо парсинг.
Нас цікавлять тільки сторінки послуг, тому необхідно відфільтрувати тільки сторінки розділу/services/, де розміщені посилання на сторінки послуг. І ми отримуємо список витягнутих сторінок і елементів і можемо знайти сторінки, де відсутня ціна.
Функціонал Custom Extraction досить складний, ми навели лише невеликий приклад, як з його допомогою можна витягти елементи сторінки. Якщо вам буде цікаво, ми можемо розповісти про можливості цієї функції більш детально в наступній статті.
Висновки
Ми розглянули основні моменти, які необхідно завжди перевіряти при проведенні технічного SEO-аудиту в програмі Screaming Frog. Багато технічних проблем/недоліків можуть не надавати прямого впливу на ранжування сайту, проте в сукупності велика кількість технічних помилок може значно ускладнити пошукове просування.
Звертаємо увагу, що технічний аналіз повинен проводитися не тільки через Screaming Frog, але і за допомогою інших інструментів, наприклад Яндекс.Вебмастер і Google Search Console.
Ми рекомендуємо не зупинятися на одній технічній перевірці і проводити такий аналіз раз на 1-3 місяці, залежно від оновлення сторінок сайту.
Варто враховувати, що усунення технічних недоліків не гарантує поліпшення позицій і зростання пошукового трафіку. Для збільшення видимості сайту в пошукових системах необхідне комплексне доопрацювання технічної складової сайту, комерційних факторів, робота з текстами і мета-тегами, структурою сайту, посилальним оточенням та іншими факторами.
Якщо у вас залишилися будь-які питання, - готові відповісти на них у коментарях.
А якщо буде багато запитань, докладніше розкриємо їх у наступних статтях.