Главная / Информация

Работа с логами как пример того, что даже анализ статистики может вызвать у начинающих владельцев сайтов большие затруднения

 Владелец партнерской программы "Свой интернет-магазин в США" провел небольшое реалити шоу на тему анализа статистики посещания интернет-магазина. Частенько ведущие магазинов жалуются на слабую конвертацию: посетителей много, покупателей - нет. Основная рекомендация - смотреть на данные счетчиков о "посещаемости" совершенно недостаточно, необходимо творчески анализировать логи

 

Разбираясь с вопросами аффилиатов я обнаружил что у некоторых имеются проблемы при чтении логов. И вообще работа с ними. Причем сложности вызывает даже не анализ путей и проблем. Иногда бывает трудно просто оценить кто вообще к нам ходит и в каких количествах. 
Замена полноценного анализа просмотриванием статистики как правило приводит к проблемам и в корне неверному представлению о происходящем. Особенно это ярко видно на малом трафе. Вот сейчас резберем конкретный сайт с его конкретными логами за одну конкретную дату: Сайт Buypiercing.com 14-го числа
Лезем в вебалайзер и видим там что там 4938 запроса к файлам при 121 посетителе.
Замечательно. И ни одной продажи. Ужас же! А теперь покопаемся детально, пошагово.

Шаг 1: Найдите сырые логи. Убедитесь что они у вас ВСЕ! 
Дело в том, что логи архивируют по разному. Кто-то раз в сутки, кто-то раз в неделю. В данном случае это происходит раз в 8 часов, в полночь, в 8 утра и в 16=00. Соответственно нам надо вытащить этри три файла:
1, 2, 3. Сливем их в один, получается у нас вот такой лог за день. Всего 4938 запроса, тут все совпадает с вебалайзером. 

Шаг 2: Анализ логов на естественность. 
1. Чем анализировать: Лично я малые логи предпочитаю копать экселем. Автофильтр позволяет легко и наглядно перекидывать их туда-сюда. Итак, открываем файл экселем и начинаем сортировку.
2. Сперва удалим тех, кто спрашивал robots.txt или сам представился как crawler Открываем автофильр, выбираем contains, OR, вписываем robots.txt, crawler и так далее. Действительно, кроме известных всем МснБотов и Слурпов у нас там затесались какие-то BecomeBot, Everbee... выписываем их и удаляем. Тут есть момент: теоретически мы удалим так и конкурента который представился гугльботом и анализирует наш сайт. Ну так и хрен с ним, нас интересуют пути потенциальных покупателей, а таки умники – точно не покупатели. Итак, после удаления всей явно роботовой братии у нас от 4938 строк осталось 3948 только. 
3. Теперь пробежим глазами лог на предмет дикостей. Запросы к SYS_TEST_FILE_DONT_TOUCH HTTP явно не носят естественный характер. Строки в логе типа 69.16.201.66 - - [14/Oct/2005:23:18:28 +0000] "GET / HTTP/1.1" 301 315 "-" "Java/1.4.1_04" тоже, и мы даже не станем вникать что это за юзерагент такой ибо ни одной картинки он не запросил. Удаляем и таких фокусников. Осталось 3831 строки (
xls файл). 
4. Самая первая проверка трафа на естественность – сравнение запросов вообще с запросами картинок. Ибо невозможно купить или искать пирсинг с выключеной графикой :) Итак, формируем новую выборку: те строки лога, которые не содержат вхождений .jpg или .gif Вот, у нас получился файлик этот (
xls файл).
5. Теперь формируем списки IP. Те которые запрашивали что-то вообще (
таковых 45) и те, которые делали некартиночные запросы. Таковых – все теже 45
6. Напишем их на один лист с количеством обращений и посмотрим что вышло у нас: легко видеть что из 45 разных возможно человеческих IP целых 9 спрашивая файлы ни разу не проявили интереса к картинкам.
Жетлтым подсвечены они. Это не очень-то похоже на людей. Самый бодрый из них был 64.233.178.136. Давайте ка глянем кому он принадлежит. Вот тут www.ip2location.com/free.asp проверим. Ба! Старый знакомый! Google! Представился как «Mozilla/4.0 (compatible; MSIE 6.0;)» и все время запрашивал одну и туже страничку. Ну отложим пока этих слепцов бескартиночных в дальгий угол и посмотрим сколько же у нас всего осталось IP ВОЗМОЖНО принадлежащих человекам-посетителям? 45-9=36. То есть не 121 как говорилось в вебалайзере, а всего 36. 

Шаг 3: Анализ на поведение: (продолжение следует)
Исправление предыдущего: я пропустил один айпи. На самом деле их у нас не 36, а 35. Дальше... Список тех кто по идее люди у нас
вот лежит.
1. Где-то тут у нас ходит админ. Проверим обращения к /admin – и точно, самый вниматьельный и самый посещающий у нас именно 80.77.80.226 Выкидываем. Осталось 34. 
2. Проверим владельцев остальных айпи. Сразу обнаружим что 64.233.182.136 – картиночный бот гугля. Его тоже выкидываем. Осталось 33. 
3. Забежим немного вперед. Зайдем на сайт и посмотрим, как идет процесс покупки. Совершая покупку человек посещает страницу sc.html. У нас только один человек из Германии (217.117.71.112) заходил на эту страницу. Но покупку не завершил. Он нормально бродил по сайту, что-то выбрал и сунул в корзину, но тем не менее не заплатил. А почему? Причин тут может быть несколько: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.10) Gecko/20050911 Firefox/1.0.6 (Debian package 1.0.6-5) – довольно необычный набор софта у него. То есть ставим пометку: проверить работоспособность сайта в таких условиях. Ну хотя бы на Фаерфокс. Второе: проверить условия шиппинга на Германию. Действительно, 5.99 если человек хочет купить всего на пару бакосв может быть неприятной ценой для шипинга. К сожалению откуда этот немец взялся - неясно. А было бы интересно.
4. Все остальные кастомеры вообще малолюбопытны. Один клик по ссылке, запрос страницы, порождает 20-40 хитов в зависимости от свойст браузера на рассматриваемом сайте. Посмотрим на те IP где по 42 запроса. 69.239.22.111 – запрос с PPC, через несколько секунд онже снова, на этот раз страница скачана, только морда, 6 секунд. 70.25.38.206 - запрос с PPC, через несколько секунд онже снова, на этот раз страница скачана, только морда, 4 секунды 72.144.13.78 – один запрос, 5 секунд. Если верить логам, то все это запросы с nose piercing, body piercing, но серфер едва завидя сайт убегает галопом. Одно из трех: или сайт не подходит к трафу ИЛИ траф не подходит к сайту ИЛИ проблема техническая, сайт плохо грузится, медленно. Люди запрос то сделали, но ответа не даждавшись убегают. Первая проблема очевидно неуместна, сайт сразу видно о чем, качество картинок хорошее, то есть если человек пришел за пирсингом, то он будет кликать. Третья проблема – ну тут надо просто тестировать. Вторая... ну о качестве ПиПиСи трафа рассуждать среди тех кто им занимается – излишество

Шаг4: Выводы:
А) а трафа то на самом деле совсем нет практически, только с ПиПиСей.
Б) надо проверить скорость загрузки сайта, если она нормальная, то с трафом с ПиПиСей что-то решать придется. Если не нормальная, то решать с хостом.
В) проверить работоспособность в фаерфоксе.


Посмотреть все новости

Заявка на создание сайта

Ответьте пожалуйста, на контрольный вопрос: Название первого месяца в году ?