Анонс
Вероятно, каждому программисту или системному администратору приходилось анализировать качественные и количественные характеристики поведения своих систем по логам.
При отсутствии подходящего инструментария это часто превращается в довольно муторное и грязное занятие. Выстраиваются конвейеры из кучки утилит обработки текста и временных файлов, ищутся и забрасываются туториалы по gnuplot, R, hadoop, узкоспециализированным или тяжеловесным системам - и в итоге горе-исследователь просто машет рукой.
Мне надоела эта ситуация, и я написал для себя два простых инструмента, которые, к моему собственному удивлению, оказались чрезвычайно универсальны.
Цели:
- любая задача визуализации решается однострочником, который можно без раздумий набить прямо в командной строк,
- не делается почти никаких предположений о формате лога.
Вот несколько примеров задач, каждая из которых решается однострочником:
- посмотреть общую картину, чем когда какой узел кластера или нить занимались,
- посмотреть график того, сколько запросов приходит/уходит из системы в секунду,
- посмотреть график длительности обработки запросов (или их квантилей, вероятностей попадания в интервалы и т.п.),
- посмотреть, как меняется частота появления различных типов запросов к разным машинам или датацентрам во времени,
- посмотреть, какую долю времени обработки занимает обращение к базе; сравнить с графиком числа запросов к базе в секунду,
- посмотреть зависимость размера нескольких очередей в системе от времени (и понять, например, между какими очередями затык),
- сравнить распределение длительностей запросов к memcached с двух разных стоек.
Комментарии