Показать статистику
0 голосов
от (1.7тыс. баллов)

Я привык проверять логи на своей Linux-системе через tail -f, и далее если нужно ставлю pipe и уже всякие regex

tail -f /var/log/mylog | grep -i 10.10.10.1

А как вы это делаете? Спасибо заранее за то что поделитесь опытом

439 просмотров 1 ответов

1 Ответ

0 голосов
от (17.4тыс. баллов)

Где то в сети встречал подобрку утилит для просмотра и анализа лог-файлов. 

Давайте по-порядку. Наверное, самое близкое к утилите tail будет MultiTail - эта тулза использует ncurses и может показывать содержимое логов на нескольких окнах в пределах одного терминала. Выглядит это так: 

Далее, можно использовать Logcheck. Как написано в описании на официальном сайте утилиты, Logcheck - это простая программа, которая позволяет системному администратору просматривать файлы журналов, которые создаются на хостах, находящихся под их контролем. Утилита делает это, отправляя по почте сводки файлов журнала после предварительной фильтрации «нормальных» записей. Обычные записи - это записи, которые соответствуют одному из многих включенных файлов регулярных выражений, содержащихся в базе данных. Ставится через apt-get в Debian/Ubuntu: 

$ apt-get install logcheck

Пример того, как это выглядит:

 

 

Наиболее мощной из всех утилит, на мой взгляд, является LogMiner. 

LogMiner - это мощный пакет анализа журналов для Apache и IIS (или других веб-серверов, использующих комбинированные или расширенные форматы журналов W3C). Он может извлекать и представлять несколько отчетов о посещениях, обращениях, трафике, запросах, путях навигации, браузерах и ОС, используемых пользователями, и так далее.

Данные хранятся в базе данных PostgreSQL с использованием схемы, оптимизированной для минимального уменьшения избыточности.

LogMiner был вдохновлен популярным пакетом Webalizer, но он отличается в некоторых основных моментах:

  • данные хранятся в серверной части СУБД, а отчеты создаются «на лету», в то время как Webalizer генерирует простые HTML-файлы. СУБД позволяет извлекать и агрегировать данные разными способами, когда вам нужно. Недостатком является то, что при синтаксическом анализе файлов журнала у вас не будет скорости обработки Webalizer.
  • Webalizer индексирует данные только за последние 12 месяцев: предыдущие отчеты все еще находятся на диске, но недоступны по какой-либо ссылке.
  • LogMiner позволяет легко переходить к предыдущим месяцам.
  • Отчеты Webalizer жестко запрограммированы в программе. LogMiner реализует отчеты более расширяемым способом. Фактически каждый отчет представляет собой простой PHP-класс, обычно поддерживаемый функцией PL / pgSQL (хотя вы можете вставлять свои SQL-запросы в PHP-код, если хотите).
  • LogMiner предлагает больше отчетов, чем Webalizer: например, диаграммы ОС и графики навигации.
  • LogMiner также поддерживает расширенный формат журнала W3C, который используется Microsoft IIS. Если у вас смешанная веб-ферма, вы все равно можете иметь центральный статистический репозиторий.
  • В зависимости от ваших потребностей вы можете предпочесть LogMiner Webalizer, особенно если вам нравится иметь центральный репозиторий SQL для ваших данных, который позволяет вам извлекать данные, которые вам нужны в любое время, или добавлять отчет, который не планировался из начало и примените его к более старым данным.
Еще есть Alco - по сути, это скрипт на awk. Позволяет делять подсветку искомых данных. Особенно скрипт удобен при анализе логов веб-сервера Apache. .
...