≡× МЕНЮ

• Гаджеты
• Android
• Windows
• Ios
• Блог

Как создать собственный log файл в linux. Введение в лог-файлы Linux

Наконец сегодня вырвал из работы какое-то время, чтобы посвятить его очень полезной информации. Речь пойдет о системных логах-logs Ubuntu (журналах). Так как читкой логов занимаются в основном системные администраторы, то я эту статью размещаю в разделе "Администрирование Ubuntu " .

Что же такое Log files ???

Файл регистрации , протокол , журнал или лог (англ. log ) - файл с записями о событиях в хронологическом порядке.

Лог-файлы сервера - специальные файлы, в которых протоколируются все действия пользователя на сервере. В лог-файлы сервера попадает информация, откуда пришел тот либо иной посетитель, когда и сколько времени он провел на сайте, что там смотрел и скачивал, какой у него браузер и какой IP-адрес у его компьютера. Каждая запись в лог-файле соответствует определенному хиту, так как сервер может фиксировать именно запрос к одному из элементов сайта. Проанализировав лог-файлы, можно получить сводные цифры активности пользователей, изучить закономерности поведения групп пользователей и оценить эффективность рекламной кампании.

Ведение протокола , или протоколирование , - хронологическая запись c различной (настраиваемой) степенью детализации сведений о происходящих в системе событиях (ошибки, предупреждения, сообщения), обычно в файл.

Исследование содержимого файла регистрации ошибок после возникновения неполадок часто позволяет понять их причины.

Лог файлы различных приложений

Тут собраны пусть не все, но основные Log Files. Все журналы находятся в каталоге /var/log :

• /арасhе2/ - журналы Web-сервера Apache2;
• /cups/ - журналы системы печати;
• /gdm/ - журналы менеджера дисплея;
• /installer/ - журналы программы установки;
• /news/ - журналы NNTP-сервера и NNTP-клиентов;
• /proftpd/ - журналы FTP-сервера;
• auth.log - журнал аутентификации (кто и когда входил в систему);
• daemons.log - журнал для разных демонов (служб);
• dmesg - загрузочные сообщения ядра;
• dpkg.log - журнал программы dpkg;
• kem.log - журнал сообщений ядра;
• mail * - журналы почтовой службы;
• messages - различные сообщения ядра (и в некоторых случаях - обычных программ);
• secure - журнал службы безопасности;
• syslog - журнал демона syslog;
• Xorg.O.log - журнал системы XFree86;
• user.log - различные сообщения программ пользовательского уровня.

Протоколирование сообщений системы и программ выполняется двумя демонами - klogd и syslogd . Первый протоколирует сообщения ядра, а второй - все остальные сообщения, поэтому никогда не отключайте эти демоны. Файл dmesg создается самим ядром при начальной загрузке системы.
Имена файлов журналов могут немного отличаться от приведенных выше, поскольку имена журналов зависят от настроек системы, в том числе и от настроек syslogd . К тому же у вас могут быть дополнительные файлы протоколов или даже каталоги, содержащие файлы протоколов, - повторюсь, все зависит от настроек системы. Чтобы узнать, какие файлы протоколов у вас являются основными, откройте файл конфигурации syslogd - /etc/syslog.conf . Прочитав его, вы узнаете, какие файлы протоколирования есть в вашей системе и для чего они используются.
Но в файле конфигурации /etc/syslogd.conf перечислены далеко не все файлы протоколов. Многие серверы ведут свои журналы, имена файлов которых вы можете узнать в файле конфигурации того или иного сервера.
В каком же журнале искать ошибку? Тут нужно исходить из принципа взаимоисключения: если у вас не работает Web-сервер Apache , то искать причину нужно в каталоге /var/log/apache2/ , но никак не в файле /var/log/user.log .
Сообщения различных программ пользовательского уровня, т. е. обычных программ, возможно, запущенных с привилегиями root , протоколируются в файл /var/log/user.log.

Размещение перед именем файла символа канала (|) позволит использовать fifo (first in - first out, первый пришел - первый вышел) или именованный канал (named pipe) в качестве приемника для сообщений. Прежде чем запускать (или перезапускать) syslogd, необходимо создать fifo при помощи команды mkfifo. Иногда fifo используются для отладки.

Терминал и консоль

Терминал, такой как /dev/console.

Удаленная машина

Чтобы сообщения пересылались на другой хост, поместите перед именем хоста символ (@). Обратите внимание, что сообщения не пересылаются с принимающего хоста. (для работы данного назначения на клиенте и сервере в файле /etc/services должна быть прописана строчка syslog 514/udp , и открыт UTP-порт 514)

Список пользователей

Разделенный запятыми список пользователей, получающих сообщения (если пользователь зарегистрирован в системе). Сюда часто включается пользователь root.

Все зарегистрированные пользователи

Чтобы известить всех зарегистрированных пользователей при помощи команды wall, используйте символ звездочки (*).

Пример несложного syslog.conf:

# Все сообщения ядра выдавать на консоль. #kern.* /dev/console # Все логи уровня info или выше, кроме сообщений электронной почты, а так же # не логировать сообщения аутентификации и сообщений демона cron! *.info;mail.none;authpriv.none;cron.none /var/log/messages # Записывать в отдельный файл сообщения, содержащие конфиденциальную # информацию аутентификации, независимо от их уровня. authpriv.* /var/log/secure # Все сообщения почтовой системы тоже записывать в отдельный файл. mail.* -/var/log/maillog # Логировать сообщения планировщика в файл /var/log/cron cron.* /var/log/cron # Сообщения о чрезвычайных ситуациях должны немедленно получить # все пользователи системы *.emerg * # Сохранять сообщения новостей уровня crit и выше в отдельный файл. uucp,news.crit /var/log/spooler # Сохранять сообщения загрузки в boot.log local7.* /var/log/boot.log

Как и во многих конфигурационных файлах, синтаксис следующий:

• строки, начинающиеся с #, и пустые строки игнорируются.
• Символ * может использоваться для указания всех категорий или всех приоритетов.
• Специальное ключевое слово none указывает, что журналирование для этой категории не должно быть выполнено для этого действия.
• Дефис перед именем файла (как -/var/log/maillog в этом примере) указывает, что после каждой записи журнал не должен синхронизироваться. В случае аварии системы вы можете потерять информацию, но отключение синхронизации позволит повысить производительность.

В синтаксисе конфигурационного файла можно поставить перед приоритетом знак! , чтобы показать, что действие не должно применяться, начиная с этого уровня и выше . Подобным образом, перед приоритетом можно поставить знак = , чтобы показать, что правило применяется только к этому уровню, или != , чтобы показать, что правило применяется ко всем уровням, кроме этого. Ниже показано несколько примеров (man syslog.conf можно найти множество других примеров):

# Посылать все сообщения ядра в /var/log/kernel. # Посылать все сообщения уровня critical и higher на удаленную машину sysloger и на консоль # Посыласть все сообщения уровня info, notice и warning в /var/log/kernel-info # kern.* /var/log/kernel kern.crit @sysloger kern.crit /dev/console kern.info;kern.!err /var/log/kernel-info # Посылать все сообщения почтовой системы, кроме уровня info в /var/log/mail. mail.*;mail.!=info /var/log/mail

Я постарался максимально понятно работу syslogd показать на схеме:

Запуск демона syslogd

Запуск демона протоколирования запускаются на этапе инициализации системы посредством скрипта /etc/rc.d/init.d/syslog , однако для того, чтобы задать параметры запуска, нет необходимости корректировать этот скрипт - начиная с версии 7.2, опции запуска считываются из отдельного конфигурационного файла /etc/sysconfig/syslog (/etc/default/syslog в debian) .

Вот некоторые возможные параметры запуска демона syslogd:

• -a /folder/socket - указание дополнительного слушающего сокета (не забудьте предварительно создать сокет)
• -d - отладочный режим. При этом демон не переходит в фоновый режим и выдает все сообщения на текущий терминал;
• -f имя-конфигурационного-файла . Задает имя альтернативного конфигурационного файла, который будет использоваться вместо заданного по умолчанию /etc/syslog.conf;
• -l список-хостов - задание списка хостов, имена которых не должны записываться с указанием полного доменного имени (FQDN - Full Qwalified Domain Name);
• -m минут - запущенный без этой опции sysklogd через каждые 20 минут записывает в протокол сообщения категории mark (временные отметки). С помощью опции -m можно либо изменить интервал между отметками, либо вовсе отменить выдачу таких сообщений;
• -p socket - задание альтернативного сокета UNIX (вместо прослушиваемого по умолчанию /dev/log);
• -r - разрешение принимать сообщения от удаленных хостов;
• -x - запрет определения имени хоста по его адресу для предотвращения зависания при работе на одном хосте с сервером DNS.
• -v - показать версию и закончить работу

После запуска демона syslogd создается файл статуса /var/lock/subsys/syslog нулевой длины, и файл с идентификационным номером процесса /var/run/syslogd.pid .

С помощью команды
kill -SIGNAL `cat /var/run/syslogd.pid`

можно послать демону syslogd один из следующих сигналов: SIGHUP - перезапуск демона; SIGTERM - завершение работы; SIGUSR1 - включить/выключить режим отладки.

Вообще-то в системе запускаются два демона протоколирования - syslogd и klogd . Оба демона входят в состав пакета sysklogd .

Демон klogd отвечает за журналирование событий, происходящих в ядре системы . Необходимость в отдельном демоне klogd объясняется тем, что ядро не может использовать стандартную функцию syslog. Дело в том, что стандартные библиотеки С (включая ту библиотеку, в которой находится функция syslog) предназначены для использования только обычными приложениями . Поскольку ядро тоже нуждается в функциях журналирования, в него включены свои библиотеки, недоступные приложениям. Поэтому ядро использует свой собственный механизм генерации сообщений.

Демон klogd предназначен для организации обработки этих сообщений. В принципе он может производить такую обработку полностью самостоятельно и независимо от syslogd, например, записывая эти сообщения в файл, но в большинстве случаев используется принятая по умолчанию настройка klogd, при которой все сообщения от ядра пересылаются тому же демону syslogd.

Автоматическая ротация (обновление заполненных файлов) и архивирование журналов

Со временем, файл журнала имеет свойство увеличиваться, особенно при интенсивной работе какого-либо сервиса. Соответственно, необходимо иметь возможность контролировать размер журналов. Это делается при помощи команды logrotate , которая обычно выполняется демоном cron . О работе cron я расскажу в следующих статьях. Главная цель команды logrotate состоит в том, чтобы периодически создавать резервные копии журналов и создавать новые чистые журналы. Сохраняется несколько поколений журналов и, когда завершается срок жизни журнала последнего поколения, он может быть заархивирован (сжат). Результат может быть отправлен по почте, например, ответственному за ведение архивов.

Для определения порядка ротации и архивирования журналов используется конфигурационный файл /etc/logrotate.conf . Для разных журналов можно задать разную периодичность, например, ежедневно, еженедельно или ежемесячно, кроме того, можно регулировать количество накапливаемых поколений, а также указать, будут ли копии архивов отправляться ответственному за ведение архивов и, если будут, когда. Ниже показан пример файла /etc/logrotate.conf:

# сначала заданы параметры "по-умолчанию" (глобальные опции) # обновлять файлы журнала еженедельно weekly # хранить архив логов за 4 последние недели rotate 4 # создавать новый (пустой) файл после ротации (обновления) create # раскомментируйте, если желаете, чтобы сохраненные файлы сжимались #compress # включить настройки ротации из указанного каталога include /etc/logrotate.d # не хранить wtmp, или btmp -- настройки ротации данных журналов следующие: /var/log/wtmp { missingok monthly create 0664 root utmp rotate 1 } /var/log/btmp { missingok monthly create 0664 root utmp rotate 1 } # специфичные системные журналы могут быть настроены ниже

Глобальные опции размещаются в начале файла logrotate.conf . Они используются по умолчанию, если где-то в другом месте не задано ничего более определенного. В примере ротация журналов происходит еженедельно и резервные копии сохраняются в течение четырех недель. Как только производится ротация журнала, на месте старого журнала автоматически создается новый. Файл logrotate.conf может содержать спецификации из других файлов. Так, в него включаются все файлы из каталога /etc/logrotate.d.

В этом примере также содержатся специальные правила для /var/log/wtmp и /var/log/btmp (хранящие информацию о удачных и неудачных попытках входя в систему), ротация которых происходит ежемесячно. Если файлы отсутствуют, сообщение об ошибке не выдается. Создается новый файл и сохраняется только одна резервная копия.

В этом примере по достижении резервной копией последнего поколения она удаляется, поскольку не определено, что следует с ней делать.

Резервные копии журналов могут также создаваться, когда журналы достигают определенного размера, и могут быть созданы скрипты из наборов команд для выполнения до или после операции резервного копирования. Пример:

/var/log/messages { rotate 5 mail logadmin@sysloger size 100k postrotate /usr/bin/killall -HUP syslogd endscript }

В этом примере ротация /var/log/messages производится по достижении им размера 100 КБ. Накапливается пять резервных копий, и когда истекает срок жизни самой старой резервной копии, она отсылается по почте на адрес logadmin@sysloger. Командное слово postrotate включает скрипт, перезапускающий демон syslogd после завершения ротации путем отправки сигнала HUP. Командное слово endscript необходимо для завершения скрипта, а также в случае, если имеется скрипт prerotate. Более полную информацию см. в страницах руководства man для logrotate.

Параметры , задаваемые в конфигурационном файле logrotate.conf:

• compress | nocompress (старые версии сжимаются или не сжимаются с помощью gzip)
• compresscmd (задает программу сжатия, по умолчанию - gzip)
• uncompresscmd (задает программу разжатия, по умолчанию - ungzip)
• compressext (задает суффикс для сжатых файлов)
• compressoptions (задает параметры программы сжатия; по умолчанию - "-9", т.е. максимальное сжатие для gzip)
• copytruncate | nocopytruncate (обычно старая версия переименовывается и создается новая версия журнала; при задании этого параметра logrotate копирует журнал в новый файл, а затем обрезает старый; используется, если программа, создающая журнал, не умеет его закрывать; теряются записи, сделанные в промежутке между копированием и обрезанием; а поможет ли, если создающая журнал программа вместо режима append просто пишет в файл, используя внутренний указатель?)
• create [права-доступа владелец группа] | nocreate (сразу после переименования старой версии журнала и до вызова postrotate создается новый журнал с указанными атрибутами - права доступа задаются в восьмеричном виде, как в chmod.2; если атрибуты не указаны, то берутся от старого журнала)
• daily (смена версий в серии происходит ежедневно)
• delaycompress | nodelaycompress (некоторые программы не сразу закрывают журнал, в этом случае сжатие надо отложить до следующего цикла)
• errors email (кому направлять сообщения об ошибках)
• extension суффикс (задается суффикс, добавляемый к именам файлов при ротации перед суффиксом сжатия)
• ifempty | notifempty (смена версий даже если файл пуст; действует по умолчанию)
• include имя-файла | имя-директории (текстуально подставить файл или все файлы из указанной директории; не включаются поддиректории, специальные файлы и файлы с суффиксами из списка исключений; нельзя использовать внутри секции)
• mail адрес | nomail (когда смена версий приводит к необходимости удалить старый журнал, то послать его по указанному адресу)
• mailfirst (посылать не удаляемую версию журнала, а первую)
• maillast (посылать удаляемую версию журнала; действует по умолчанию)
• missingok | nomissingok (не посылать сообщения об ошибке, если журнал отсутствует)
• monthly (смена версий происходит ежемесячно)
• olddir директория | noolddir (во время смены версий журнал перемещается в указанную директорию; д.б. на том же физическом устройстве)
• postrotate (все дальнейшие строчки до строки endscript исполняются как команды shell после процесса смены версии)
• prerotate (все дальнейшие строчки до строки endscript исполняются перед процессом смены версии)
• rotate число (сколько старых версий хранить; если 0, то ни одной)
• size байт (смена версии происходит, если размер журнала превысил указанное число; можно использовать суффиксы "k" - килобайт - и "M" - мегабайт)
• sharedscripts | nosharedscripts (выполнять команды prerotate и postrotate только один раз для всех файлов, описанных в секции)
• tabooext [+] список-суффиксов (задание списка суффиксов-исключений для include; если указан знак "плюс", то дополнение, иначе замена; по умолчанию: .rpmorig, .rpmsave, .rpmnew, ",v", .swp и "~")
• weekly (смена версий происходит еженедельно)

Изучение и мониторинг журналов

Записи в журналах обычно содержат метку времени, имя хоста, на котором выполняется описываемый процесс, и имя процесса. Просматривать журналы можно при помощи программы постраничного вывода, например, less , искать определенные записи (например, сообщения ядра от определенного демона) можно при помощи команды grep :

# less /var/log/messages # grep "ppp" /var/log/messages | tail Dec 17 16:34:25 proxy pppd: Connection terminated. Dec 17 16:34:25 proxy pppd: Exit. Dec 17 16:35:57 proxy pppd: LCP terminated by peer (^P]kV^@

Компьютер может работать не постоянно и выключаться, допустим на ночь. Поэтому в /var/log/messages записи хранятся циклически от запуска компьютера к выключению, это можно заметить по сообщениям:

Дек 17 08:32:56 syslog-server syslogd 1.4-0: restart. Дек 17 08:32:56 syslog-server syslog: запуск syslogd succeeded Дек 17 08:32:56 syslog-server kernel: klogd 1.4-0, log source = /proc/kmsg started. Дек 17 08:32:56 syslog-server syslog: запуск klogd succeeded

Dec 17 08:32:56 syslog-server kernel: Kernel command line: auto BOOT_IMAGE=linux ro root=303 BOOT_FILE=/boot/vmlinuz-2.4.2-2 Dec 17 08:32:56 syslog-server kernel: Memory: 125652k/130560k available (1365k kernel code, 4200k reserved, 92k data, 236k init, 0k highmem) Dec 17 08:32:56 syslog-server kernel: CPU: Intel(R) Pentium(R) 4 CPU 1.60GHz stepping 02

Так же, в этом файле можно найти информацию о дисковой памяти (включая информацию о геометрии диска, структуре разделов и используемых прерываниях), информацию о периферийных устройствах, о запуске отдельных служб и сервисов, информацию о подключении файловых систем и сообщения о входе пользователей в систему, а также сообщения об ошибках.

Иногда может возникать необходимость мониторинга системных журналов с целью поиска текущих событий. Например, можно попробовать поймать редко случающееся событие в тот момент, когда оно произошло. В таком случае можно использовать команду tail с опцией -f для отслеживания содержимого системного журнала. Пример:

# tail -f /var/log/messages | grep syslog-server Dec 17 16:46:09 syslog-server pppd: pptpd-logwtmp.so ip-up ppp0 maikop 94.77.0.150 Dec 17 16:46:09 syslog-server pppd: Script /etc/ppp/ip-up finished (pid 12552), status = 0x0 Dec 17 16:46:49 syslog-server pptpd: CTRL: Client 85.175.197.65 control connection started Dec 17 16:46:49 syslog-server pptpd: CTRL: Starting call (launching pppd, opening GRE) Dec 17 16:46:49 syslog-server pppd: Plugin /usr/lib/pptpd/pptpd-logwtmp.so loaded.

Кроме файлов-журналов, указанных в /etc/syslog.conf, существуют так же и другие файлы, например файл , который хранит информацию о процессе загрузки системы до запуска syslogd, а так же файлы , имеющие двоичный формат и и хранящие информацию о последнем входе пользователя в систему, о всех удачных входах пользователей в систему и о всех неудачных входах пользователей в систему соответственно. Так же в каталоге /var/log/ могут находится лог-файлы таких демонов как веб-сервер или прокси-сервер. Формат данных файлов аналогичен журналам syslogd.

На последок, хотелось бы сделать акцент на том, что данный протокол очень не защищен, т.к. syslog не содержит никаких средств защиты от подделок сообщений. Хуже того, использование протокола UDP позволяет злоумышленникам посылать сообщения от имени любого хоста. Ваша локальная сеть должна быть защищена экраном от приема пакетов с поддельными локальными адресами (хотя это не помешает посылать поддельные сообщения изнутри локальной сети) и от приема пакетов снаружи на порт 514/udp. Известны случаи переполнения диска ложными сообщениями.

Протокол syslog и UDP не обеспечивают гарантированной доставки (сообщения могут быть потеряны при перегрузке сети или перехвачены, поврежденные сообщения удаляются без предупреждения), правильной последовательности доставки (сообщение о завершении процесса может придти раньше сообщения о его запуске), приоритетной доставки.

Конфиденциальность сообщений не обеспечивается, так как они передаются открытым текстом.

Если при настройке генератора сообщений указать неправильный адрес коллектора или релея, то никаких сообщений об ошибке не будет - сообщения будут удаляться (или записываться в чужой журнал).

Были предложены несколько проектов улучшения протокола syslog. Например, документ RFC 3195 предлагает систему протоколирования (syslog-conn), основанную на TCP, обеспечивающую гарантированную доставку сообщений в правильной последовательности. Проект syslog-sign предлагает обеспечить аутентификацию, упорядоченность, целостность сообщений и обнаружение пропавших сообщений за счет генерации специальных сообщений, содержащих цифровую подпись (signature) блока предыдущих сообщений с сохранением стандартного протокола и формата syslog и использованием UDP.

Подведем небольшой итог:

В линукс есть единый демон, отвечающий за журналирование событий локальной системы и удаленных систем. Все события собираются из сокета /dev/log, порта UDP - 514, а так же от "помощника" - демона klogd, который присылает сообщения от ядра. Все собранные сообщения фильтруются демоном syslogd через правила в файле /etc/syslog.conf и в соответствии с правилами распределяются по соответствующим местам назначения. Файлы логов периодически "обрезаются". Периодичность определяет файл logrotate.conf и команда logrotate, которая запускается системным планировщиком - cron.

На сегодня это все. Надеюсь описал все максимально понятно. Со временем буду дополнять статью!

С Уважением, Mc.Sim!

Как известно в линукс есть очень важный инструмент sysklogd, который позволяет вести журнал событий происходящих в системе. Системным администраторам, да и любому пользователю столкнувшемуся с ошибками придется посмотреть логи linux , чтобы выявить проблему и решить ее.

Все лог файлы linux распологаются в папке:
/var/log

log-файлы линукс:

messages	Содержит глобальные системные логи Linux, в том числе те, которые регистрируются при запуске системы.
dmesg	Содержит сообщения, полученные от ядра. Регистрирует много сообщений еще на этапе загрузки, в них отображается информация об аппаратных устройствах, которые инициализируются в процессе загрузки. Количество сообщений в логе ограничено, и когда файл будет переполнен, с каждым новым сообщением старые будут перезаписаны.
auth.log	Содержит информацию об авторизации пользователей в системе, включая пользовательские логины и механизмы аутентификации, которые были использованы.
boot.log	Содержит информацию, которая регистрируется при загрузке системы.
daemon.log	Включает сообщения от различных фоновых демонов
kern.log	Тоже содержит сообщения от ядра, полезны при устранении ошибок пользовательских модулей, встроенных в ядро.
lastlog	Отображает информацию о последней сессии всех пользователей. Это нетекстовый файл, для его просмотра необходимо использовать команду lastlog.
mail.log	журналы сервера электронной почты, запущенного в системе.
user.log	Информация из всех журналов на уровне пользователей.
Xorg.x.log	Лог сообщений Х сервера.
btmp	Содержит информацию о неудачных попытках входа.
cups	Все сообщения, связанные с печатью и принтерами.
cron	Всякий раз когда демон Cron запускает выполнения программы, он записывает отчет и сообщения самой программы в этом файле.
secure	Содержит информацию, относящуюся к аутентификации и авторизации.
wtmp	Содержит журнал входа пользователей в систему. Используйте команду wtmp, чтобы отобразить содержимое этого файла.
faillog	Содержит неудачные попытки входа в систему. Используйте команду faillog, чтобы отобразить содержимое этого файла.
mysqld.log	Содержит файлы логов сервера баз данных MySQL.

Посмотреть логи linux можно с помощью нескольких консольных программ. Ниже разберем несколько примеров:

1. Вывод и пролистываение текста с помощью less:
less /var/log/messages

2. Просмотр логов в реальном времени:
tail -f /var/log/messages

3. Открываем файл с помощью cat:
cat /var/log/dmesg

4. Выводим первые 10 строк из файла:
head /var/log/dmesg

5. Выводим последние 10 строк из файла:
tail /var/log/dmesg

6. Выводим определенное количество строк:
head -n3 /var/log/dmesg
где, -n3 — количество строк которое нужно показать.

7. Выводим только ошибки:
grep -i error /var/log/messages

Кроме консоли и текстовых редакторов вы также можете использовать графическую программу «System Log Viewer», которая в удобной и наглядной форме покажет вам логи в линукс .

Так как это постоянный вопрос новых пользователей на Линукс-форумах, им посвящается этот пост.

Новичку на форуме Линукс.
// читается скороговоркой//

Помогите телепатам!
Сообщите про железо,
Расскажите о системе,
Не скрывая ничего.

В этом деле благородном
Да поможет вам дэмэседж *
Вместе с эльэсписиаем **
Не забудьте про унэйм ***

Не скрывайте ваши логи,
И конфиги, кстати, тоже,
А запостите на форум
Со скриншотами на пару.

И тогда уж стопудово
Аксакалы юниксвея
Вам помогут и подскажут,
Как систему починить.

----------------------
* имеется в виду dmesg
** вывод команды lspci
*** команда uname -a

Зачем нужны лог-файлы и почему они важны
Нормальные [?] операционные системы ведут подробный протокол собственных действий, записывая всё происходящее в текстовые файлы, log-файлы, лог-файлы или логи . Это обычные текстовые файлы, которые можно прочесть любым текстовым редактором (или средствами самой операционной системы), хотя многие логи доступны на чтение только пользователю root.
Главное: по логам можно восстановить почти полную картину неполадки, попутно выяснив особенности вашего железа и степени его поддержки.

Вот как выглядят лог-файлы в Linux:

usbcore: registered new interface driver hiddev
input: Logitech USB Receiver as /class/input/input1
input: USB HID v1.11 Mouse on usb-0000:00:1d.0-1
input: Logitech USB Receiver as /class/input/input2
input,hiddev96: USB HID v1.11 Device on usb-0000:00:1d.0-1
usbcore: registered new interface driver usbhid
drivers/hid/usbhid/hid-core.c: v2.6:USB HID core driver
usb 1-5: new high speed USB device using ehci_hcd and address 3
usb 1-5: configuration #1 chosen from 1 choice
scsi0: SCSI emulation for USB Mass Storage devices
usb-storage: device found at 3
usb-storage: waiting for device to settle before scanning
scsi 0:0:0:0: Direct-Access ChipsBnk SD/MMCReader 4081 PQ: 0 ANSI: 2




sd 0:0:0:0: 499712 512-byte hardware sectors (256 MB)
sd 0:0:0:0: Write Protect is off
sd 0:0:0:0: Mode Sense: 0b 00 00 08
sd 0:0:0:0: Assuming drive cache: write through
sda: sda1 sda2
sd 0:0:0:0: Attached SCSI removable disk
sd 0:0:0:0: Attached scsi generic sg0 type 0
usb-storage: device scan complete

Из этого куска лога видно, что произошло два события:

• подключилась мышь (выделено фиолетовым): input: USB HID v1.11 Mouse on usb-0000:00:1d.0-1 и скорее всего эта мышь беспроводная (об этом говорит USB Receiver )
• подключили USB-накопитель (выделено зелёным): usb 1-5: new high speed USB device using ehci_hcd and address 3, который опознан как USB-диск scsi0: SCSI emulation for USB Mass Storage devices ёмкостью 256Мб sd 0:0:0:0: 499712 512-byte hardware sectors (256 MB) и содержащий две партиции (два раздела с данными) sda: sda1 sda2 .
  

Как видите, из лог-файлов можно выудить огромное количество подробностей о работе аппаратуры. Другие лог-файлы могут содержать сообщения об ошибках и часто рецепты, что можно попробовать для их исправления.

Где хранятся лог-файлы в Linux
Все лог-файлы должны лежать в одном каталоге, который находится тут:
В общем, довольно логично. Но заходить туда не обязательно: вспоминаем, что консоль - наш друг и мощное оружие в умелых руках. Для того, чтобы быстро получить логи и прикрепить их к посланию на форум / опубликованию / пересылке по почте делаем так:

1. Из консоли:
1. в графическом режиме - в меню программ она может называться xterm, terminal, konsole, bash.
2. в консольном режиме - если видите перед собой чёрный экран со словами типа penta4@penta4rce:~$ ничего пока делать не надо - вы и так в консоли:-)
2. Далее пишем:
1. dmesg > dmesg.txt
2. lspci -v > lspci.txt
3. cp /var/log/X.org.0.log ~/
3. Далее видим в своём домашнем каталоге файлы dmesg.txt и lspci.txt и X.org.0.log

Вот этих файлов от вас так настойчиво добиваются на форумах. Наличие логов, вместе с подробным описанием проблемы и разумным количеством скриншотов способны радикально быстрее получить грамотный и исчерпывающий ответ (а ещё чаще - прямую ссылку на решение).

Для более подробного изучения неполадки и выяснения особенностей работы аппаратуры можно использовать приёмы работы, замечательно описанные

В процессе своей работы система отслеживает и сохраняет в специальные файлы некоторые события, которые она считает важными или просто нужными для использования в целях исправления и отладки ошибок, сбойных конфигураций и т. д. Файлы, в которых хранятся эти события называются файлами журналов или файлами регистрации. Нередко файлы регистрации занимают слишком много дискового пространства, что может свидетельствовать как о неисправности системы, ошибках конфигураций, так и о просто неправильной настройке демонов регистрации событий, которые отслеживают и собирают всё подряд. Таким образом работа с системой регистрации событий - важная составляющая в работе любого системного администратора, от которой всецело зависит качество обслуживания систем и как следствие - их надёжность и долговечность.

Как устроена система регистрации событий?

Опытные системные администраторы знают, что просматривать и анализировать журналы (файлы) регистраций необходимо регулярно и с особой тщательностью. Информация, содержащаяся в журналах очень часто помогает быстро решить возникающие неполадки или выявить скрытые проблемы в конфигурации системы. Для отслеживания событий системой, проверки журналов, учёта, хранения, архивирования и удаления информации из этих журналов должен быть разработан и утверждён специальный регламент для организации, эксплуатирующей и/или обслуживающей системы, серверы и сети.

Основным инструментом регистрации событий в UNIX и Linu до сих пор остаётся демон syslogd системы Syslog. Но следует иметь в виду также и то, что на протяжении длительного времени из-за многообразия всевозможных ответвлений UNIX и версий Linux множество программных пакетов, служебных скриптов, сетевых демонов используют свои собственные журналы, порой отличающимся экзотическим форматом.

В общем случае системой Syslog (и другими специализированными программами) производится перехват отслеживаемого события и регистрация его в файле регистрации. Само регистрируемое событие представляет собой строку текста, содержащую данные о дате/времени, типе, степени важности события. Также в этот набор могут быть, в зависимости от ситуации, включены и другие данные. Сама строка регистрируемого события для выделения указанных компонентов разбивается символами-разделителями: пробелы, табуляции, а также знаками пунктуации.

Журналы регистрации легко просматривать, поскольку они являются обычными текстовыми файлами. Для эффективной работы с журналами используются самые стандартные инструменты из базовой поставки любого дистрибутива - команды и . Если нужно «ворошить» очень большие и сложные по формату журналы, то можно (и даже нужно) вместо утилиты grep использовать другой, гораздо более производительный и гибкий в подобных задачах инструмент - утилиту . Язык обработки текста Perl также очень хорошо подходит для этого.

Типичная запись системного журнала системы Syslog обычно выглядит следующим образом:

Dec 18 15:12:42 backup.main.superhosting.ru sbatchd: sbatchd/main: ls_info() failed: LIM is down; try later; trying ... Dec 18 15:14:28 system.main.superhosting.ru pop-proxy: Connection from 186.115.198.84 Dec 18 15:14:30 control.main.superhosting.ru pingem : office.main.superhosting.ru has not answered 42 times Dec 18 15:15:05 service.main.superhosting.ru vmunix: Multiple softerrors: Seen 100Corrected Softerrors from SIMM J0201 Dec 18 15:15:16 backup.main.superhosting.ru PAM_unix: (sshd) session closed "for user trent

В данном случае можно видеть, что в одном из журналов Syslog собраны события из нескольких источников: программы sbathd, pingem, pop-proxy. Также можно видеть, что события регистрируются для нескольких хостов, взаимодействующих с данной системой: backup, system, office и service.

log файлы и их расположение в Linux

Как уже отмечалось, в системах UNIX и Linux нет чётких соглашений о том, где и как должны храниться журналы регистрации. Они могут быть разбросаны хоть по всей файловой системе, поэтому для каждого администратора важно сразу разобраться, где и для каких пакетов и демонов находятся соответствующие файлы журналов. Но несмотря на отсутствие чётких формальных регламентов относительно мест хранения журналов, всё же существует традиционно сложившееся правило, что эти файлы должны находиться в каталогах /var/log, /var/log/syslog, а также в /var/adm.

Как правило, доступ для чтения файлов в указанных каталогах предоставляется только суперпользователю, однако нет ничего страшного, если для часто просматриваемых журналов, в которых также нет важной системной информации настроить более «демократический» режим доступа. Обычно к такому варианту также прибегают для удобства и экономии времени, когда нужно часто и регулярно изучать некоторые журналы, например для веб-сервера Apache, которые обычно находятся в /var/log/apache2 или /var/log/httpd.

Стоит также помнить и о том, что бывают случаи, когда (особенно на сбойных конфигурациях) общий объём файлов журналов резко увеличивается, при этом велик риск «уложить» систему. Для удобства контроля за свободным пространством на устройствах хранения, а также для надёжности каталог /var часто выносят в отдельную файловую систему на отдельном разделе.

Некоторые специальные файлы журналов

В следующей таблице приводятся сведения о некоторых журнальных файлах, информация из которых очень полезна для системного администрирования:

Файл	Программа	Место	Частота	Системы	Назначение
acpid	acpid	Ф	64к	RZ	События, связанные с системой питания
auth.log	sudo и прочие	S	М	U	Информация об авторизации
apache2/*	httpd или apache2	Ф	Д	ZU	Журналы веб-сервера Apache
apt*	APT	Ф	М	U	Установщики пакетов
boot.log	Сценарии запуска	Ф	М	R	Логи сценариев запуска
boot.msg	Ядро	В	-	Z	Образ буфера сообщений ядра
cron,	cron	S	Н	RAH	Логи и сведения о работе демона cron
cups/*	CUPS	Ф	Н	ZRU	Сообщения, связанные с системой печати
daemon.log	Разное	S	Н	U	Сообщения средств демонов
debug	Разное	S	Д	U	Сообщения для отладки
dmesg	Ядро	В	-	RU	Образ буфера сообщений ядра
dpkg.log	dpkg	Ф	М	U	Установщики пакетов
faillog	login	Н	Н	RZU	Информация о неудачных попытках авторизации
apache2/*	Httpd или apache2	Ф	Д	R	Журналы веб-сервера Apache для каталога /etc
kern.log	login	В	-	RZ	Все сообщения средств ядра
lastlog	login	В	-	RZ	Время последней регистрации в системе каждого пользователя (этот файл бинарный)
mail*	Программы электронной почты	S	Н	Все	Сообщения средств электронной
messages	Разное	S	Н	RZUS
rpmpkgs	cron.daily	В	Д	R	Список установленных RPM-пакетов
samba/*	smbd и прочие	Ф	Н	-	Сведения о работе сервера Samba
secure	sshd и прочие	S	М	R	Конфиденциальные авторизационные сообщения
sulog	su	Ф	-	SAH	Сведения об удачных и неудачных попыток использования команды su
syslog*	Разное	S	H	SUH	Основной системный журнальный файл
warn	wpar	S	H	Z	События уровня системных предупреждений/ошибок
wpars/*	wpar	Ф	-	А	Сведения о событиях загрузочных разделов
wtmp	login	В	M	Все	Сообщения о регистрации в системе (бинарный файл)
xen/*	Xen	Ф	1m	RZU	Информация от монитора виртуальных машин Xen
Xorg.n.log	Xorg	Ф	Н	RS	Сообщения об ошибках сервера X Windows
yum.log	yum	Ф	М	R	Журнал управления пакетом

Для данной таблицы действуют следующие обозначения: S - Syslog, В - встроенное имя, Ф - конфигурационный файл, Д - ежедневно, Н - еженедельно, М - ежемесячно, NN - размер в килобайтах или мегабайтах, Z - SUSE, R - Red Hat и CentOS, S - Solaris, H - HP-UX, A - AIX. В столбце «Частота» указывается частота, с которой удаляется устаревшая информация, связанная со временем или с объёмом файла. В столбце «Программа» указывается программа, создающая файл.

Следует отметить также, что большая часть сообщений для представленных в таблице файлов направляется в систему Syslog. Уровень критичности и программа, создающая файл задаются в конфигурационном файле /etc/initlog.conf. - так работает система Syslog. Файл faillog является двоичным, и поэтому может быть прочтён утилитой failog.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter .