Debian/Ubuntu — watchdog для сервисов

Собственно по непонятным причинам на одном из серверов отваливается mysql. Давно хотел на критичные сервисы «натравить» watchdog, а вот и случай подвернулся 🙂 Итак, что делать для того чтобы восстановить работу «упавшего» сервиса? В репозитариях есть пакет watchdog, но он перегружает сервер в случай некой беды, будь то превышенный Load Avarage либо отвалившийся пинг и тд. Это нам не особо подходит. Можно конечно и там настроить реакцию на ивент не ребут, а выполнение своего собственного скрипта, но толку тогда от watchdog, если его работа периодическая (в системе и так есть Cron) и он умеет перегружать сервис только с помощью самописного скрипта … Короче скрипт что так, что сяк нужно писать самому, решил что watchdog это уже overhead.

Скрипт написал вот такой, сохранил в директории /root/scripts:

#!/bin/bash

SERVICES="openntpd mysql bacula-fd apache2"
 
for SERVICE in ${SERVICES}
 do
   service $SERVICE status 2>&1>/dev/null
    if [ $? -ne 0 ];
      then
        service $SERVICE restart
      else
        echo -e "$SERVICE is running! All right ..."
    fi
done

Тоесть я слежу за статусом сервисов openntpd, mysql, bacula-fd apache2 и в случае если их статус отличный от «running» сервис будет перегружен стандартной командой service SERVICE_NAME restart.
Ну и запуск его каждые 3 минуты по крону:

srv:~# crontab -l
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
MAILTO=""
# Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab(5) and cron(8)
#
# m h  dom mon dow   command
*/3     *       *       *       *       /root/scripts/watchdog_for_services.sh

srv:~#

Напомню что для правки конфига задач крона нужно из консоли набрать команду crontab -e
Проверил банальным вырубанием сервисов (service openntpd stop) — работает как надо! При некоторых изменениям путей можно использовать в FreeBSD.
P.S. Думаю что чуть погодя напишу какуюнить оповещалку срабатывания, хоть бы и по email … я конечно за тотальную автоматизацию, но все же хочется знать что там на серваках происходит 🙂

Хай щастить!

    • skeletor
    • Август 8th, 2014 8:27дп

    Не годится такой метод, так как сервис может быть и running, но соединения не отрабатывать. Например, подвис. Лучше всего использовать monit, в котором есть проверка коннекта к порту или сокету.

    • admin
    • Август 8th, 2014 8:34дп

    @skeletor
    Точно также проверка по «открытости порта» не дает гарантии что сервис работает корректно 🙂 Тот же апач может быть запущен, работать, но в силу какихлибо проблем не выдавать контент 🙂
    Это лишь костыль частично решающий конкретную проблему с одним из моих серверов, на котором в Ubuntu какогото фига автоматом не стартует mysql, а Ажур на котором этот сервак установлен, какого хера перегружает раз в месяц виртуалку 🙂
    В идеале нужно дергать страничку curl-ом и анализировать контент, если страничка выдается и содержание ее приемлемое — все OK, иначе — Error. Но пока так оставлю … меня устраивает 🙂

  1. Трэкбэков пока нет.

Why ask?