Какие существуют виды мониторинга?

Мониторинг — это главное, что есть у админа. Админы нужны для мониторинга, а мониторинг нужен для админов.

За последние несколько лет поменялась сама парадигма мониторинга. Новая эра уже наступила, и если сейчас вы мониторите инфраструктуру как набор серверов — вы не мониторите почти ничего. Потому что теперь «инфраструктура» — это многоуровневая архитектура, и для мониторинга каждого уровня есть свои инструменты.

Кроме проблем типа «упал сервер», «надо заменить винт в рейде», теперь надо понимать проблемы уровня приложения и уровня бизнеса: «взаимодействие с микросервисом таким-то замедлилось», «в очереди слишком мало сообщений для текущего времени», «время выполнения запросов к бд в приложении растет, запросы — такие-то».

У нас на поддержке около пяти тысяч серверов, в самых разных конфигурациях: от систем из трех серверов с кастомными докеровскими сетками, до больших проектов с сотнями серверов в Kubernetes.

И за всем этим надо как-то следить, вовремя понимать, что что-то сломалось и быстро чинить. Для этого надо понять что такое мониторинг, как он строится в современных реалиях, как его проектировать и что он должен делать.

Об этом и хотелось бы рассказать.

Как было раньше

Лет десять назад мониторинг был гораздо проще, чем сейчас. Впрочем, и приложения были попроще.

Мониторились, в основном, системные показатели: CPU, память, диски, сеть. Этого вполне хватало, потому что там крутилось одно приложение на php, и ничего больше не использовалось. Проблема в том, что по таким показателям обычно мало что можно сказать. Либо работает, либо нет. Что именно происходит с самим приложением, выше уровня системных показателей понять сложно.

Если проблема была на уровне приложения (не просто “сайт не работает”, а “сайт работает, но что-то не так”), то клиент сам писал или звонил, сообщал, что есть такая-то проблема, мы шли и разбирались, потому что сами мы такие проблемы заметить не могли.

Как сейчас

Сейчас совсем другие системы: с масштабированием, с автоскейлингом, микросервисы, докеры. Системы стали динамичными. Часто никто толком не знает, как именно все работает, на скольких серверах, как именно оно развернуто. Оно живет своей жизнью. Иногда даже неизвестно, что и где запущено (если это Kubernetes, например).

Усложнение самих систем, конечно, повлекло за собой большее количество возможных проблем. Появились метрики приложений, количество запущенных тредов у Java application, частота garbage collector pauses, количество событий в очереди.

Очень важно, чтобы мониторинг также следил за масштабированием систем. Допустим, у вас Kubernetes HPA. Надо понимать, сколько запущено подов, и с каждого запущенного пода должны идти метрики в систему мониторинга приложения, в apm.

Все это нужно мониторить, потому что все это отражается на работе системы. И сами проблемы стали менее очевидными.

Условно, проблемы можно поделить на две большие группы: Проблемы первого рода – не работает основная, “пользовательская функциональность”.

Проблемы второго рода – что-то работает не так, как должно, и может куда-то не туда привести.

То есть теперь надо мониторить не только дискретное “работает/не работает”, а гораздо больше градаций. Что, в свою очередь, позволяет ловить проблему до того, как все рухнет.

Кроме того, теперь надо следить и за бизнес-показателями. Бизнес захотел иметь графики о деньгах, о том как часто идут заказы, сколько времени прошло с последнего заказа и так далее — это теперь тоже задача мониторинга.

Правильный мониторинг

Проектирование и вообще

Представление о том, что именно надо будет мониторить, должно быть заложено в момент разработки приложения и архитектуры, и речь даже не столько про серверную архитектуру, сколько про архитектуру приложения в целом.

Разработчики/архитекторы должны понимать какие части системы критичны для функционирования проекта и бизнеса, и заранее думать о том, что их работоспобность надо проверять.

Мониторинг должен быть удобным для админа, и давать представление о том, что происходит. Цель мониторинга – вовремя получить оповещение, по графикам быстро понять, что именно происходит и что именно нужно чинить.

Метрики и оповещения (алерты)

Алерты должны быть максимально понятными: админ, получив алерт, даже если он не знаком с системой, должен понять, о чем этот алерт, в какую документацию смотреть, или хотя бы кому позвонить. Должны быть четкие инструкции, что именно нужно делать, и как именно решать проблему.

Когда возникает проблема, очень хочется понять, из-за чего она возникла. Получая алерт о том, что у вас не работает приложение, вам очень хотелось бы знать, какие еще смежные системы ведут себя не так, какие еще есть отклонения от нормы. Должны быть понятные графики, собранные в дашборды, из которых сразу будет видно, где отклонение.

Для этого надо точно понимать, что нормально, а что не нормально. То есть должна быть достаточная историческая справка о состоянии системы. Задача заключается в том, чтобы покрыть алертами все возможные отклонения от нормы.

Когда админ получает алерт, он либо должен знать что с ним делать, либо кого спросить. Должна быть инструкция как именно нужно реагировать, и ее надо регулярно обновлять.

Если у вас все работает через систему оркестрирования, то, наверное, у вас все хорошо, если все изменения происходят только через нее, в том числе и мониторинг.

Система оркестрирования позволяет адекватно следить за актуальностью мониторинга.

Мониторинг должен расширяться после каждой аварии — если внезапно возникла какая-то проблема, которая проскочила мимо мониторинга, то, очевидно, надо замониторить эту ситуацию, чтобы в следующий раз проблема не была внезапной.

Бизнес-показатели

Полезно мониторить время с последней продажи, количество продаж за период.

Если выложили релиз, то что изменилось: есть ли просадки по бизнес-показателям? На это отвечает, конечно, A/B тестирование, но графики тоже хотелось бы иметь.

И надо мониторить действия конечного пользователя: писать скрипты на phantomjs, которые повторяют покупку, проходят по всем этапам основного бизнес-процесса.

Также вам, наверное, интересно знать, работает ли сервис логистики, или не свалился ли в очередной раз IpGeoBase. (Комментарий редактора: IpGeoBase — сервис, который использует большое число интернет-магазинов на 1С-Битрикс для определения местоположения пользователя.

Чаще всего это делается непосредственно в коде загрузки страницы, и когда падает IpGeoBase — у нас перестают отвечать десятки сайтов.

Кто-нибудь пожалуйста, скажите программистам, что это надо обрабатывать и делать таймаут, и кто-нибудь — пожалуйста попросите IpGeoBase не падать).

Нужно понимать, зависит ли просадка по бизнес-показателям от вашей системы, или от внешней.

Мониторинг мониторинга

Основные инструменты

В современных системах, которые масштабируются, у вас наверняка используется Prometheus, потому что аналогов в принципе нет. Для того, чтобы просматривать удобные графики от Prometheus нужна Grafana, потому что в Prometheus графики так себе. Нужен также какой-то APM. Либо это самописная система на Open Trace, jaeger и или что-то подобное.

Но это редко кто делает. В основном используется либо New Relic, либо специфичные системы для стеков, типа Dripstat. Если у вас не одна система мониторинга, не один Zabbix, вам еще нужно понимать, как собирать эти метрики, и как раздавать алерты; кого оповещать, кого поднимать, в каком порядке, к кому какой алерт относится, и что с ним вообще делать.

Теперь по порядку.

Zabbix — не самая удобная система. Есть проблемы с кастомными метриками, особенно, если система масштабируется, и вам нужно определить роли. И хотя можно строить очень кастомные графики, алерты и дашборды, все это не очень неудобно и нединамично. Это статичная система мониторинга.

Prometheus — отличное решение для сборки огромного количества метрик. У него примерно те же возможности, что у Zabbix по кастомным алертам. Можно выводить графики и строить алерты по любым диким сочетаниям нескольких параметров.

И это все очень здорово, но очень неудобно смотреть, поэтому к нему добавляется Grafana. Grafana очень красивая. Но сама по себе не очень помогает для мониторинга систем. Зато по ней удобно все читать. Лучше графиков, наверное, и нет.

ELK и Graylog — для сбора логов по событиям в приложении. Может быть полезно для разработчиков, но для подробной аналитики обычно не достаточно.

New Relic — APM, тоже полезный для разработчиков. Есть возможность понять, когда у вас в приложении прямо сейчас что-то идет не так. Понятно, какие из внешних сервисов не очень хорошо работают, или какая из баз медленно отвечает, либо какое системное взаимодействие просаживается.

Свой APM — если вы написали свою систему на Open Tracing, zipkin или jaeger, то, наверное, вы знаете, как именно это должно работать, и что именно, и в какой части кода идет не так. New Relic тоже позволяет это понять, но это не всегда удобно.

Заключение

О том какие показатели надо мониторить лучше думать в время проектирования системы, заранее подумать о том какие части системы критичны для ее работы и о том, как проверять их работу. Алертов не должно быть слишком много, алерты должны быть актуальными. Должно быть сразу понятно, что сломалось и как это чинить.

Чтобы правильно замониторить бизнес-показатели, надо понять как устроены бизнес процессы, что нужно вашим аналитикам, хватает ли инструментов чтобы замерить нужные показатели, и как быстро можно узнать, если что-то пойдет не так.

В следующем посте мы расскажем как правильно спланировать мониторинг современной инфраструктуры, на всех уровнях: на уровнях системы, приложений и бизнеса.

Что такое мониторинг?

Мониторинг: UGC

Мониторинг — это слаженная система непрерывного отслеживания динамики развития разного рода явлений, событий, процессов. Это понятие встречается очень часто. Мы слышим его в бизнес-центрах, по телевизору, читаем о нем в новостях. Узнайте, каким бывает мониторинг и как он повлияет на развитие мира.

«Мониторинг»: что означает это слово

Мониторинг — это слаженная система непрерывного отслеживания динамики развития разного рода явлений, событий, процессов.

Происходит это название от созвучного с ним слова «монитор». С английского языка оно переводится как ‘наблюдатель’.

Но не каждое наблюдение можно назвать мониторингом. Оно отличается тем, что имеет:

Цель и задачи наблюдения.
План для отслеживания.
Проверяемую гипотезу.
Выводы.
Коррекционный план или план действий, соответствующий полученным результатам.

Объектом наблюдения становится конкретный объект и его развитие, явление в природе или обществе, протекание научного эксперимента.
Если просмотр прогноза погоды или чтение новостей имеет все перечисленные выше составляющие, то можете смело считать, что занимаетесь мониторингом каждый день.
При этом задействованы:

анализ;
сравнение;
синтез;
абстрагирование;
сопоставление;
умозаключение.

Также мониторинг состоит из нескольких этапов:

Планирование наблюдения.
Непосредственное его проведение.
Сбор и упорядочивание информации.
Ее обработка.
Выводы.

Процесс мониторинга: Рromtorg.volgograd.ru

Умение проводить мониторинг применяется в разных сферах повседневной жизни.

Но этот метод исследования незаменим и на более высоких уровнях человеческой деятельности.

Без него не обойтись в медицине, экологии, образовании, экономике, политологии и т. д. С его помощью обнаруживаются и изучаются существующие тенденции и результаты их развития.

Узнайте, почему мониторинг стал незаменимым в вопросах экологии.

Что такое мониторинг окружающей среды

Так еще называют экологический мониторинг.
Он необходим в связи со сложной ситуацией в отношениях человека и природы.
Главным образом его проводят с целью стабилизировать состояние окружающей среды. Для этого:

Изучается влияние техники и современных технологий на все составляющие биосферы.
Строятся прогнозы о возможных изменениях, положительных и не очень.
Проводятся поиски путей, как избежать негативные последствия.

Экологический мониторинг поможет предупредить или смягчить последствия человеческой деятельности: выбросы производственных токсинов и отходов, эпидемии среди людей и животных, разрушение атмосферы.

Экологический мониторинг: Shkolazhizni.ru

Существуют разные виды мониторинга в экологии. Их различают по следующим критериям:

По размерам наблюдаемой территории:

Местный.
Региональный.
Национальный.
Всемирный, или глобальный.

По предмету наблюдения.
По составляющим окружающей среды.
По способу организации процесса.

Что такое мониторинг в школе

Сущность процесса мониторинга в образовании не меняется, но приобретает другие формы и особенности.

Сегодня он неотъемлемая часть обучения. Его отсутствие грозит снижением качества обучения, необъективностью в оценке знаний и умений учащихся, возрастанием уровня коррупции, моральным и техническим упадком в обществе.

Без него невозможно эффективно руководить системой образования.

Что исследует школьный мониторинг?

Учебные программы, средства, методы и подходы.
Содержание процесса образования и методики его проведения.
Систему оценивания и ведения учета отметок об успеваемости.
Профессиональный уровень учителей и руководства школы.
Материальную базу школы и финансирование. Выясняется, насколько они соответствуют действующим нормам.

Школьный мониторинг: Тhebestinvest.ru

В более узком смысле мониторинг в школе рассматривается как система отслеживания успеваемости. Для учеников она приобретает форму:

входных и итоговых контрольных;
ежемесячных проверочных;
семестровых и годовых контрольных;
зачетов и экзаменов.

В министерстве образования заверяют о необходимости мониторинговых мероприятий.

Школьный мониторинг полезен в следующих направлениях:

Он ложится в основу коррекции процесса обучения, поспособствует выведению содержания образования и методик преподавания на новый уровень. Без него невозможна ни одна толковая реформа.
Благодаря им родители и педагоги получат объективную информацию о положении дел у детей в учебе.
Школьники получат более глубокую мотивацию к самообразованию и полнее реализуют свои способности не только в школе, но и в последующей карьере.
Учеников легче включить в процесс активного обучения, выявить существующие недостатки в знаниях и найти оптимальные пути их устранения.

Мониторинг важен в разных сферах жизни. Он оптимизирует развитие общества.

Поэтому каждому из нас стоит постараться со своей стороны содействовать реализации поставленных перед человечеством задач.

Оригинал статьи: https://www.nur.kz/leisure/interesting-facts/1732332-cto-takoe-monitoring/

Сущность и виды мониторинга

7.1. Сущность и виды мониторинга

Зачем нужен мониторинг?

Мониторинг (английское Monitoring — осуществление контроля, слежения) — комплекс диагностических наблюдений, аналитической оценки и прогноза состояния какой-то целостной системы, процесса, явления.

В специальной литературе мониторинг рассматривается, как комплекс исследовательских процедур, который позволяет выявить характер изменений в конкретном объекте за определенный промежуток времени. Важнейшей задачей руководителя является умение наладить эффективную систему мониторинга, которая позволила бы быстро вносить необходимые коррективы в работу образовательного учреждения при возникновении неожиданных проблем или непредвиденных новых возможностей. Мониторинг решает следующие основные задачи по управлению планированием:

правильное формирование целей
мотивирование людей на достижение целей
формирование типовых процедур
формирование информационной среды.

Мониторинг применяется тогда, когда возникает необходимость отслеживания процесса реализации какого-либо плана, проекта, развития каких-либо событий, явлений. Получение своевременной информации о ходе протекания какого-либо процесса позволяет лучше понять его суть, а если возникают отклонения, оперативно внести коррективы. Таким образом, мониторинг дает возможность своевременно вмешиваться в механизмы, закономерности, т.е. управлять процессом. В нашем случае — это и есть управление планированием.

Мониторинг — это важнейший инструмент проверки и оценки эффективности отдельных звеньев управленческого процесса.

Руководитель осуществляет мониторинг выполнения плана (планирование деятельности организации проведено в соответствии с нормативно-правовой базой), сопоставляя текущие показатели с нормами, и при необходимости вносит коррективы. В его деятельности можно выделить этапы:

непрерывная проверка показателей;
сравнение с запланированными показателями и оценка;
корректирующие действия и прогноз.

Перечисленные этапы в совокупности составляют процесс управленческого контроля.

Одна из современных тенденций развития управленческого контроля заключается в том, чтобы контроль со стороны руководителя все больше и больше заменялся самоконтролем подчиненных. Руководителю остается только оказывать подчиненным помощь и поддержку, когда это требуется. Применительно к образовательному учреждению можно выделить следующие виды мониторинга:

Методический материал. "Виды мониторинга"

Виды мониторинга

Мониторинг
в образовании –система
организации, сбора, хранения, обработки, анализа и распространения информации о
деятельности школы, обеспечивающая непрерывное слежение за состоянием одной
или нескольких систем образовательного учреждения и прогнозирование их
развития

Понятие
мониторинг происходит от латинского слова monitor — наблюдение, контроль,
предостережение. Мониторинг является
важнейшим инструментом проверки и оценки эффективности внедряемого содержания
образования, используемых методик, служит основой для обоснованных путей
устранения недостатков учебного процесса в школе, является основой для принятия
эффективных управленческих решений.

Отличие
мониторинга от контроля:

Контролировать — это
наблюдать, проверять результат, чтобы он соответствовал требованиям

Мониторинг— система
сбора/регистрации, хранения и анализа небольшого количества ключевых (явных или
косвенных) признаков/параметров описания данного объекта для вынесения суждения
о поведении/состоянии данного объекта в целом. То есть для вынесения суждения
об объекте в целом на основании анализа небольшого количества характеризующих
его признаков.

Объектами
мониторинга выступают
различные уровни образования, отдельные аспекты деятельности, знания и т.д. Мониторинг качества образования является важнейшим условием повышения
эффективности управления системой образования.

Постоянный мониторинг за
качеством учебного процесса, результатов обучения школьников становится особенно
актуальным в условиях реформы школы, обновления содержания образования,
введения образовательных стандартов, обостряющихся проблем доступности учебного
материала, нормализации учебной нагрузки учащихся.

Мониторинг в той или иной мере существовал в системе школьного образования
всегда. Это и контрольные работы, и экзамены, и инспекторские проверки.
Организация мониторинга возможна лишь на базе отработанной стандартной методики
получения и анализа информации о состоянии знаний и умений учащихся.

С этой целью
необходимо совершенствовать мониторинг качества обучения посредством развития федеральной системы тестирования.

Основная
цель создания системы мониторинга — повышение качества образования
К
составляющим мониторинга относятся: объекты и субъекты образовательного
процесса, комплекс показателей качества образования, инструментарий, базы
данных для накопления информации, методики анализа, переработки и интерпретации
информации.
Составные
части мониторинга
Получение
и накопление информации
Обработка
результатов
Анализ
Прогноз
Принципы
построения мониторинга: 1) полнота
данных; 2) неизбыточности данных; 3) эффективности данных; 4) целостности
данных; 5) совместного использования данных разными специалистами; 6) простоты
работы с данными; 7) секретности личных данных.
В
системе образовательного мониторинга можно выделить три уровня:
·
1-й уровень – персональный;
мониторинг осуществляется педагогом ежедневно (это наблюдение, фиксирование
динамики развития каждого учащегося и коллектива в целом);
·
2-й уровень – внутришкольный;
мониторинг осуществляется администрацией образовательного учреждения
(отслеживание динамики развития коллективов, параллелей и школы в целом по
определенным критериям или комплексно по нескольким направлениям и во времени);
·
3-й уровень – муниципальный;
мониторинг осуществляется органами управления образования (отслеживание
динамики развития образовательных учреждений).
2.
Виды мониторинга

Классификация
видов мониторинга. В
основу классификации видов мониторинга могут быть положены разные основания, к
числу которых относятся: цели проведения мониторинга; его основные функции;
область применения данных; инструментарий; модель или технология проведения
мониторинга и др.

Чаще
всего классификация видов мониторинга проводится в соответствии с его основными
функциями: информационной, диагностической, сравнительной и прогностической.

Информационный
мониторинг. Проведение
информационного мониторинга нацелено на сбор, накопление, анализ, интерпретацию
данных. Анализ носит не сопоставительный или прогностический, а
констатирующий характер.

Отличительной чертой информационного мониторинга
является отсутствие анализа, сопоставления результатов мониторинга на
различных уровнях управления качеством образования.

В рамках
информационного мониторинга анализ направлен, на выявление степени
согласованности данных с некоторыми нормами и стандартами.

Например,
анализ данных мониторинга аттестационного тестирования выпускников школ
нацелен на установление соответствия учебных достижений выпускников требованиям
ГОС.

При анализе таких данных следует принимать во внимание средние размеры
классов по школам внутри района, количество учащихся, приходящихся на одного
преподавателя в школе, ежегодные расходы на учебные материалы, размер библиотечных
фондов, данные о квалификации преподавателей в школах, число сотрудников
вспомогательного состава и т.д.

Диагностический
мониторинг. Диагностический
мониторинг предназначен для определения того, как справляются с различными
темами или разделами учебного плана большинство учащихся.

Преподаватели
выявляют проблемы усвоения учебного материала и осуществляют деятельность по диагностическому
мониторингу на уровне класса.

В районе диагностические системы мониторинга
нацелены на определение отдельных слабо усвоенных умений и навыков;

Сбор
данных для диагностического мониторинга обычно проводится с помощью
педагогических измерений. В качестве основного инструментария используются
корректирующие критериально-ориентированные тесты, которые сопровождаются
диагностическими тестами для установления причин пробелов в усвоении учебного
материала.

Данные
диагностического мониторинга не используют для проведения сравнений между
школами или районами.

Сравнительный
мониторинг.

Сравнительный мониторинг отличается от
других видов мониторинга специфическим анализом данных, который направлен на
сопоставление количественных оценок по совокупности показателей для регионов,
областей, районов, школ, отдельных преподавателей и других участников
образовательной деятельности. По результатам сравнительного мониторинга обычно
принимаются административные решения.

В
сравнительном мониторинге обычно используют количественные шкалы, стандартизированные
тесты учебных достижений и профессионально разработанные анкеты для сбора
дополнительной информации о факторах, находящихся вне деятельности школ, но
существенно влияющих на результаты их образовательной деятельности.

Проведение
сравнительного мониторинга нередко включает измерения входных данных и итоговых
результатов обучения, поскольку многие из них значимо влияют на итоговые
учебные достижения учащихся. Межшкольные, межрайонные или межрегиональные
сравнения стимулируют соревнование и мотивируют педагогов к улучшению
образовательного процесса.

Наибольшие
трудности при проведении сравнительного мониторинга связаны со сбором
дополнительной информации по ряду показателей, находящихся вне сферы влияния
школ, но требующих учета при проведении межшкольных, межрайонных и других
сравнений. Прогностический мониторинг.

Прогностический
мониторинг предназначен для выявления и предсказания позитивных и негативных
тенденций в развитии образовательных систем.

Он очень важен для решения
управленческих задач в образовании, связанных с формированием социального
заказа и соответствующих потенциалу системы образования.

Опыт
реформирования в образовании показал, что стратегические решения зачастую
приходится принимать в условиях отсутствия необходимой информации, в
результате не учитываются все возможные последствия проводимых нововведений и
преобразований.

Примером тому может служить предоставление образовательным
учреждениям права на оказание платных (услуг, которое, с одной стороны, сыграло
положительную роль а с другой — имело негативные, неучтенные
последствия.

В частности оно способствовало коммерциализации общего
образования, расширению практики использования денежных средств родителей.

Рассмотренные
виды мониторинга редко встречаются в практике образования в чистом виде. Их
выделение имеет смысл для описания требований к проведению, обеспечивающих
корректность сбора, анализа и интерпретации данных. Как правило, в образовании проводят
комплексный мониторинг, сочетающий в различных пропорциях перечисленные выше
виды.

Показатели эффективности мониторинга
-Повышение
информированности администрации школы
-Тенденция к
повышению педагогического мастерства учителя
-Повышение качества
обучения
-Наличие в школе
банка диагностических работ по всем предметам и результатов мониторинговых
работ

Глава 1. Основные понятия о мониторинге. Общая структура мониторинга. Классификация видов мониторинга. Системы и службы мониторинга

Е.Г. Язиков, А.Ю. Шатилов Геоэкологический мониторинг Учебное пособие для вузов.- Томск, 2003.- 336 с.

1.3. Классификация видов мониторинга

В последние годы наряду с предложенными классификациями можно остановиться на одной из них (Хуторский и др., 1999), в которой классификация мониторинга окружающей среды проводится по следующим признакам:
1) Классификация по наблюдениям за реакцией составляющей биосферы:
биологический (биотический);
геофизический (абиотический);
2) Классификация по факторам и объектам воздействия мониторинга различных сред:
– атмосферы – приземного слоя и верхней атмосферы, атмосферных осадков;
– гидросферы – поверхностных вод (воды рек, озер и водохранилищ), вод океанов и морей, подземных вод
– литосферы, в том числе почвы.
3) Классификация по масштабам воздействия:
– глобальный;
– национальный;
– региональный;
– локальный;
– детальный.
4) Классификация по методам наблюдения:
спутниковый (дистанционный).

5) Классификация систем и подсистем (мониторинг по Ю.А. Израэлю):

– медико-биологический;
– биологический;
– климатический;
— и варианты: биоэкологический, геоэкологический, биосферный.

В своей монографии М.С. Панин (2002) приводит классификацию мониторинга, опираясь на фундаментальный труд под редакцией Л.А. Муравья (Экология …, 2000).

По объектам наблюдения различают атмосферный, воздушный, водный, почвенный, климатический мониторинг, мониторинг растительности, животного мира, здоровья населения и т.д.

Существует классификация мониторинга по факторам, источникам и масштабам воздействия (рис. 1.3.1 и табл. 1.3.1).

Рис. 1.3.1. Блок схема системы мониторинга (Экология…, 2000)

Таблица 1.3.1

Классификация систем (подсистем) мониторинга

(Экология …, 2000)

Принцип классификации	Существующие или разрабатываемые системы (подсистемы) мониторинга
Универсальные системы	Глобальный мониторинг (базовый, региональный, импактный уровни), включая фоновый и палеомониторинг. Национальный мониторинг (например: Общегосударственная служба наблюдения и контроля за уровнем загрязнения внешней среды). Межнациональный мониторинг (например: Мониторинг трансграничного переноса загрязняющих веществ).
Реакция основных составляющих биосферы	Геофизический мониторинг. Биологический мониторинг, включая генетический. Экологический мониторинг (включая вышеназванные).
Различные среды	Мониторинг антропогенных изменений (включая загрязнение и реакцию на него) в атмосфере, гидросфере, почве, криосфере и биоте.
Факторы и источники воздействия	Мониторинг источников загрязнения. Ингредиентный мониторинг (например, отдельных загрязняющих веществ, радиоактивных излучений, шумов и т.д.).
Острота и глобальность проблемы	Мониторинг океана. Мониторинг озоносферы.
Методы наблюдения	Мониторинг по физическим, химическим и биологическим показателям. Спутниковый мониторинг (дистанционные методы).
Системный подход	Медико-биологический мониторинг. Экологический мониторинг. Климатический мониторинг. Варианты: биоэкологический, геоэкологический, биосферный мониторинг.

Мониторинг факторов воздействия – мониторинг различных химических загрязнителей (ингредиентный мониторинг) и разнообразных природных и физических факторов воздействия (электромагнитное излучение, солнечная радиация, шумовые вибрации).

Мониторинг источников загрязнений – мониторинг точечных стационарных источников (заводские трубы), точечных подвижных (транспорт), пространственных (города, поля с внесенными химическими веществами) источников. По масштабам воздействия мониторинг бывает пространственным и временным.

По характеру обобщения информации различают следующие системы мониторинга:

– глобальный – слежение за общемировыми процессами и явлениями в биосфере Земли, включая все ее экологические компоненты, и предупреждение о возникающих экстремальных ситуациях;
– базовый (фоновый) – слежение за общебиосферными, в основном природными, явлениями без наложения на них региональных антропогенных влияний;
– национальный – мониторинг в масштабе страны;
– региональный – слежение за процессами и явлениями в пределах какого-то региона, где эти процессы и явления могут отличаться и по природному характеру, и по антропогенным воздействиям от базового фона, характерного для всей биосферы;
– локальный – мониторинг воздействия конкретного антропогенного источника;
– импактный – мониторинг региональных и локальных антропогенных воздействий в особо опасных зонах.
Классификация систем мониторинга может основываться и на методах наблюдения (мониторинг по физико-химическим и биологическим показателям, дистанционный мониторинг).

Химический мониторинг – это система наблюдений за химическим составом (природного и антропогенного происхождения) атмосферы, осадков, поверхностных и подземных вод, вод океанов и морей, почв, донных отложений, растительности, животных и контроль за динамикой распространения химических загрязняющих веществ. Глобальной задачей химического мониторинга является определение фактического уровня загрязнения окружающей среды приоритетными высокотоксичными ингредиентами, представленными в таблице 1.3.2.

Таблица 1.3.2

Классификация приоритетных загрязняющих веществ и контроль за их содержанием в различных средах (Экология …, 2000)

Класс приоритетности	Загрязняющие вещества	Среда	Тип программы измерений
1	2	3	4
I	Диоксид серы и взвешенные частицы Радионуклиды (Sr-90, Cs-137)	Воздух Пища	И, Р, Б, Г И, Р
II	Озон ДДТ и другие хлорорганические соединения	Воздух Биота, человек	И, Б И, Р
III	Нитраты, нитриты Оксиды азота	Питьевая вода, пища Воздух	И И
IV	Ртуть и ее соединения Свинец Диоксид углерода	Пища, воздух Воздух, пища Воздух	И, Р И Б
V	Оксид углерода Нефтеуглеводороды	Воздух Морская вода	И Р, Б
VI	Фтористые соединения	Питьевая вода	И
VII	Асбест Мышьяк	Воздух Питьевая вода	И И
VIII	Микротоксины Микробиологическое заражение Реактивные углеводороды	Пища Пища Воздух	И, Р И, Р И

Примечание: И – импактный, Р – региональный, Б – базовый, Г – глобальный.

Физический мониторинг – система наблюдений за влиянием физических процессов и явлений на окружающую среду (наводнения, вулканизм, землетрясения, цунами, засухи, эрозия почв и т.д.).

Биологический мониторинг – мониторинг, осуществляемый с помощью биоиндикаторов (т.е. таких организмов, по наличию, состоянию и поведению которых судят об изменениях в среде).

Экобиохимический мониторинг – мониторинг, базирующийся на оценке двух составляющих окружающей среды (химической и биологической).

Дистанционный мониторинг – в основном авиационный, космический мониторинг с применением летательных аппаратов, оснащенных радиометрической аппаратурой, способной осуществлять активное зондирование изучаемых объектов и регистрацию опытных данных.

Комплексный экологический мониторинг окружающей среды – это организация системы наблюдений за состоянием объектов окружающей природной среды для оценки их фактического уровня загрязнения и предупреждения о создающихся критических ситуациях, вредных для здоровья людей и других живых организмов.

При проведении комплексного экологического мониторинга окружающей среды: а) проводится постоянная оценка экологических условий среды обитания человека и биологических объектов (растений, животных, микроорганизмов и т.д.

), а также оценка состояния и функциональной целостности экосистем; б) создаются условия для определения корректирующих действий в тех случаях, когда целевые показатели экологических условий не достигаются.

Мониторинг в IT-проектах: какие уровни бывают и что стоит измерять | Блог VK Cloud

Поговорим о том, какие уровни мониторинга бывают и что стоит измерять и анализировать в IT-проектах.

Зачем нужен мониторинг и что это такое

Случается, что серверы падают и программы ломаются. Это неизбежно. Случайный баг, скачок напряжения в сети, сбои в подаче электричества — всё это может вызывать поломки.

Кроме того, помимо очевидных проблем, могут быть и куда менее очевидные. Например, менеджеры по продукту приняли плохое решение, реализовали плохую фичу и из-за нового релиза упала выручка. Технически код хорошо работает, серверы в порядке — но бизнес несет убытки.

От обоих типов проблем спасает мониторинг — это постоянный сбор и анализ различных параметров поведения системы. С его помощью можно описать и измерить в числовом выражении каждый важный аспект проекта.

Что бы вы ни запускали — у вас всё равно будут серверы в дата-центре, а у них есть определенные параметры производительности. Эти показатели надо мониторить на каждом сервере, обслуживающем ваших клиентов:

нагрузка на процессор;
свободное место в оперативной памяти;
свободное место на жестком диске;
нагрузка на сеть;
нагрузка на жесткий диск — количество операций на запись и чтение;
количество задач, запущенных на исполнение.

Список параметров вполне очевиден. Мониторинг этих значений позволяет диагностировать большую пачку неприятных ситуаций, которые могут привести к полному или частичному коллапсу инфраструктуры.

А именно:

Нагрузка близка к критической, ваше железо готово уйти в отказ (пора масштабироваться!).
Выкатили новую версию кода и как-то быстро закончилась память (или «нас взломали!»).
Ничего не выкатывали, но после очередной рекламной кампании пришло очень много клиентов и скоро всё упадет.

Для анализа поведения серверов в самом простом виде можно использовать штатные средства контроля по типу htop. Более гибкое и масштабируемое решение — Zabbix — он уже умеет анализировать основные параметры целого кластера серверов и собирать их в одной панели. Такое решение требует настройки со стороны квалифицированного администратора.

Пользователи контейнерных систем могут использовать для мониторинга штатный Kubernetes Dashboard — инструмент поставляется вместе с Kubernetes практически по умолчанию.

Допустим, мониторинг серверов у нас есть и они выглядят адекватно. Памяти много, нагрузка на процессор — незначительная. Наверное, всё хорошо организовано, клиентов немного, всё работает как часы? Может быть. Или всё упало, программы не запущены, клиенты не могут попасть на сервер и выполнить запросы? Тоже может быть.

Какой из вариантов правильный — подскажут метрики приложений.

У любого приложения должны быть параметры, по которым разработчики и администраторы понимают, что программа работает и в ней что-то делается. У каждой программы эти параметры свои, но вот несколько примеров, которые позволят понять, какие метрики нужно придумать для приложения:

Количество запросов в единицу времени: час, секунду, день, минуту — зависит от обилия трафика в вашей программе.
Количество активных пользователей в системе в единицу времени.
Количество различных записей в СУБД — в целом и новых в единицу времени.
Количество ошибок, которые вы успешно отловили и зарегистрировали.

У вас в системе 100 активных пользователей, они генерируют 1 000 запросов в минуту и у них случается 1 ошибка в час? Допустим, что всё хорошо. У вас в системе 3 активных пользователя, они генерируют 10 000 запросов в минуту и ловят 5 000 ошибок? Наверное, стоит начать беспокоиться. Даже если метрики нагрузки на процессор и диски в порядке.

Для мониторинга на этом уровне подойдет специализированная СУБД — Prometheus, Graphite, InfluxDB. С установкой самой базы данных проблем не будет, а вот посчитать и пробросить нужные метрики в базу — для этого понадобятся усилия программистов.

Для удобства анализа ко всем этим базам лучше всего подключить Grafana — графический инструмент для отображения статистики и метрик.

На платформе VK Cloud (бывш. MCS) для приложений предоставляется встроенная система мониторинга состояния серверов и приложений, а для Kubernetes предусмотрен мониторинг на базе Prometheus и Grafana, позволяющий отслеживать доступность сервисов.

Есть еще специфические системы отлова ошибок в коде — они могут вовремя оповестить программистов о сбойной ситуации. Иногда этого вполне достаточно для базовой диагностики проблем. Хороший пример такой системы — Sentry.

Третий уровень: мониторинг бизнес-метрик

Конечная цель любой программы — решать чьи-то проблемы и получать за это деньги. Это значит, что для управленцев нужны метрики, которые расскажут:

Сколько пользователей зарегистрировано в системе и сколько пользуется приложением раз в день/неделю/месяц?
Какой процент людей после регистрации умудряется дойти до формы оплаты и оплатить подписку на ваши услуги? Сколько они платят?
Как люди пользуются вашими услугами? Какие фичи используют почти все, а какие — единицы клиентов?
Как много денег вы зарабатываете на вашей программе? Сколько человек оплатили подписку? Какие средние и медианные чеки на клиента? Какова общая выручка и прибыль?

Список метрик, которые нужны бизнесу, велик и зависит от конкретного проекта и индустрии. Лучше всего вам помогут разобраться с правильными параметрами менеджеры продукта.