Максим Харитонов. Как наблюдать за осьминогами: S3-server observability

Тезисы Observability — одно из списка базовых свойств современной информационной системы. Когда мы проектировали аудит нашего S3 хранилища мы прошли много стадий — от записей в access-логах до стабильного масштабируемого хранилища на базе Clickhouse, которое сейчас решает большое количеств наших задач. И это не только очевидные вопросы: кто, что, где и когда, и как. Сейчас мы пришли к тому, что наш аудит стал фундаментом для решения задачи охлаждения-сжатия данных, спасал нас от проблем, стал фундаментом для сложной аналитики использования и планирования развития хранилища. Этим опытом — от логов до многофункционоального инструмента я и хочу поделиться. Рассказ рассчитан на бэкенд-разработчиков и инженеров эксплуатации, имеющих некоторый опыт работы с объектными хранилищами или просто на тех, кто занимается и интересуется проектированием аудита для своих систем. Аудитория Backend-developer, devops-engineer, team-lead, engineers. Уровень сложности Any level. Сайт – https://codefest.ru Презентация – https://disk.yandex.ru/i/EIkQkDkzVBC_oA