昨日の未明からPrometheusサーバのアラートが鳴り止まない。
旅行中ということもあって優先度を下げていたが、今日まで鳴り続けていてノイズになっているので、調査開始。

# history | grep rm
  381  rm -r /opt/a-marsh/observability/data/grafana
  382  rm -r /opt

以前の作業時に不要となったGrafanaのデータだけを消すつもりが、とち狂って`/opt`配下を削除してしまったらしい。

ただほとんどのアプリが動作中、かつ1分おきに再同期がかかるので、アプリの動作には影響が無かったが、PrometheusのTSDBの一部が破壊されてしまった様子。
（むしろ、これだけの軽傷で済んでいたことに驚き）

大いなる力には、大いなる責任が伴う。