midnight in a perfect world

webエンジニアのメモ

「Fluentd実践入門」を読む。

Fluentdに触れて数年経つが、設定ファイルの可読性が高くて、なんとなく何をしているのか読めるのと、ログ管理の基盤として既に動いてるというような状況が相まってそれほど深堀りして改善する機会がなかった。正確にはログ量がスパイクした時のバッファやチャンクのチューニングが課題となって少し取り組んだことがあるのだが、生のデータを使わずに検証環境でスパイクさせるのが難しいのと他のタスクとの優先度の兼ね合いであまり進まなかったということがあった。昨年出たばかりで今読んで学びが大きそうという期待もあって読んだ。

前半の7割くらいがFluentd自体の紹介と構成の解説、運用方法やチューニングについて述べており、残り3割くらいは自分でプラグイン開発する方法について解説されている。結構カジュアルに作れるもんなんだなと改めて知った。特に開発言語がrubyで、業務で見慣れていることもあり理解しやすかった。運用方法やチューニングについては、実はそれほど大きく今担当してるシステムの改善につながりそうになかった。アウトプットのプラグインがdatadogなどのクラウドサービスだとそれほど再送制御などの設定を付与できず(する必要がなく?)、読みながら「お、この設定良さそうだから追加してみよう」と思っても対応してないということが多かった。ただ、監視体制に対しては結構改善の余地があったので、Fluentd自体の処理のメトリクスをもう少し細かくとって計測可能な状態にしていく予定。