Published
- 2 min read
uWSGIの統計情報をfluentd経由でNorikraに格納するまでのメモ

検証背景
uWSGIには、統計情報を取得できるオプション設定がある。 The uWSGI Stats Server
uwsgitopで人間が見ながらチューニングするのは何だかんだで大変
uWSGIのJSONはネスト構造で複雑
Kibana化を見越して、InfluxDBでもよいかなと思ったけど、返ってくるJSONが複雑すぎた。
Norikraは複雑なJSONでもクエリを投げられるので、そこまで格納できれば監視&可視化に使うのはユーザが自由に行える
想定連携図
uWSGI_Norikra連携 各種ミドルウェアの連携は上記のイメージ。 なお、今回は全てローカル環境に構築した。
各ミドルウェアインストール
uwsgiインストール
td-agentインストール
Overview of Streaming Import by Treasure Agent (td-agent)【リンク切れ】を参照のこと。 今回はUbuntuで試したけど、おそらくCentOSなどでも連携可能な筈
Norikraインストール
Norikraのインストールは、JRubyの環境を整えるのが面倒くさかったので、 下記サイトのdockerイメージで準備した(doker環境の準備方法は割愛) Fluentd と Norikra をもっとカジュアルに使おう
各種設定情報
uWSGI
uWSGI起動方法
こんな感じでuWSGIは起動できる。iniファイルの中身は以下の通り。
本番運用時は、リバースプロキシにnginxなどを配置する方がよさげ。 fluentdのin_execでローカルから統計情報を取得するため、stats用の設定を入れてある。 ちなみに、uWSGIの統計情報は、以下の様なJSONで返ってくる。
uWSGIの統計情報JSON
td-agent
td-agent.conf
今回、norikraはローカルに準備したので、この設定になっている。
in_execで実行するpythonスクリプト
Norikraで投げるクエリ例
これは運用しながら、適宜クエリ内容を見直すことになるかと。 harakiri_countやexceptionsとかも登録しておいた方がよさそう。
listen_queue状況の確認例
平均リクエスト時間の確認例
物理メモリ消費量の確認例
結果
Norikraに格納された結果は、こんな感じ

今回は、Norikraにデータを格納するまでに絞っているが、 あとはnorikra-clientを使って、ゴニョゴニョすれば色んなところで可視化できるかと。
まとめ
uWSGIの統計情報をfluentd経由でNorikraまで送信して、データを集計させることができた。 統計情報はfluentd経由で送信しているので、今後BigQueryやS3などに入れるといった要件にも対応できる筈