Tomorrow Will Be A Better Day

Published

- 2 min read

uWSGIの統計情報をfluentd経由でNorikraに格納するまでのメモ

img of uWSGIの統計情報をfluentd経由でNorikraに格納するまでのメモ

検証背景

uWSGIには、統計情報を取得できるオプション設定がある。 The uWSGI Stats Server

uwsgitopで人間が見ながらチューニングするのは何だかんだで大変

uWSGIのJSONはネスト構造で複雑

Kibana化を見越して、InfluxDBでもよいかなと思ったけど、返ってくるJSONが複雑すぎた。

Norikraは複雑なJSONでもクエリを投げられるので、そこまで格納できれば監視&可視化に使うのはユーザが自由に行える

想定連携図

uWSGI_Norikra連携 各種ミドルウェアの連携は上記のイメージ。 なお、今回は全てローカル環境に構築した。

各ミドルウェアインストール

uwsgiインストール

td-agentインストール

Overview of Streaming Import by Treasure Agent (td-agent)【リンク切れ】を参照のこと。 今回はUbuntuで試したけど、おそらくCentOSなどでも連携可能な筈

Norikraインストール

Norikraのインストールは、JRubyの環境を整えるのが面倒くさかったので、 下記サイトのdockerイメージで準備した(doker環境の準備方法は割愛) Fluentd と Norikra をもっとカジュアルに使おう

各種設定情報

uWSGI

uWSGI起動方法

こんな感じでuWSGIは起動できる。iniファイルの中身は以下の通り。

本番運用時は、リバースプロキシにnginxなどを配置する方がよさげ。 fluentdのin_execでローカルから統計情報を取得するため、stats用の設定を入れてある。 ちなみに、uWSGIの統計情報は、以下の様なJSONで返ってくる。

uWSGIの統計情報JSON

td-agent

td-agent.conf

今回、norikraはローカルに準備したので、この設定になっている。

in_execで実行するpythonスクリプト

Norikraで投げるクエリ例

これは運用しながら、適宜クエリ内容を見直すことになるかと。 harakiri_countやexceptionsとかも登録しておいた方がよさそう。

listen_queue状況の確認例

平均リクエスト時間の確認例

物理メモリ消費量の確認例

結果

Norikraに格納された結果は、こんな感じ

Norikra画面

今回は、Norikraにデータを格納するまでに絞っているが、 あとはnorikra-clientを使って、ゴニョゴニョすれば色んなところで可視化できるかと。

まとめ

uWSGIの統計情報をfluentd経由でNorikraまで送信して、データを集計させることができた。 統計情報はfluentd経由で送信しているので、今後BigQueryやS3などに入れるといった要件にも対応できる筈

Related Posts

There are no related posts yet. 😢