過去の賢人に学ぶ、インフラ運用チームのマネジメント失敗事例

CkReal

gumiアドベントカレンダー9日目です。
今回はちょっと技術的なことを離れて、チームマネジメントまわりのことを書いてみようと思います。

1.チーム背景

私の所属しているチームは、主にAWS環境の運用を行っています。
チームメンバーは、ほぼ私が1人で対応していた時期から、数人規模のチームを推移してきました。

「愚者は経験に学び、賢者は歴史に学ぶ」とはよく言ったもので、残念ながら私は完全に前者になってしまいました。
改めて自分の失敗を振り返ると、良書と呼ばれる本には、失敗内容に関連した内容が記載されています。

特に、【Team Geek】の内容は、以前読んだ筈なのに全く実践できていなかったなあと。。。
【参考】『Team Geek』を読んだメモ

今回は、私のチームマネジメント失敗事例やそこから学んだことを徒然なるままに書いてみようと思います。

sshの接続ポート番号を変更することで、意図しない不正アクセスを防ぐ方法

CkReal

検証背景

EC2を建てて、ssh接続するポート番号を22のデフォルトにしておくと、
以下の様な不正アクセスを試みるログが残ることがある。

Nov  8 09:25:43 ip-xxx-xx-x-xxx sshd[2210]: Invalid user admin from xxx.xxx.xxx.xxx
Nov  8 09:25:43 ip-xxx-xx-x-xxx sshd[2210]: input_userauth_request: invalid user admin [preauth]
Nov  8 09:25:43 ip-xxx-xx-x-xxx sshd[2210]: Received disconnect from xxx.xxx.xxx.xxx: 11: Bye Bye [preauth]

こうした不正アクセスを防ぐため、sshのポート番号を変更するだけでも効果があるとのことで、実際に1週間ほどEC2を放置してみた。

uWSGIの統計情報をfluentd経由でNorikraに格納するまでのメモ

CkReal

検証背景

uWSGIには、統計情報を取得できるオプション設定がある。
The uWSGI Stats Server

  • uwsgitopで人間が見ながらチューニングするのは何だかんだで大変
  • uWSGIのJSONはネスト構造で複雑
  • Kibana化を見越して、InfluxDBでもよいかなと思ったけど、返ってくるJSONが複雑すぎた。
  • Norikraは複雑なJSONでもクエリを投げられるので、そこまで格納できれば監視&可視化に使うのはユーザが自由に行える

想定連携図

uWSGI_Norikra連携 各種ミドルウェアの連携は上記のイメージ。
なお、今回は全てローカル環境に構築した。

お金をかけずに、TerraformでAWSのVPC環境を準備する

CkReal

EC2やRDSのインスタンスを建てるとお金がかかってしまうので、
今回は費用をかけずに、構築を予定しているAWS環境をTerraformで準備する方法をメモしておく。
#何ともケチくさいタイトルだ…

1.参考サイト

AWS PROVIDER(Terraform公式ドキュメント) HashiCorpの新オーケストレーションツールTerraformを試してみた Terraform でセキュリティグループを管理

リアルタイムエラートラッカーSentryのイベントをHipChatに通知する

CkReal

リアルタイムエラートラッカーであるSentryは、アプリのイベントログをグラフィカルに表示してくれるのですが、
イベントを通知する方法はメールだけではありません。

Plugins — Sentry 7.0.0-DEV documentation
(リンク切れ)

上記のドキュメントにも記載されている通り、3rd Partyのプラグインがいくつか紹介されています。
本記事では、Sentryの通知をHipChatに通知する方法を紹介してみます。
(HipChat自体はもうサービス終了しているので、本記事はかなり古くなっています)

企業のフェーズとキーワードとなる要素

CkReal

最近、様々な企業フェーズの人と話したり、所属する企業が成長していることを実感している中で、
企業のフェーズによって、キーワードとなりやすい要素は違うなあと。
ちなみに、一般の組織に求められるリーダー像の違いは、下記の記事が参考になる
組織のライフサイクルに応じたリーダー像

以下は、個人的に感じる、企業のフェーズによる、キーワードとなりやすい要素の目安。

ElastiCache for Redis のスナップショット機能の検証結果メモ

CkReal

ElastiCache for Redisにスナップショット/リストア機能が追加されたので、
今までEC2でslave作っていた運用フローが不要になった。ありがとうAWS!!

ただ、ブログの最後を見てみると、

パフォーマンスを向上させるために、マスターキャッシュノードではなく、リードレプリカでスナップショットを取ることをお勧めします。

どうもこの文章がひっかかったので、少し検証してみた。