MongoDBがtoo many connectionsで暴走した
最近MongoDBのLAがぶち上がりでパフォーマンスが不安定だったので、脳死でshard増やす前に調べてみた
現象
- LAぶち上がりのタイミングは不定期
- いわゆるユーザのアクセスが増える夕方とかに連動、というわけではない
- 確かにops/data sizeは以前と比較して増えてるが、特定のqueryがトリガーになってるわけではない
- IOスループット各種が軒並み落ちてる
- CPUは特に使ってない
- primary shardが瀕死
- sharding忘れではない
- chunkの偏りもない
- 他のrsも若干不安定
- connectionが増えてる
- 通常の3倍以上
- limit（デフォ 60000くらいだっけ？）にひっかかっているわけではない
解決
issueとバージョンは違うけど、これが怪しそうだっていうことで、mongosの再起動とprimary shardのrsを切替
今の所は落ち着いている
時限爆弾っぽいので覚えておこう
