こんにちは。暇ですか?僕もです

暇人インフラエンジニアマン

MongoDBがtoo many connectionsで暴走した

最近MongoDBのLAがぶち上がりでパフォーマンスが不安定だったので、脳死でshard増やす前に調べてみた

現象

  • LAぶち上がりのタイミングは不定
    • いわゆるユーザのアクセスが増える夕方とかに連動、というわけではない
    • 確かにops/data sizeは以前と比較して増えてるが、特定のqueryがトリガーになってるわけではない
  • IOスループット各種が軒並み落ちてる
  • CPUは特に使ってない
  • primary shardが瀕死
    • sharding忘れではない
    • chunkの偏りもない
    • 他のrsも若干不安定
  • connectionが増えてる
    • 通常の3倍以上
    • limit(デフォ 60000くらいだっけ?)にひっかかっているわけではない

解決

jira.mongodb.org

issueとバージョンは違うけど、これが怪しそうだっていうことで、mongosの再起動とprimary shardのrsを切替

今の所は落ち着いている

時限爆弾っぽいので覚えておこう