コンテナ特有の調査
構成毎に各 VM の上 Docker で実行中コンテナ数が変わるの可能性があります。KE2 構成に基づいてコンテナ配置は以下の通りです。
| コンテナ | 標準シングル構成 | 外部DBシングル構成 | クラスタ構成 (Node-1) | クラスタ構成 (Node-2) | クラスタ構成 (Node-3) |
|---|---|---|---|---|---|
| redis | 有 | 有 | 有 (いずれかのノード) | ||
| postgresql | 有 | 無 | 無 | ||
| nginx | 有 | 有 | 有 | 有 | 有 |
| rabbitmq | 有 | 有 | 有 | 有 | 有 |
| kompira | 有 | 有 | 有 | 有 | 有 |
| kengine | 有 | 有 | 有 | 有 | 有 |
| jobmngrd | 有 | 有 | 有 | 有 | 有 |
特定のコンテナが停止
以下のコマンドで停止・実行中全てのコンテナを見ることができます。
$ docker ps --all
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
40891df54a19 registry.hub.docker.com/library/nginx:1.27-alpine "/docker-entrypoint.…" 8 minutes ago Up 8 minutes 0.0.0.0:80->80/tcp, :::80->80/tcp, 0.0.0.0:443->443/tcp, :::443->443/tcp ke2-nginx-1
7fb7a27751e8 kompira.azurecr.io/kompira-enterprise:latest "docker-entrypoint.s…" 8 minutes ago Up 8 minutes ke2-kompira-1
f56618dfc99b kompira.azurecr.io/kompira-enterprise:latest "docker-entrypoint.s…" 8 minutes ago Up 8 minutes ke2-kengine-1
8b589b774d51 kompira.azurecr.io/kompira-enterprise:latest "docker-entrypoint.s…" 8 minutes ago Up 8 minutes ke2-jobmngrd-1
3238e086adf2 registry.hub.docker.com/library/rabbitmq:3.13-alpine "docker-entrypoint.s…" 8 minutes ago Up 8 minutes 4369/tcp, 5672/tcp, 15691-15692/tcp, 25672/tcp, 0.0.0.0:5671->5671/tcp, :::5671->5671/tcp ke2-rabbitmq-1
9a5667fc5efa registry.hub.docker.com/library/postgres:16.3-alpine "docker-entrypoint.s…" 8 minutes ago Up 8 minutes 5432/tcp ke2-postgres-1
8934b6f15223 registry.hub.docker.com/library/redis:7.2-alpine "docker-entrypoint.s…" 8 minutes ago Exited (0) 2 seconds ago ke2-redis-1
コンテナが異常な場合、STATUS は UP 以外になります。コンテナは1つだけ停止してしまった場合、全体的にKE2 APP に影響の可能性があります。各コンテナの役割と障害時の影響範囲 を見てください。
KE2 構成に関係があるコンテナのスタータスは Exited 場合、コンテナが停止してしまった。
postgres 停止 (シングル構成のみ）
postgresが停止してしまった場合、全体 KE2 APP に影響があります。この場合、KE2 APP にログインできなくなります。 以下のコマンドで postgres の状況を確認できます。
$ docker ps -a -f name=postgres
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b2e7fb6724af registry.hub.docker.com/library/postgres:16.3-alpine "docker-entrypoint.s…" About a minute ago Exited (0) 12 seconds ago ke2-postgres-1
以下の調査をしてください。
rabbitmq 停止
以下のコマンドで rabbitmq の状況を確認できます。
$ docker ps -a -f name=rabbitmq
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c85f45c64789 registry.hub.docker.com/library/rabbitmq:3.13-alpine "docker-entrypoint.s…" 12 minutes ago Exited (1) 10 seconds ago ke2-rabbitmq-1
以下の調査をしてください。
redis 停止
-
シングル構成場合、以下のコマンド確認できます。
$ docker ps -a -f name=redis CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES ffc36609e02f registry.hub.docker.com/library/redis:7.2-alpine "docker-entrypoint.s…" About an hour ago Exited (1) 7 seconds ago ke2-redis-1 -
クラスタ構成場合、3台ノードのいずれかのノードで実行中なので、以下のコマンドで redis の状況確認できます。
$ docker service ls ID NAME MODE REPLICAS IMAGE PORTS j82svpetkj10 ke2_jobmngrd replicated 3/3 (max 1 per node) kompira.azurecr.io/kompira-enterprise:latest 8nmuory1g71d ke2_kengine replicated 3/3 (max 1 per node) kompira.azurecr.io/kompira-enterprise:latest nfjkex57y4il ke2_kompira replicated 3/3 (max 1 per node) kompira.azurecr.io/kompira-enterprise:latest jgfdapwajjat ke2_nginx replicated 3/3 (max 1 per node) registry.hub.docker.com/library/nginx:1.27-alpine *:80->80/tcp, *:443->443/tcp qf169f0k9idj ke2_rabbitmq replicated 3/3 (max 1 per node) registry.hub.docker.com/library/rabbitmq:3.13-alpine *:5671->5671/tcp l76bm4t1wf6n ke2_redis replicated 1/1 registry.hub.docker.com/library/redis:7.2-alpine上の結果見ると
ke2_redisはreplicated 1/1なるべきです。 問題があればreplicated 0/1になります。以下のコマンドで詳しく見ることができます。
$ docker service ps ke2_redis ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS 9woomxrgevcr ke2_redis.1 registry.hub.docker.com/library/redis:7.2-alpine ke2-rhel89-swarm-3 Running Running 3 days ago 7n8gvrf52yzk \_ ke2_redis.1 registry.hub.docker.com/library/redis:7.2-alpine ke2-rhel89-swarm-1 Shutdown Shutdown 2 days ago zfafc7cs4q00 \_ ke2_redis.1 registry.hub.docker.com/library/redis:7.2-alpine ke2-rhel89-swarm-2 Shutdown Shutdown 3 days ago
Running redis がない場合、以下の調査をしてください。
kompira 停止
kompira が停止してしまった場合、特定のホストサーバで KE2 APP にアクセスすると 「502 Bad Gateway」 が表示されます。 以下のコマンドで kompira の状況を確認できます。
$ docker ps -a -f name=kompira
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
4d8f2e81eb86 kompira.azurecr.io/kompira-enterprise:latest "docker-entrypoint.s…" 16 minutes ago Exited (1) 12 seconds ago ke2-kompira-1
高いリソース利用率やネットワークや内部異常などの問題で停止されたコンテナが問題を回復してもコンテナが正常のスタータス に戻らない可能性もあります。ステータスが Exited 場合、簡単に停止されたコンテナの最新の CONTAINER ID を利用して再起動してください。
$ docker restart <コンテナ ID>
KE2 APP が正常に戻らない場合、KE2 APP を再起してください。
nginx 停止
nginx が停止してしまった場合、特定のホストサーバで KE2 APP にアクセスすると 「This site can't be reached」 が表示されます。 以下のコマンドで nginx の状況を確認できます。
$ docker ps -a -f name=nginx
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b1d653d23f68 registry.hub.docker.com/library/nginx:1.27-alpine "/docker-entrypoint.…" 18 minutes ago Exited (1) 6 seconds ago ke2-nginx-1
リソース利用率やネットワーク不具合などの問題で停止されたコンテナが問題を回復してもコンテナが正常のスタータス に戻らない可能性もあります。ステータスが Exited 場合、簡単に停止されたコンテナの最新の ID を利用して再起動してください。
$ docker restart <コンテナ ID>
KE2 APP が正常に戻らない場合、KE2 APP を再起してください。
コンテナが操作中ですが異常か再起度を繰り返す
KE2 構成に関係があるコンテナが異常・再起動を繰り返すの可能性もあります。 以下のコマンドを数回実行して、いくつかのコンテナの STATUS が UP 期間と一致せず、頻繁に変わっている場合、そのコンテナは頻繁に再起動されていることを示しています。時々 STATUS に Restarting と表示される可能性もあります。
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e01b0c097596 registry.hub.docker.com/library/nginx:1.27-alpine "/docker-entrypoint.…" 23 minutes ago Up 23 minutes 0.0.0.0:80->80/tcp, :::80->80/tcp, 0.0.0.0:443->443/tcp, :::443->443/tcp ke2-nginx-1
f1528cf202e2 kompira.azurecr.io/kompira-enterprise:2.0.2 "docker-entrypoint.s…" 23 minutes ago Up 23 minutes ke2-kompira-1
c097c9248af5 kompira.azurecr.io/kompira-enterprise:2.0.2 "docker-entrypoint.s…" 23 minutes ago Up 37 seconds ke2-jobmngrd-1
808da5651244 kompira.azurecr.io/kompira-enterprise:2.0.2 "docker-entrypoint.s…" 23 minutes ago Restarting (143) Less than a second ago ke2-kengine-1
8647ed1d6105 registry.hub.docker.com/library/redis:7.2-alpine "docker-entrypoint.s…" 23 minutes ago Up 23 minutes 6379/tcp ke2-redis-1
rabbitmq 異常・再起度を繰り返す
- シングル構成
- TODO: とりあえず、サポートまでお問い合わせください
- クラスタ構成
redis 異常・再起度を繰り返す
-
シングル構成
- TODO: とりあえず、サポートまでお問い合わせください
-
クラスタ構成場合、3台ノードのいずれかのノードで実行中なので、以下のコマンドで redis の状況確認できます。
$ docker service ls ID NAME MODE REPLICAS IMAGE PORTS j82svpetkj10 ke2_jobmngrd replicated 3/3 (max 1 per node) kompira.azurecr.io/kompira-enterprise:latest 8nmuory1g71d ke2_kengine replicated 3/3 (max 1 per node) kompira.azurecr.io/kompira-enterprise:latest nfjkex57y4il ke2_kompira replicated 3/3 (max 1 per node) kompira.azurecr.io/kompira-enterprise:latest jgfdapwajjat ke2_nginx replicated 3/3 (max 1 per node) registry.hub.docker.com/library/nginx:1.27-alpine *:80->80/tcp, *:443->443/tcp qf169f0k9idj ke2_rabbitmq replicated 3/3 (max 1 per node) registry.hub.docker.com/library/rabbitmq:3.13-alpine *:5671->5671/tcp l76bm4t1wf6n ke2_redis replicated 1/1 registry.hub.docker.com/library/redis:7.2-alpine上の結果見ると
ke2_redisはreplicated 1/1なるべきです。でも問題があれば上のコマンド数回実行するとreplicated 0/1,1/1,0/1に切り替えます。以下のコマンドで詳細も見ることができます。$ docker service ps ke2_redis ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS k5oa1w93z9me ke2_redis.1 registry.hub.docker.com/library/redis:7.2-alpine ke2-rhel89-swarm-3 Running Running about a minute ago jyc5pxewoedb \_ ke2_redis.1 registry.hub.docker.com/library/redis:7.2-alpine ke2-rhel89-swarm-1 Shutdown Complete about a minute ago g2eryw4fug4f \_ ke2_redis.1 registry.hub.docker.com/library/redis:7.2-alpine ke2-rhel89-swarm-1 Shutdown Complete about a minute agoredis がよく再起度を繰り返すと上の通り結果項目が多くなります。そして
CURRENT STATE見ると短い期間でShutdownになっていることがわかります。以下の調査をしてください。
- TODO: とりあえず、サポートまでお問い合わせください
kompira 異常・再起度を繰り返す
TODO: とりあえず、サポートまでお問い合わせください
nginx 異常・再起度を繰り返す
TODO: とりあえず、サポートまでお問い合わせください
kengine 異常・再起度を繰り返す
- シングル構成
- TODO: とりあえず、サポートまでお問い合わせください
- クラスタ構成
jobmngrd 異常・再起度を繰り返す
- シングル構成
- クラスタ構成
- TODO: とりあえず、サポートまでお問い合わせください