Проблема
Состояние кластера стабилизировалось, но в норму не пришло, некоторые placement-group dbc active+degraded
Причина
OSD между собой не договорились какие данные правильные, т.е. процесс договаривания был нарушен (например я менял количество реплик, когда 2 из 3х osd были выключены).
Решение
Перезапустил все OSD, дальше они начали процесс синхронизации и договорились. Состояние кластера восстановилось.