Устранение неполадок

Найдите свой симптом, прочитайте причину и примените исправление. В каждом разделе названо событие журнала или ошибка, которую вы должны увидеть. Значение кода ошибки см. в разделе Ошибки.

Первые шаги

1. Запросите конечную точку состояния: curl -fsS http://127.0.0.1:8080/health/status. Ответ {"status":"ready"} означает, что API достигает своей базы данных и хранилища файлов.
2. Прочитайте последние строки журнала службы, которая не работает. См. Журналы, ID запросов и обратная связь.
3. Найдите событие startup.failed или worker.unavailable. Его поле reason называет причину.
4. Если клиент сообщает об ошибке, попросите у него ID запроса и найдите его в журнале.

Сервер не запускается

Менеджер служб запускает неработающую службу заново каждые 10 секунд. При этом в журнале повторяется startup.failed. Прочитайте поле reason и поля errno и sqlstate.

Порт занят

Причина. В startup.failed поле errno равно EADDRINUSE. Порт 8080 (ARKVORY_PORT) слушает другая программа или всё ещё работает старый процесс Arkvory.

Исправление. Найдите владельца порта и остановите его либо смените порт.

sudo ss -ltnp 'sport = :8080'

Get-NetTCPConnection -LocalPort 8080 | Select-Object LocalAddress, OwningProcess

Чтобы сменить порт, измените ARKVORY_PORT в config/runtime.json и перезапустите службы. Вместе с ним изменится адрес консоли.

База данных недоступна или отклоняет вход

Причина. В журнале указана одна из таких причин:

reason	Значение
dependency unavailable, с errno ECONNREFUSED или ETIMEDOUT	PostgreSQL остановлен, слушает в другом месте или заблокирован брандмауэром
database authentication failed	Неверны пользователь или пароль в ARKVORY_DATABASE_URL
database does not exist	Базы данных, названной в URL, нет
database role lacks a required privilege	Роль не может создавать или изменять таблицы

Исправление. Запустите PostgreSQL или исправьте ARKVORY_DATABASE_URL в config/runtime.json и перезапустите службы. Управляемая база данных слушает 127.0.0.1 на порту из ARKVORY_DATABASE_URL (служба Arkvorydatabase в Windows, arkvory-database в Linux). Службы поднимаются сами, когда база данных отвечает. Не удаляйте папку database/. Строка журнала could not bind IPv4 address "127.0.0.1": Permission denied в Windows означает, что Windows зарезервировала этот порт при загрузке (netsh int ipv4 show excludedportrange protocol=tcp выводит зарезервированные диапазоны). Установщик исключает порт базы данных из этих диапазонов: исключение отмечено *, сохраняется после перезагрузки, а восстановление или обновление добавляет его снова, если его нет. Чтобы перевести старую установку с зарезервированного порта, остановите службы Arkvory, укажите один и тот же свободный порт (например, 45329) в port файла database/settings.json и в ARKVORY_DATABASE_URL файла config/runtime.json и снова запустите установщик: восстановление исключит новый порт и запустит службы.

База данных и программа не согласуются

Причина. Причина начинается с unavailable: и содержит Database migrations 1 through N are required; run migrate, либо Database schema is newer than this release, либо database schema is missing; run migrations. Так бывает после обновления, остановившегося на полпути, или после запуска старой версии на более новой базе данных.

Исправление. Не запускайте старую версию на более новой базе данных. Проверьте состояние командой arkvory status --root <корень> и завершите или отмените обновление командой recover. См. Обновление не удалось. Чтобы данные остались в безопасности, восстанавливайте их из резервной копии, только если recover не может завершить работу.

Хранилище файлов принадлежит другому процессу

Причина. Причина — busy: Another writer or maintenance process owns this database или conflict: Database belongs to a different storage directory. Либо второй API работает с той же базой данных, либо каталог данных не тот, с которым использовалась эта база данных. В каждом каталоге хранилища файлов есть файл storage-id, и база данных его запоминает.

Исправление. Остановите другой процесс. Используйте каталог данных, который принадлежит этой базе данных. Никогда не копируйте storage-id в другой каталог и никогда не подключайте две установки к одной базе данных.

Права на корень или каталог данных

Причина. errno равно EACCES или EPERM, либо причина — Cannot read ARKVORY_KEYS_FILE (EACCES). Учётная запись службы не может прочитать конфигурацию или писать в каталог данных. Типичные причины — установка в профиле пользователя, папка, скопированная вручную, или изменённый владелец.

Исправление.

• Linux: корень и config/ принадлежат root:arkvory с режимом 0750. У config/runtime.json и config/keys.json режим 0640. data/ и logs/ принадлежат arkvory:arkvory.
• Windows: учётная запись NT AUTHORITY\LocalService должна читать каждую родительскую папку корня и изменять data\, logs\ и папку входящих обновлений. Снова запустите графический установщик, чтобы восстановить правила доступа.
• Устанавливайте в отдельную папку вне домашних каталогов и профилей пользователей.

Настройка или сертификат отклонены

Причина. В причине названа переменная, например Invalid ARKVORY_PORT, или проблема с сертификатом: TLS certificate has expired, TLS certificate and key do not match, TLS key is not an unencrypted PEM private key. Если сертификат неверен, сервер никогда не запускается по обычному HTTP.

Исправление. Исправьте названную переменную в config/runtime.json. Значение вне допустимого диапазона останавливает запуск. Продлите или замените файлы сертификата. Чтобы вернуться к обычному HTTP, пока вы исправляете файлы, используйте arkvory configure --tls-off. См. Переменные окружения.

Консоль не может связаться с API

Сообщение в консоли	Причина	Исправление
Arkvory не отвечает. Проверьте подключение к сети и повторите попытку.	Браузер не получает ответа: служба не работает, неверны адрес или порт, доступ блокирует брандмауэр, сервер слушает только 127.0.0.1 или сертификат не соответствует имени	Проверьте /health/status с того же компьютера, что и браузер. Проверьте службу, адрес прослушивания и брандмауэр
Прокси-сервер перед Arkvory не получил от него ответа. Повторите чуть позже или обратитесь к администратору.	Обратный прокси отвечает, а API за ним — нет	Убедитесь, что API работает и прокси указывает на его порт. Увеличьте тайм-аут чтения прокси для больших передач
Сервер отвечал слишком долго, запрос остановлен. Повторите попытку.	Сервер не ответил вовремя	Поищите в журнале upload.deadline или занятую базу данных
Сервис временно недоступен. Повторите чуть позже.	Зависимость, например база данных, ненадолго недоступна	Подождите и повторите попытку. См. Занято и недоступно
Сервер не принимает запросы с адреса этой консоли. Обратитесь к администратору.	Внешняя консоль работает с адреса, которого нет в ARKVORY_CORS_ORIGINS	Добавьте точный источник (origin) — схему, узел и порт — и перезапустите API
Сеанс завершён: выполнен выход в другом месте, изменён пароль или отозван доступ. Войдите снова.	Вы вышли в другом месте, пароль изменился или доступ отозван	Войдите снова

Во время обновления консоль переподключается сама. Не отправляйте запрос на установку повторно. Если используется Docker Desktop, сервер недоступен, пока Docker Desktop не запущен. См. Docker.

Проблемы со входом

Неверное имя или пароль

Причина. Сообщение — Неверное имя пользователя или пароль. (401 invalid_credentials). Сервер даёт один и тот же ответ на неверное имя, неверный пароль и отключённую учётную запись, чтобы никто не мог узнать, какие имена существуют.

Исправление. Администратор может проверить учётную запись в разделе Пользователи и доступ и нажать Включить, если она отключена, или Сменить пароль, чтобы задать новый пароль.

Слишком много попыток

Причина. Ответ — 429 rate_limited с login_attempts и Retry-After. Адрес израсходовал свои 10 попыток, или учётная запись ожидает после множества неверных паролей (до 2 минут). В это время даже верный пароль ждёт.

Исправление. Подождите число секунд из Retry-After. Администратор может снять ожидание учётной записи, сбросив пароль. Перезапуск API сбрасывает счётчики адресов, но не ожидание учётной записи.

Все заблокированы за прокси

Причина. Сервер видит адрес прокси как адрес каждого клиента, поэтому у всех клиентов один общий лимит.

Исправление. Задайте ARKVORY_TRUSTED_PROXIES с адресами прокси и перезапустите API. Прокси должен отправлять X-Forwarded-For. См. Безопасность.

Владелец потерян

Причина. Никто не помнит пароль администратора.

Исправление. Используйте ключ восстановления на сервере:

1. Прочитайте ключ из config/bootstrap-token.txt от имени root или администратора.
2. В консоли откройте Подключиться ключом сервиса или автоматизации, вставьте ключ и нажмите Подключиться.
3. Откройте Пользователи и доступ. Нажмите Сменить пароль для этой учётной записи или Создать пользователя, чтобы создать нового администратора.
4. Нажмите Отключиться и войдите с этой учётной записью.

Форма Создать первого владельца работает, только пока на сервере нет ни одной учётной записи.

Ключ восстановления потерян

Причина. Файл config/bootstrap-token.txt удалён или никогда не сохранялся. Сервер хранит только хеш ключа.

Исправление. С правами root или администратора на сервере запишите новый ключ и его хеш. См. Настройка. Больше не удаляйте этот файл: его читают инструменты установки.

Загрузки

Загрузка не завершается

Причина. Возможно несколько причин:

• Клиент потерял соединение. Загрузка по частям хранит записанные части 7 дней.
• Большая загрузка ждёт обработчика. Обработчик остановлен или завершается с ошибкой. Второй обработчик ждёт в резерве.
• Одновременно выполняется слишком много загрузок. По умолчанию выполняются 2, по одной на учётную запись, остальные ждут 20 секунд и затем получают 503 busy.
• Обратный прокси отклоняет большое тело (413) или останавливает медленный запрос (502 или 504).

Исправление.

1. Запросите состояние загрузки: arkvoryctl uploads status <id>. Продолжите с тем же файлом и тем же файлом состояния. См. Командная строка.
2. Проверьте обработчик: systemctl status arkvory-worker, Get-Service Arkvoryworker. Найдите completion.failed и completion.attempts_exhausted с нужным uploadId. Метрика arkvory_completion_oldest_queued_seconds показывает ожидающее задание.
3. Увеличьте пределы прокси для размера тела и времени чтения. Запрос загрузки останавливается после 30 секунд без данных и после 30 минут в целом.
4. Сессия старше 7 дней исчезает (409 upload_expired). Начните новую загрузку.

integrity_mismatch

Причина. Ответ — 422 integrity_mismatch, или клиент завершается с кодом 5. Байты не соответствуют заявленному размеру или SHA-256. Файл изменился, пока его отправляли, заявленный хеш вычислен для другого файла, либо прокси или сетевое устройство изменило тело.

Исправление. Отправьте файл заново из неизменённой копии. Сессия остаётся открытой, поэтому в неё можно отправить исправленный файл. Если скачивание раз за разом не проходит проверку, скачайте файл ещё раз другим путём, а затем сообщите ID запроса. См. Журналы, ID запросов и обратная связь.

Занято, ограничение частоты, недоступно

Коды busy, unavailable и rate_limited временные. В ответе есть заголовок Retry-After и поле retryAfterSeconds. Подождите указанное время. Для busy сервер вычисляет время по очереди впереди и по тому, как быстро освобождаются места, поэтому при длинной очереди клиенты ждут дольше. SDK и клиент командной строки ждут при busy и rate_limited столько, сколько просит сервер (ограничьте это через --wait-limit или waitLimitMs), а остальные ответы повторяют ограниченное число раз.

Ответ	Причина	Что делать
503 busy, причина request_limit	Сервер обрабатывает ARKVORY_MAX_REQUESTS запросов одновременно (по умолчанию 128)	Подождите. Увеличивайте предел, только если хватает памяти. Проверьте arkvory_http_requests_in_flight
503 busy, причина download_queued	Скачивание большого объекта ждёт в очереди; Arkvory-Queue-Position и Arkvory-Starts-At сообщают место и ожидаемое начало	Ничего: SDK и arkvoryctl ждут и продолжают сами. Другие клиенты повторяют запрос после Retry-After с тем же ключом и с того же адреса
503 busy	Очередь передач заполнена, передача ждала дольше ARKVORY_TRANSFER_QUEUE_TIMEOUT_MS (20 с) или сервер завершает работу перед остановкой	Подождите и повторите. Если это происходит часто, увеличьте ARKVORY_MAX_UPLOADS или ARKVORY_MAX_DOWNLOADS. arkvory_transfer_admission_failures_total считает отказы
503 unavailable	База данных перезапускается, процесс потерял владение хранилищем файлов или хаб недоступен (hub_unreachable)	Подождите. Службы перезапускаются сами. См. Самовосстановление
429 rate_limited	Слишком много попыток входа, регистрации, смены пароля или отправки обратной связи	Подождите. См. Слишком много попыток

У ответа 500 internal нет Retry-After. Не повторяйте его вслепую. Найдите его ID запроса в журнале и сообщите о нём.

Диск заполнен и квота

Ответ, причина	Причина	Исправление
507 storage_full	Свободного места на томе хранилища файлов меньше резерва ARKVORY_STORAGE_RESERVE_BYTES (по умолчанию 1 ГиБ) или заполнен диск базы данных	Освободите место на томе. Проверьте df -h или Get-PSDrive и том PostgreSQL
507 storage_quota	Квота репозитория исчерпана	Удалите старые сборки, измените политику хранения или увеличьте квоту в Хранение и очистка
507 catalog_limit	Сумма всего зарезервированного содержимого превысила бы ARKVORY_CAPACITY_BYTES (по умолчанию 10 ТиБ)	Удалите содержимое или увеличьте значение в config/runtime.json
507 queue_full	У учётной записи 100 открытых заданий завершения или на сервере их 10 000	Подождите, пока обработчик их завершит

Пока диск заполнен, скачивания и консоль продолжают работать. /health/ready показывает "writable": false. Удаление артефакта в Arkvory не освобождает диск сразу: файл ждёт физической очистки после защитного срока. См. Хранение. Не уменьшайте резерв, чтобы втиснуть больше данных, потому что он нужен базе данных и журналам.

Резервное копирование не удаётся

Начните с предупреждения в Резервные копии или arkvoryctl backup status и событий журнала backup.request.failed и backup.agent.failed с их errorCode. См. Резервные копии.

Предупреждение или сообщение	Причина	Исправление
agent_offline	Служба резервного копирования остановлена или не запускается	Запустите arkvory-backup или Arkvorybackup. Прочитайте её журнал
vault_unavailable	Том хранилища копий не подключён, в нём нет vault.json или учётная запись службы не может в него писать	Подключайте том до запуска службы. Проверьте владельца и права. В Windows перезапустите агент, если том подключили позже
The vault directory does not exist; create it or mount its volume first	Путь неверен или тома нет	Создайте или подключите каталог
The vault directory is not writable	У учётной записи службы нет права записи	В Linux подключайте ресурс с uid и gid пользователя arkvory. В Windows используйте локальный том или том iSCSI
The directory has no vault.json: mount the vault volume, or create the vault first ...	В каталоге нет хранилища копий (неподключённый сетевой ресурс выглядит так же); configure не создаёт зашифрованное хранилище сам	Подключите нужный том или выполните arkvory-backup vault init <dir> --kit-file <file> --agent-key-file <file>, храните kit вне сервера и передайте --vault-key-file. --init-vault --vault-no-encryption создаёт хранилище без шифрования
The vault must be outside the installation root and the storage directory	Хранилище копий пересекается с данными	Выберите отдельный каталог на другом томе
Network share paths are not supported ...	Путь UNC в Windows. LocalService не может войти на ресурсы SMB	Используйте букву диска локального тома или тома iSCSI
The backup service cannot reach /home, /root, /run/user, /tmp or /var/tmp	Изоляция systemd скрывает эти папки	Выберите другой каталог
vault_full, vault_low_space	Том хранилища копий почти заполнен	Освободите место или храните меньше точек. Прежние точки остаются целыми
vault_key_missing, vault_key_invalid	Vault зашифрован, а у агента нет ключа или он неверный	Выполните arkvory configure --backup-vault DIR --vault-key-file FILE с ключом агента. См. Шифрование vault
last_run_failed	Самая новая копия не удалась	Прочитайте errorCode командой arkvoryctl backup jobs
verify_failed	Точка не прошла проверку	Не меняйте хранилище копий. Сохраните его для анализа и сообщите о проблеме

arkvory configure --backup-vault возвращает прежние настройки, если агент не сообщает о новом хранилище копий в течение 150 секунд. Обновление останавливает агент резервного копирования, поэтому копия, выполняющаяся в этот момент, повторяется позже. Когда включены автоматические обновления, выбирайте время копирования вне часа обновления (по умолчанию 03:00 UTC).

Зеркало не синхронизируется

Откройте Зеркала в консоли: у остановленного зеркала видны причина, следующий шаг и, если она есть, команда, которая это исправляет. То же состояние есть в GET /api/v1/repositories/{repository}/mirror и в событиях обработчика mirror.step_failed. Скачивания продолжают работать из уже скопированного. См. Зеркала.

errorCode	Причина	Исправление
mirror_unreachable	Источник не отвечает: соединение отклонено, истёк тайм-аут или имя не разрешается	Проверьте сеть, межсетевой экран и источник. Обработчик сам повторяет попытки
unauthorized или forbidden	Источник отклоняет ключ, или ключу нельзя читать репозиторий	Замените ключ командой arkvory configure --mirror NAME --mirror-token-file FILE или дайте ему право чтения на источнике. Обработчик заново читает ключ после каждого сбоя
mirror_failed	Сбой без более точного кода	Прочитайте журнал обработчика
mirror_mismatch	У одного и того же ID на источнике другое содержимое	Копия сохраняется. Изучите артефакт
mirror_source_changed	В репозитории уже есть копия другого источника	Отключите командой --mirror-detach и зеркалируйте новый источник в новый репозиторий
mirror_source_behind	Источник восстановлен или установлен заново	Зеркало заполняется заново само, и код исчезает
mirror_certificate	Источник использует корпоративный или самоподписанный сертификат, либо его сертификат просрочен или не соответствует его имени	Передайте --mirror-ca-file в arkvory configure. Проверка никогда не отключается

Другие коды и что с ними делать: Зеркала, коды ошибок. Источнику нужен выпуск с потоком изменений для зеркал. После сбоя обработчик ждёт 2 секунды, удваивая паузу до 5 минут. ArkvoryMirrorStale срабатывает после часа с четвертью без синхронизации.

Обновление не удалось

1. Прочитайте сообщение о сбое. В консоли Обновления показывает сообщение. Программа обновления пишет logs\updater.log в Windows и journalctl -u arkvory-update в Linux.
2. Проверьте установленную версию: arkvory status --root <корень>.
3. Найдите свой случай.

Случай	Что произошло	Что делать
Та же схема базы данных, обычный сбой	Установщик снова запустил предыдущую версию	Устраните причину и обновитесь снова
Консоль показывает Установка отклонена: для релиза, меняющего схему БД, нужна свежая проверенная резервная копия. Подключите хранилище копий и дождитесь первой копии, затем проверьте снова — или обновите вручную на сервере.	Выпуску с изменением схемы нужна проверенная резервная копия, и установщик отказался до всяких изменений	Подключите хранилище копий, дождитесь первой копии и проверьте снова
Миграция не удалась	Её транзакция откатилась, и предыдущая версия работает на предыдущей схеме	Устраните причину и обновитесь снова
Новая версия не запустилась после успешной миграции	В журнале указано maintenance-required и названа точка резервной копии	Устраните причину и выполните recover, который завершит обновление. Либо восстановите точку с предыдущей версией
Программа обновления была прервана или у компьютера пропало питание	Остаются блокировка operation.lock и журнал. Само ничего не продолжается	Процедура ниже
Консоль показывает Планировщик обновлений перестал отвечать. Проверьте его работу и блокировку установки на сервере. или Механизм обновлений на сервере не подключён. Администратор сервера может подключить его командой updates-connect.	Планировщик на узле не работает или не подключён	Проверьте задачу ProAnimaArkvoryUpdate (Windows) или arkvory-update.timer (Linux). Подключите её командой arkvory updates-connect --root <корень>

После прерванной программы обновления:

1. Остановите планировщик и убедитесь, что ни одна программа обновления не работает. Сохраните journal.json и журналы.

2. Только после этого удалите файл operation.lock в корне установки. Никогда не удаляйте его, пока выполняется обновление.

3. Выполните recover:

   sudo arkvory recover --root /opt/proanima-arkvory

   & 'C:\Program Files\ProAnima\Arkvory\arkvory.ps1' recover --root C:\ProgramData\ProAnima\Arkvory

   Если миграция ещё не началась, команда восстанавливает предыдущую версию. Если миграция началась, она повторяет миграцию и запускает новую версию.

4. Проверьте /health/ready, очередь завершения и одно пробное скачивание. Затем снова включите планировщик.

Команда arkvory updates-reset --root <корень> очищает принятый запрос на обновление после того, как вы согласовали состояние. Откат к более старой версии невозможен. См. Обновления.

Docker

• После перезагрузки Windows ничего не работает. Docker Desktop запускается, когда пользователь входит в систему. Включите параметр Start Docker Desktop when you sign in либо используйте нативные службы.
• После перезагрузки узла Linux ничего не работает. Проверьте, что движок запускается при загрузке: systemctl is-enabled docker.
• Контейнер не может прочитать файл в config/. Контейнеры работают от пользователя node (uid 1000). Установщик делает runtime.json, keys.json и health-token.txt доступными ему для чтения. Если ручная правка изменила владельца или режим на 0600, API останавливается с сообщением Cannot read ARKVORY_KEYS_FILE (EACCES). Верните этим трём файлам режим 0644. Сама папка config/ остаётся закрытой.
• В хранилище копий нельзя писать. Агент работает от uid 1000, поэтому хранилище копий должно принадлежать ему. arkvory configure --backup-vault настраивает это через файл config/compose.vault.yml. Ресурс, который вы подключаете сами, требует uid=1000. Добавляйте -f config/compose.vault.yml в каждую команду Compose, которую запускаете вручную, иначе up создаст контейнер резервного копирования без хранилища копий.
• Контейнер в состоянии unhealthy. Проверка состояния обращается к /health/ready каждые 10 секунд. Docker помечает контейнер, но не перезапускает его. Прочитайте журнал контейнера API.

Показать журнал контейнера:

docker logs --tail 100 proanima-arkvory-api-1

Служба Windows не запускается

1. Прочитайте состояние и вывод ошибок:

   Get-Service Arkvoryapi, Arkvoryworker, Arkvorybackup, Arkvorydatabase
   Get-Content C:\ProgramData\ProAnima\Arkvory\logs\arkvory-api.err.log -Tail 50

2. Откройте «Просмотр событий» Windows, Журналы Windows > Система, и найдите события диспетчера управления службами (Service Control Manager).

3. Найдите свою причину:

Причина	Исправление
Корень находится в профиле пользователя или LocalService не может читать родительскую папку	Установите в отдельную папку. См. Права на корень и каталог данных
Порт занят	См. Порт занят
Служба базы данных не работает	Запустите Arkvorydatabase. API повторяет попытку каждые 10 секунд
Службы запустились «поздно» после загрузки	Их тип запуска — «Автоматически (отложенный запуск)». Подождите несколько минут
Антивирус поместил Node.js на карантин	Разрешите файлы в runtime\
Another installation owns this service	Существуют службы установки в другом корне. Сначала удалите их
Служба остаётся остановленной	Вы или обновление её остановили. Запустите её командой Start-Service

Снова запустите графический установщик, чтобы восстановить типы запуска и действия при сбое служб. См. Windows.

Журналы, ID запросов и обратная связь

Где найти журналы. Linux: journalctl -u arkvory-api -u arkvory-worker -u arkvory-backup. Windows: logs\ в корне установки. Compose: docker logs <контейнер>. Форматы и события описаны в разделе Мониторинг.

Как найти ID запроса. В каждом ответе есть заголовок X-Request-Id. В каждом теле ошибки есть requestId. Консоль показывает его как ID запроса под сообщением, а клиент командной строки выводит его в строке ошибки. Найдите это значение в журналах API и обработчика, чтобы увидеть запрос и задания, которые он запустил.

Отправьте обратную связь с журналами.

1. Войдите и нажмите Обратная связь в верхней панели.
2. Опишите проблему и добавьте ID запроса. Можно добавить до 6 снимков экрана.
3. Если вы администратор, включите Журнал сервера и состояние системы. К сообщению будут приложены последние строки журнала API (около 1,5 МиБ) и сводка о системе без адресов и секретов.
4. Нажмите Показать, что будет приложено, чтобы увидеть, что именно будет отправлено, а затем Отправить.

Сервер отправляет отчёт в хаб ProAnimaStudio. Если хаб недоступен или обратная связь выключена, консоль показывает адрес info@proanima.net, на который можно написать. Что именно отправляется, см. в разделе Безопасность.

Связанные страницы

• Мониторинг
• Самовосстановление
• Безопасность
• Ошибки
• Windows