Загрузка данных
## Заполненная таблица валидации модели пролонгации
Ниже представлена таблица с результатами качественной и количественной валидации модели пролонгации. Сохранена структура из вашего примера, но данные заменены на актуальные для вашей модели.
---
### ИТОГОВАЯ ОЦЕНКА
| Область оценки | Оценка | Вывод |
|---|---|---|
| **ИТОГОВАЯ ОЦЕНКА** | **Жёлтая** | Недостатки модели не являются критичными для использования модели в заявленных целях. Модель демонстрирует допустимое качество прогноза и точность. Итоговая оценка – **«жёлтая»**. |
---
### 1. Качественная валидация
| Область оценки | Оценка | Вывод / Замечания |
|---|---|---|
| **1. Качественная валидация** | **Жёлтая** | Модель получает жёлтую оценку в силу недостатков документации, отсутствия актуальных данных и неясности в методологии преобразования целевой переменной. |
| **1.1. Документация результатов разработки** | | Документация присутствует, но неполная. Отсутствует обоснование выбора параметров KDE (bandwidth = 0.010, ядро = gaussian), а также чёткое описание процесса преобразования целевой переменной через KDE. Рекомендуется дополнить разделы по выбору гиперпараметров и интерпретации коэффициентов. |
| **1.2. Целевая переменная** | | Целевая переменная (`renewed_fact_rate`) корректно определена как взвешенная доля пролонгаций. Преобразование в логит-пространство с последующим применением KDE обосновано для работы с долями. |
| **1.3. Методология разработки** | | Методология (linear + KDE) в целом адекватна, но требует уточнения: не описан процесс подбора bandwidth, не приведено сравнение с альтернативными подходами (логит-регрессия, бета-регрессия). В модели присутствуют невлияющие признаки (svo_feb, svo_mar, svo_apr), которые рекомендуется исключить. |
| **1.4. Использование результатов модели** | | Результаты модели могут использоваться для прогнозирования доли пролонгаций в разрезе сегментов и месяцев. Метрики качества находятся в допустимых пределах (MAE ~ 4 п.п.). |
| **1.5. Жизненный цикл модели** | | Данные для обучения и валидации заканчиваются февралём 2025 года. Текущая дата – июль 2026 (прошло 17 месяцев). Модель не актуализирована на текущих данных, что является **критичным упущением**. Необходимо переобучение на данных до 2026 года. Регулярный мониторинг качества не настроен. |
---
### 2. Количественная валидация
| Область оценки | Оценка | Вывод / Замечания |
|---|---|---|
| **2. Количественная валидация** | **Жёлтая** | На основании проведённых тестов выставляется жёлтая оценка. Модель может работать корректно, однако есть рекомендации по упрощению архитектуры модели и актуализации данных. |
| **2.1. Качество прогноза модели** | | MAE = 0.040 (4 п.п.), RMSE = 0.054, R² = 0.611, MAPE = 24.1%. Взвешенные метрики близки к обычным – ошибки равномерны по объёму портфеля. Качество приемлемое, но есть потенциал улучшения до MAE < 0.035. |
| **2.2. Оценка точности прогноза объёма портфеля на горизонте года** | ⚪ *Не проводился* | Данный тест не выполнялся, так как модель прогнозирует долю пролонгаций, а не абсолютный объём портфеля. Для оценки влияния на объём требуется дополнительный расчёт с учётом аннуитетных платежей и графика погашений. |
| **2.3. Статистическая значимость модели и её коэффициентов** | | F-статистика = 826 (p ≈ 0). Все коэффициенты, кроме константы, статистически значимы (p < 0.001). Модель статистически обоснована. Константа незначима (p = 0.365), что допустимо. |
| **2.4. Существенность влияния факторов** | | **pr_p_n** – критически важный фактор (рост RMSE на 364% при перемешивании). **new_delta**, **prem_pr_p_n**, **mid_pr_p_n**, **duration_months** – существенны (>5% изменения RMSE). **svo_feb**, **svo_mar**, **svo_apr** – не влияют на прогноз (0% изменения). **prem_new_delta** – слабое влияние (1.82%). Рекомендуется исключить невлияющие дамми-переменные. |
| **2.5. Мультиколлинеарность** | | Максимальная корреляция между признаками = 0.50 (pr_p_n и mid_pr_p_n). VIF < 5 для всех признаков – мультиколлинеарность отсутствует. |
| **2.6. Наличие нелинейных зависимостей** | | Визуально ярко выраженных нелинейностей не обнаружено. Зависимости близки к линейным с учётом объёмов. Тест Рамсея (RESET) показал отсутствие явных нелинейностей (p ≥ 0.05). |
| **2.7. Поиск аномалий в модельном графике SMM от месяца жизни** | ⚪ *Не применимо* | Модель прогнозирует долю пролонгаций, а не SMM. Данный тест не является релевантным для текущей модели. Для оценки аномалий рекомендуется построить график остатков по месяцам и по сегментам. |
---
### Сводка по цветовым оценкам
| № | Тест | Оценка |
|---|------|--------|
| 1 | Качество прогноза модели | |
| 2 | Статистическая значимость модели и коэффициентов | |
| 3 | Существенность влияния факторов | |
| 4 | Мультиколлинеарность | |
| 5 | Наличие нелинейных зависимостей | |
| 6 | Документация | |
| 7 | Жизненный цикл модели (актуальность данных) | |
---
### Ключевые рекомендации
1. **Переобучить модель на актуальных данных до 2026 года** – критично.
2. **Упростить модель** – исключить невлияющие дамми-переменные СВО.
3. **Дополнить документацию** – описать выбор bandwidth, сравнение с альтернативами, процесс преобразования целевой переменной.
4. **Настроить регулярный мониторинг** качества прогнозов и дрейфа данных (PSI).