Загрузка данных


Давай сделаем практическую полностью прямо в чате, по шагам: ты будешь сам вводить код в Google Colab, запускать ячейки и смотреть результаты. В конце дам готовый отчёт, который можно скопировать в Word.
По твоему заданию требуется анализ и предобработка данных, поиск корреляций, построение графиков распределения, тестирование модели и отчёт о проделанной работе. Это соответствует двум модулям из методички.
Шаг 1. Создаём проект в Google Colab
Нажми «Создать блокнот».
Переименуй его в Практическая работа — анализ данных.
В первую ячейку вставь код ниже и нажми кнопку ▶.
Код:
Если появилось сообщение Библиотеки успешно подключены!, всё работает.
Шаг 2. Загружаем таблицу Excel
Твой файл sepsis.xlsx содержит данные о 138 пациентах и 156 столбцов с показателями. В нём есть сведения о возрасте, исходе заболевания, лабораторных показателях и других признаках.
Создай новую ячейку и вставь:
Нажми ▶ и выбери файл sepsis.xlsx на своём устройстве.
Теперь в следующую ячейку вставь:
Что должно получиться: таблица с первыми пятью строками. Размер исходных данных — 138 строк и 156 столбцов.
Шаг 3. Первичный анализ данных
Теперь проверим, есть ли пропуски, дубликаты и какие типы данных используются.
Этот код показывает:
количество записей и столбцов;
число дубликатов;
общее количество пропущенных значений;
средние значения, минимумы, максимумы и другие статистики.
В твоём наборе данных уже проверено: 138 записей, 156 столбцов, полных дубликатов нет. Пропущенные значения присутствуют, поэтому дальше мы обработаем их.
Шаг 4. Анализ корреляций
Корреляция показывает, насколько признаки связаны друг с другом. В нашей работе особенно важно посмотреть, какие показатели связаны с целевым столбцом «Исход заболевания».
По расшифровке таблицы:
0 — пациент выздоровел;
1 — пациент умер.
Вставь в новую ячейку:
Теперь построим тепловую карту:
Как интерпретировать график:
значение около +1 — сильная положительная связь;
значение около -1 — сильная отрицательная связь;
значение около 0 — слабая линейная связь.
В полученном наборе данных среди наиболее коррелирующих признаков были PCT 10 сутки (около 0,704), TGF-β1 21-28 сутки (около 0,702) и PCT 21-28 сутки (около 0,682). Это статистические связи в данной выборке, а не доказательство причинности.
Шаг 5. Строим графики распределения
По заданию нужно построить графики распределения и определить их характер.
Сначала построим гистограммы возраста и показателей PCT, СRP и других лабораторных измерений:
Теперь посмотрим на распределение исходов:
В исходной таблице 98 пациентов с кодом 0 и 40 пациентов с кодом 1. Поэтому классы представлены неравномерно.
При анализе гистограмм обрати внимание на форму графиков: симметричную, скошенную или многомодальную. Точный характер распределения каждого показателя лучше определить по графику, который построится у тебя в Colab.
Шаг 6. Предобрабатываем данные
Перед обучением модели необходимо подготовить таблицу:
Удалить идентификатор Number, так как он не характеризует состояние пациента.
Удалить строки, в которых отсутствует целевой признак.
Заполнить пропуски в числовых признаках медианой.
Масштабировать числовые признаки.
Разделить данные на обучающую и тестовую выборки.
Вставь следующий код:
Зачем это нужно: модель обучается на одной части данных, а качество проверяется на другой. Обработка пропусков и масштабирование выполняются внутри конвейера, чтобы статистики тестовой выборки не использовались при подготовке обучающих данных.
Шаг 7. Обучаем нейросеть
В методичке второй модуль посвящён тестированию нейросетевой модели. Для учебной работы используем MLPClassifier — многослойный перцептрон.
Вставь код:
Что означают метрики?
Accuracy — доля правильных предсказаний.
Precision — точность положительных предсказаний с учётом обоих классов.
Recall — насколько хорошо модель находит объекты каждого класса.
F1 — сводная метрика, учитывающая Precision и Recall.
Теперь выведем подробный отчёт:
И построим матрицу ошибок:
Матрица ошибок показывает количество правильных и ошибочных предсказаний для каждого класса. Для оценки важно смотреть не только на Accuracy, но и на то, насколько хорошо модель распознаёт оба исхода.
Шаг 8. Проводим модульное тестирование
В соответствии с методичкой необходимо проверить корректность работы модели с помощью тестовых сценариев.
Вставь:
Если появилось сообщение Все 5 тестовых сценариев пройдены успешно!, проверки выполнены.
Эти сценарии проверяют подготовку входных данных и корректность результата. Они не гарантируют, что модель всегда правильно предсказывает исход для новых пациентов.
Шаг 9. Формируем итоговый вывод в Colab
В последнюю ячейку добавь:
На этом практическая часть в Google Colab завершена. Теперь подготовим отчёт для Word.
Готовый отчёт для Word
Скопируй текст ниже в Word. Название работы и свои данные можешь оформить на титульном листе.
Перед сдачей: перенеси в Word свои фактические метрики из шага 7, если они отличаются от приведённых в отчёте, и вставь в документ тепловую карту корреляций, гистограммы и матрицу ошибок из Google Colab. Это сделает отчёт подтверждённым результатами твоего выполнения.