Загрузка данных


Ты работаешь в проекте:

/home/sigma.sbrf.ru@23865613/home/work/skil-scrap/adt-markdownify-meta

Проблема:
Пакет playwright не устанавливается через pip из-за сетевого обрыва:

ModuleNotFoundError: No module named 'playwright'

pip ранее падал с ошибкой BrokenPipeError при скачивании большого файла playwright.

Задача:
Подготовить ручную установку playwright через wheel-файлы.

Важно:
- Не меняй код проекта.
- Не меняй requirements.txt без отдельной команды.
- Не запускай полный scraping.
- Не запускай python run_exporter.py.
- Не пытайся снова много раз скачивать playwright через pip.
- Сначала только собери диагностическую информацию и подготовь точную инструкцию, какие wheel-файлы нужны.
- Если на каком-то шаге ошибка — остановись и покажи полный текст ошибки.

Шаг 1. Перейти в проект

cd /home/sigma.sbrf.ru@23865613/home/work/skil-scrap/adt-markdownify-meta
pwd

Шаг 2. Активировать venv

source venv/bin/activate

Проверить:

python -V
python -c "import sys, platform; print(sys.version); print(platform.platform()); print(platform.machine())"
python -m pip --version

Шаг 3. Определить поддерживаемые теги wheel для текущего Python

Выполни:

python -m pip debug --verbose | sed -n '/Compatible tags/,$p' | head -40

Нужно понять, какие wheel-теги подходят, например:
cp313-cp313-manylinux...
cp313-abi3-manylinux...
py3-none-any

Шаг 4. Проверить, какие зависимости уже установлены

python -m pip list

Шаг 5. Проверить маленькие зависимости

python -c "import yaml; print('yaml ok')"
python -c "import bs4; print('bs4 ok')"
python -c "import html2text; print('html2text ok')"

Если какая-то маленькая зависимость отсутствует — просто отметь это в отчёте, не устанавливай.

Шаг 6. Создать папку для ручных wheel-файлов

mkdir -p wheels

Шаг 7. Подготовить инструкцию для машины с интернетом

Нужно сформировать команды, которые надо выполнить на машине с нормальным интернетом и такой же архитектурой Linux x86_64.

В инструкции обязательно укажи два варианта:

Вариант А — скачать актуальный playwright под текущий Python:

python3 -m pip download --only-binary=:all: --dest wheels playwright

Вариант Б — если нужна версия как в старом проекте:

python3 -m pip download --only-binary=:all: --dest wheels playwright==1.40.0

Но обязательно добавь предупреждение:
если текущий Python — 3.13, playwright==1.40.0 может не иметь подходящего wheel под cp313, поэтому безопаснее сначала пробовать без фиксации версии или использовать Python 3.11/3.12.

Шаг 8. Подготовить инструкцию переноса wheel-файлов

Нужно написать:
- скопировать все файлы из папки wheels с машины с интернетом в папку:
  /home/sigma.sbrf.ru@23865613/home/work/skil-scrap/adt-markdownify-meta/wheels

Шаг 9. Подготовить команду локальной установки без интернета

Команда:

python -m pip install --no-index --find-links=./wheels playwright

Если будут скачаны конкретные версии зависимостей, можно также предложить:

python -m pip install --no-index --find-links=./wheels playwright pyee greenlet

Шаг 10. Подготовить проверку после ручной установки

Команды:

python -c "import playwright; print('playwright ok')"
python -m playwright --version

Шаг 11. Важно про браузер

Так как SberBrowser уже установлен по пути:

/opt/Sberbrowser/sberbrowser/sberbrowser

и в нашем конфиге указан executable_path, скачивать Chromium через:

python -m playwright install chromium

может быть не обязательно для первого теста.

После установки пакета playwright нужно проверить запуск именно с SberBrowser, а не скачивать Chromium.

Шаг 12. Итоговый отчёт

Сделай отчёт:

1. Какая версия Python используется.
2. Какая архитектура ОС.
3. Какие wheel-теги поддерживаются.
4. Какие маленькие зависимости уже установлены.
5. Какие wheel-файлы нужно скачать вручную.
6. Как перенести wheel-файлы.
7. Как установить их локально.
8. Почему playwright==1.40.0 может быть рискованным на Python 3.13.
9. Что делать после успешной установки.