Загрузка данных


Ты работаешь в проекте:

/home/sigma.sbrf.ru@23865613/home/work/skil-scrap/adt-markdownify-meta

Проблема:
На шаге установки зависимостей команда:

python -m pip install -r requirements.txt

упала при скачивании большого пакета playwright из-за сетевого обрыва:

pip._vendor.urllib3.exceptions.ProtocolError:
Connection broken: BrokenPipeError(32, 'Обрыв канала')

Анализ аналогичного проекта hr-resume-scrapper-master показал:
- там используется playwright==1.40.0
- там используется PyYAML==6.0.1
- готового venv нет
- установленного playwright нет
- корпоративный proxy или mirror в README не указан

Задача:
Не менять код проекта.
Не менять архитектуру проекта.
Не добавлять API.
Не добавлять endpoint-ы.
Не добавлять token, cookie, login, password.

Нужно аккуратно проверить установку зависимостей по одной.

Важно:
- Выполняй команды строго по порядку.
- Если команда упала — остановись.
- Не переходи дальше после ошибки.
- Не пытайся чинить автоматически.
- В случае ошибки напиши:
  1. номер шага;
  2. название шага;
  3. команду;
  4. полный текст ошибки;
  5. краткое объяснение.

Шаг 1. Перейти в проект

Команда:

cd /home/sigma.sbrf.ru@23865613/home/work/skil-scrap/adt-markdownify-meta

Проверить:

pwd

Шаг 2. Активировать venv

Команда:

source venv/bin/activate

Проверить:

python -V
python -m pip --version

Шаг 3. Обновлять pip НЕ надо

Не выполняй pip install --upgrade pip, чтобы не создавать лишнюю сетевую нагрузку.

Шаг 4. Установить маленькие зависимости отдельно

Команда:

python -m pip install --default-timeout=300 --retries 10 pyyaml beautifulsoup4 html2text

Если команда упала — остановись и покажи ошибку.

Шаг 5. Проверить маленькие зависимости

Команда:

python -c "import yaml; import bs4; import html2text; print('small deps ok')"

Если команда упала — остановись и покажи ошибку.

Шаг 6. Установить playwright отдельно с фиксированной версией как в старом проекте

Команда:

python -m pip install --default-timeout=300 --retries 10 playwright==1.40.0

Если команда упала — остановись и покажи ошибку.

Шаг 7. Проверить playwright

Команда:

python -c "import playwright; print('playwright ok')"

Если команда упала — остановись и покажи ошибку.

Шаг 8. Установить Chromium

Команда:

python -m playwright install chromium

Если команда упала — остановись и покажи ошибку.

Шаг 9. Проверить импорты проекта

Команда:

python -c "from scripts.config_loader import get_config; from scripts.scrape_meta import export_meta; from scripts.html_to_markdown import build_meta_markdown; from scripts.markdown_writer import write_markdown; print('project imports ok')"

Если команда упала — остановись и покажи ошибку.

Шаг 10. Дай краткий отчёт

В отчёте напиши:
1. какие зависимости установились;
2. установился ли playwright;
3. установился ли chromium;
4. на каком шаге произошла ошибка, если она была;
5. можно ли переходить к запуску python run_exporter.py.