Загрузка данных


Ты работаешь с двумя проектами:

Новый проект:
/home/sigma.sbrf.ru@23865613/home/work/skil-scrap/adt-markdownify-meta

Аналогичный проект:
/home/sigma.sbrf.ru@23865613/home/work/hr-resume-scrapper-master

Контекст:
В новом проекте могла не установиться зависимость playwright из-за сетевой ошибки BrokenPipeError при скачивании большого пакета.

Задача:
Если установка зависимостей не сработала, не пытайся снова много раз скачивать пакеты. Вместо этого выполни анализ браузерного запуска по аналогичному проекту hr-resume-scrapper-master и проверь минимальное открытие браузера.

Важно:
- Не меняй код нового проекта.
- Не меняй код старого проекта.
- Не удаляй venv.
- Не добавляй API.
- Не добавляй endpoint-ы.
- Не добавляй token, cookie, login, password.
- Не запускай полный scraping.
- Если на каком-то шаге ошибка — остановись и покажи:
  1. номер шага;
  2. команду;
  3. полный текст ошибки;
  4. краткое объяснение.

Шаг 1. Перейти в новый проект

Команда:

cd /home/sigma.sbrf.ru@23865613/home/work/skil-scrap/adt-markdownify-meta
pwd

Проверь, что текущая папка заканчивается на:

/home/work/skil-scrap/adt-markdownify-meta

Шаг 2. Проверить venv и Python

Команды:

ls -la venv || true
source venv/bin/activate
python -V
python -m pip --version

Если venv не активируется — остановись.

Шаг 3. Проверить, установлен ли playwright в venv

Команда:

python -c "import playwright; print('playwright in venv ok')"

Если команда упала, не исправляй сразу. Запомни результат и переходи к шагу 4.

Шаг 4. Проверить, установлен ли playwright глобально

Команда:

deactivate || true
python3 -c "import playwright; print('global playwright ok')"

Если команда упала, значит playwright не установлен ни в venv, ни глобально.

Шаг 5. Проанализировать, как старый проект запускает браузер

Команды:

cd /home/sigma.sbrf.ru@23865613/home/work/hr-resume-scrapper-master

grep -R "sync_playwright" -n .
grep -R "chromium.launch" -n .
grep -R "executable_path" -n .
grep -R "sberbrowser" -n .
grep -R "path_to_exe" -n .
grep -R "headless" -n .
grep -R "slow_mo" -n .
grep -R "page.goto" -n .

Нужно показать найденные фрагменты и объяснить:
- какой файл запускает браузер;
- используется chromium или sberbrowser;
- где берётся path_to_exe;
- используется ли headless false;
- как открывается страница через page.goto.

Шаг 6. Найти путь к SberBrowser или Chromium в системе

Выполни команды:

which chromium || true
which chromium-browser || true
which google-chrome || true
which sberbrowser || true
find /usr/bin /opt /Applications -iname "*sber*" 2>/dev/null | head -20
find /usr/bin /opt /Applications -iname "*chrom*" 2>/dev/null | head -20

Если ничего не найдено — просто сообщи, что браузерный executable не найден стандартным поиском.

Шаг 7. Если playwright найден в venv или глобально, создать временный минимальный тест открытия браузера

Вернись в новый проект:

cd /home/sigma.sbrf.ru@23865613/home/work/skil-scrap/adt-markdownify-meta

Создай временный файл:

tmp_browser_test.py

Содержимое:

from playwright.sync_api import sync_playwright

url = "https://mapp.sberbank.ru/techcookbook-meta"

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False, slow_mo=1000)
    page = browser.new_page(viewport={"width": 1920, "height": 1080})
    print("Открываю страницу:", url)
    page.goto(url, wait_until="domcontentloaded", timeout=60000)
    print("Заголовок страницы:", page.title())
    input("Браузер открыт. Нажмите Enter, чтобы закрыть...")
    browser.close()

Запусти:

python tmp_browser_test.py

Если браузер открылся — напиши:
"Минимальный тест браузера прошёл успешно".

Если не открылся — покажи полный текст ошибки.

Шаг 8. Если playwright не найден вообще

Не создавай tmp_browser_test.py.
Напиши:

"Браузерный тест через Playwright невозможен, потому что playwright не установлен. Нужно решить установку playwright или найти корпоративный способ установки зависимостей."

Шаг 9. Итоговый отчёт

В конце дай отчёт:

1. Установлен ли playwright в venv.
2. Установлен ли playwright глобально.
3. Как старый проект запускает браузер.
4. Найден ли SberBrowser/Chromium в системе.
5. Получилось ли открыть браузер минимальным тестом.
6. Что делать дальше:
   - продолжать с playwright;
   - или сначала решать установку зависимостей;
   - или использовать SberBrowser path_to_exe;
   - или просить корпоративный mirror/proxy для pip.