Загрузка данных
Ты работаешь в проекте:
/Users/23865613/IdeaProjects/untitled/adt-markdownify-meta-mvp
Контекст:
MVP уже стабильно работает.
Последний запуск:
- URL в meta_urls.txt: 9
- Успешно выгружено: 9 из 9
- Ошибок: 0
- py_compile: успешно
- Создано 21 файлов отчётов и выгрузок в output/
Задача:
Ничего не переписывать в логике выгрузки. Нужно только подготовить проект к демонстрации как аккуратный MVP skill-а для GigaCode.
Важно:
- Не менять scrape_meta.py, если нет явной ошибки.
- Не менять browser/Playwright-логику.
- Не запускать автодобавление новых URL.
- Не добавлять API.
- Не добавлять requests/httpx/aiohttp/urllib.
- Не добавлять token/cookie/login/password.
- Не сохранять cookies/sessionStorage/localStorage.
- Не удалять output/*.md.
- Не удалять temp_html/*.html.
Что нужно сделать:
1. Проверить .gitignore
Убедиться, что в .gitignore есть:
.venv/
__pycache__/
*.pyc
.DS_Store
meta_exporter.yaml
*.bak
Если чего-то нет — добавить.
2. Создать файл DEMO.md
В DEMO.md описать короткий сценарий демонстрации:
# Demo: adt-markdownify-meta-mvp
## Что показать
1. meta_urls.txt — список страниц META.
2. run_exporter.py — точка входа.
3. scripts/scrape_meta.py — запуск браузера и выгрузка HTML.
4. scripts/html_to_markdown.py — конвертация HTML в Markdown.
5. scripts/markdown_writer.py — создание отчетов.
6. output/README.md — индекс выгруженных страниц.
7. output/HIERARCHY.md — иерархия АС.
8. output/INTERACTION_POINTS.md — точки взаимодействия.
9. output/INTEGRATION_INTERACTIONS.md — интеграционные взаимодействия.
10. output/API.md — найденные API.
11. output/STANDS.md — стенды.
12. output/TECH_RESOURCES.md — технические ресурсы.
13. output/EXPORT_REPORT.md — результат запуска.
## Команды для демонстрации
cd /Users/23865613/IdeaProjects/untitled/adt-markdownify-meta-mvp
source .venv/bin/activate
python -m py_compile run_exporter.py scripts/config_loader.py scripts/scrape_meta.py scripts/html_to_markdown.py scripts/markdown_writer.py
python run_exporter.py
## Ожидаемый результат
- 9 страниц обработано.
- 0 ошибок.
- Markdown-файлы созданы в output/.
- Сырые HTML сохранены в temp_html/.
## Что важно проговорить
- Skill не использует API META.
- Skill не хранит токены, cookies, логины и пароли.
- Авторизация выполняется вручную через SberBrowser.
- Полнота выгрузки зависит от списка URL в meta_urls.txt.
3. Создать файл docs/RESULT_EXAMPLE.md
Если папки docs нет — создать.
В RESULT_EXAMPLE.md кратко описать пример результата на SberGeo:
# Пример результата выгрузки SberGeo
## Вход
meta_urls.txt содержит страницы:
- АС SberGeo
- ФП SberGeo.СНЛ
- модули SberGeo.СНЛ
## Выход
Созданы отчеты:
- HIERARCHY.md
- INTERACTION_POINTS.md
- INTEGRATION_INTERACTIONS.md
- API.md
- STANDS.md
- TECH_RESOURCES.md
- EXPORT_REPORT.md
- LINK_DISCOVERY_REPORT.md
- URL_CLEANUP_REPORT.md
## Результат последнего запуска
| Метрика | Значение |
|---|---|
| URL в meta_urls.txt | 9 |
| Успешно выгружено | 9 из 9 |
| Ошибок | 0 |
| Технических компонентов найдено | 30+ |
| Проверка py_compile | Успешно |
4. Обновить README.md
Добавить в README.md раздел:
## Статус MVP
Текущий MVP:
- стабильно запускается через SberBrowser/Playwright;
- выгружает HTML страниц META;
- конвертирует HTML в Markdown;
- создает архитектурные отчеты;
- не использует API;
- не хранит credentials;
- последний тестовый запуск: 9/9 успешно, 0 ошибок.
Добавить раздел:
## Ограничения MVP
- Skill выгружает только страницы, указанные в meta_urls.txt.
- Если страница ТчВ/API/Стендов/ТР не найдена автоматически, её нужно открыть в META вручную и добавить URL.
- Качество и полнота иерархии зависят от данных, доступных на выгруженных страницах.
- Авторизация выполняется вручную через корпоративный браузер.
5. Выполнить только безопасную проверку:
python -m py_compile run_exporter.py scripts/config_loader.py scripts/scrape_meta.py scripts/html_to_markdown.py scripts/markdown_writer.py
6. В конце ответа покажи:
1. Какие файлы созданы.
2. Какие файлы изменены.
3. Результат py_compile.
4. Короткий вывод: проект готов к демонстрации как MVP.