Расширение браузера для сбора данных

• разметка выделением
• обход списка
• таблица и JSON
• история сборов

Цифры выше это пакет, на котором это стоит: Браузерное расширение. Всё, что выходит за его границы, калькулятор добавит до начала работ, а не после.

1. 01

   Один раз показать, что забирать

   Расширение запоминает не место на экране, а место в структуре страницы, и разметка проверяется на второй такой же.

2. 02

   Сбор идёт под уже открытой сессией

   Доступно ровно то, что доступно человеку, а пароли расширение не хранит и второй сессии не заводит.

3. 03

   Собранное уходит туда, где им пользуются

   Структура одна, поэтому вторая выгрузка ложится к первой, а в каждой строке стоит адрес источника и время прохода.

• Быстрый обход выдаёт себя

  Темп и паузы настраиваются под обычное чтение: выгрузка, идущая всю ночь, стоит дешевле заблокированного аккаунта.

• Пустая ячейка это не ноль

  Ненайденное поле это отметка и остановка сбора, а не пустая клетка, которая через месяц попадёт в отчёт нулём.

• Браузер это граница

  Разовые и средние объёмы это расширение, регулярный сбор по расписанию это сервер, и второе стоит других денег.

• страниц собрано за один проход
• строк, требующих ручной правки
• полей, не найденных на странице
• время от страницы до готовой выгрузки

Форма этой задачи известна: состояния, крайние случаи и то, что обычно ломается, здесь уже продуманы. Шаблоном при этом ничего не делается, и экономия идёт не из вашей половины работы. Она уходит в ваш процесс, ваш контент и системы, с которыми это должно разговаривать, то есть в ту часть, которую заранее решить нельзя.

• РасширениеTypeScriptReactChrome Manifest V3
• Разбор и хранениеNode.jsPostgreSQLS3
• Проверки и эксплуатацияPlaywrightDockerGrafana

• платные подписки на источники
• сервер и хранилище, если собранное идёт в базу
• обращения к AI-модели при разборе описаний
• аккаунт разработчика в Chrome Web Store

Чем это отличается от парсера на сервере?

Сбор идёт в вашем браузере, под вашей сессией и по вашему нажатию, поэтому доступно то, что доступно вам. Регулярный сбор без человека это другая система, со своим сервером.

Это законно?

Публичную страницу читать как правило можно. У закрытого кабинета есть условия, которые человек принимает при регистрации, а персональные данные мы не собираем вовсе. Условия источников читаем до сметы.

Что будет, когда сайт поменяет вёрстку?

Разметка перестанет совпадать, и расширение скажет об этом на первой же странице, а не наполнит пустые ячейки. Обычно переразметить можно самому тем же выделением, а починка входит в сопровождение.

• Браузерное расширение на заказот $1,900
• Расширение браузера для CRMот $1,900
• AI-ассистент в Instagram и Telegramот $1,700