Обновление бота · обучение
Парсинг
Изменён сценарий

💼 Парсинг: список источников

Раньше задача парсинга собиралась по одной ссылке: чат или канал, потом выбор режима кнопками, потом лимит отдельным сообщением. Теперь пользователь присылает список источников (до 100 штук), бот проверяет каждый и открывает мини-приложение, где по каждому источнику выбирается, что именно с него собрать.

Кому полезно: всем, кто собирает аудиторию сразу из нескольких чатов и каналов - теперь это одна задача, один результат и один файл вместо десятка отдельных запусков.

Коротко: аккаунты → список ссылок → «Проверить источники» → мини-приложение с режимом и лимитом по каждому источнику → «Продолжить».

Было

Одна ссылка на задачу. Бот сам определял, что доступно, показывал кнопки «👥 Открытые участники» / «💬 Писавшие в чат», затем отдельным сообщением спрашивал лимит. Комбинировать «участники + писавшие» было нельзя.

Стало

Список до 100 ссылок одним или несколькими сообщениями, пересылками и файлом .txt. Шаг «Проверить источники». Режим и лимит - по каждому источнику в мини-аппе, с массовым применением по группам. Появились комбинированные режимы и расширенный парсинг.

Почему это важно поддержке

Старые кнопки «Открытые участники» / «Писавшие в чат» и отдельный вопрос про число постов из этого сценария исчезли. Если клиент их ищет - объясняем, что выбор переехал в мини-приложение.
Вход / обычное действие
Выбор / проверка
Успех / запуск
Ошибка / тупик
Новый элемент

1Сбор списка источников

Меню парсинга не изменилось: новый сценарий живёт за первой кнопкой - парсинг по ссылке. Остальные два вида парсинга (поиск чатов и по номерам) работают как раньше.

Меню парсинга
Выбор вида парсинга. Если доступа нет - все три кнопки с замком [🔒].
👥 Парсинг по ссылке 🔎 Поиск чатов 📞 Парсинг по номерам 🔙 Функции
Шаг 1 · Выбор аккаунтов
Обычный экран выбора аккаунтов, от лица которых пойдёт сбор.
☑️ выбор аккаунтов✅ Продолжить
При каждом входе в парсинг бот удаляет прошлые черновики пользователя - незавершённая позавчерашняя попытка не всплывёт в новой задаче.
Шаг 2 · Список источников
📎 Отправьте ссылки на чаты и каналы

Списком в одном сообщении, пересланными сообщениями или файлом .txt

Подходят @username, t.me/username и приглашения вида t.me/+hash
📎🔎 Нет ссылки 🔙 Назад
🆕 Ссылки можно присылать несколькими сообщениями подряд - они складываются в один список. Работают пересланные посты и подписи к файлам/картинкам. Повторы отбрасываются автоматически.
Счётчик набранного
Загружено источников: 37 шт.
✅ Проверить источники 📎🔎 Нет ссылки 🔙 Назад
❗️ Потолок - 100 источников на задачу. Всё сверх лимита отбрасывается, и бот дописывает: «Взяты первые 100 источников, остальные не поместились (лимит источников в одной задаче)».
какие ссылки бот принимаетЧто считается источником
подходит
Форматы ссылок
@durov
durov
t.me/durov
https://t.me/durov
t.me/+AbCdEf123
t.me/joinchat/AbCdEf123
✅ приводится к виду https://t.me/…
не подходит
Отбрасывается молча
t.me/durov/s/12 - ссылка на историю
t.me/c/1234567890 - внутренняя ссылка, её понимает только аккаунт, уже состоящий в чате
любые посторонние строки и повторы
Если в сообщении не нашлось ни одной подходящей ссылки, бот отвечает ошибкой формата и оставляет уже набранный список на месте.

2Проверка источников

Новый шаг. Бот выбранными аккаунтами обходит каждую ссылку и выясняет, что с неё вообще можно собрать. Это может занять минуты - на длинных списках это нормально.

Во время проверки
⏳ Выполняется проверка источников...
Пока идёт проверка, кнопки не показываются. Новые ссылки, присланные в это время, не теряются: они складываются в отдельную очередь и попадут в список после проверки.
развилка проверкиЧто вернула проверка?
⛔️Ничего не подошло
Экран отказа
Ни один источник не подошёл. Пришлите другие ссылки.
✅ Проверить источники🔙 Назад
❌Часть недоступна
Список проблемных
Недоступны (3):
https://t.me/…
https://t.me/…
https://t.me/…
Недоступные ссылки удаляются из списка - перепроверять их не нужно.
🔁Не удалось проверить
Список на повтор
Не удалось проверить (2), попробуйте ещё раз:
https://t.me/…
Эти остаются в списке: бот не успел до них дойти. Достаточно нажать проверку ещё раз.
✅Есть годные источники
Переход к настройкам
Откройте настройки и выберите, что собрать с каждого источника.
✅ появляется кнопка мини-аппа
Если во время проверки пользователь дослал ссылки, бот отдельной строкой скажет: «Пока шла проверка, добавлено ссылок: N шт. Нажмите „Проверить источники“ ещё раз, чтобы включить их в задачу», и в клавиатуре появится 🔄 Проверить добавленные.
Экран перед запуском
Откройте настройки и выберите, что собрать с каждого источника.
⚙️ Открыть настройки 🔄 Проверить добавленные ➡️ Продолжить 🔙 Назад
Кнопка «🔄 Проверить добавленные» появляется только тогда, когда в списке есть непроверенные ссылки.

3Мини-приложение: что собрать с каждого источника

Здесь пользователь по каждому источнику выбирает режим и лимит. Доступные режимы определяются проверкой и у разных источников разные.

главное отличиеКакие режимы бывают
💬Чаты
Режимы для чата
Участники - весь список участников чата, включая ничего не писавших

Писавшие в чат - только те, кто оставлял сообщения, даже если уже вышли

🆕 Участники + Писавшие - оба списка одной задачей, повторы отсеиваются автоматически
У закрытых чатов и чатов со скрытыми участниками остаётся только «Писавшие в чат» - список участников Telegram не отдаёт.
📢Каналы
Режимы для канала
Комментарии - те, кто комментировал посты канала

🆕 Участники - подписчики канала. Доступно, только если аккаунт админ этого канала: список подписчиков Telegram отдаёт исключительно администраторам

🆕 Участники + Комментарии - одной задачей, повторы отсеиваются
У канала без обсуждений режимы с комментариями пропадают - собирать нечего.
🆕 Комбинированные режимы («Участники + Писавшие», «Участники + Комментарии») бот предлагает по умолчанию, когда они доступны. Если у источника вариант всего один, он ставится сразу и подписан как «другого варианта у источника нет».
🆕 Проверки
Проходить проверку при вступлении
Работает там, где аккаунт вступает: источники по приватной ссылке и чат обсуждений канала, если комментарии без вступления закрыты.

Парсер сам проходит проверку бота-модератора: кнопка «я не бот», реакция, пример, опрос, принятие правил. Приветствие для вызова проверки не отправляется.

При «Выкл» парсер в чат обсуждений не вступает, и комментарии закрытых обсуждений собраны не будут.
🆕 Расширенный парсинг
Что добавится и чем платим
В фильтры выгрузки добавятся: есть описание (био), ссылка в описании, канал в профиле, отображён день рождения, есть подарки, музыка в профиле, признаки Business-профиля.

⚠️ На каждого пользователя уходит отдельный запрос, пачками их не отправить. Сбор идёт в разы медленнее, аккаунт рискует получить анти-флуд.
❗️ Включать нужно до запуска задачи. Для уже собранной задачи расширенные признаки добавить нельзя.
Всплывающие подсказки мини-аппа
Сохранено · Не удалось сохранить
Применено к источникам: N · Применено к N из M
Сначала выберите режим или укажите лимит
Этот режим недоступен ни одному источнику
Не сохранено источников: N. Выбранный режим им больше недоступен, откройте настройки заново
Откройте настройки задачи из бота (если ссылка устарела)
У уже запущенной задачи страница открывается только для чтения: «Задача уже запущена, настройки источников доступны только для просмотра».

4Запуск и карточка задачи

проверка перед стартомУ всех источников выбран режим?
не у всех
Всплывающее окно
Не выбран режим у источников: 4. Откройте настройки.
⛔ запуск не происходит
у всех
Запуск
█▒▒▒▒▒▒▒▒▒ → █████▒▒▒▒▒

Задача создана и переходит в историю.
✅ карточка задачи
❗️ Если список источников устарел (например, бот перезапускался), придёт «Список источников устарел. Проверьте ссылки заново» - и пользователь вернётся на шаг проверки.
Карточка задачи в истории
Тип: 📂 Список источников

Источников: 37 (готово: 31, с ошибкой: 6)
Найдено пользователей: 48 210
Из них премиум: 3 902
✏️ Установить название 🚮 Удалить задачу 📔 Лог задачи 📤 Выгрузить результаты 🔙 Назад
🆕 В карточке видно, сколько источников уже обработано и сколько отвалилось, ещё до окончания задачи. Кнопка «📤 Выгрузить результаты» ведёт в новое меню выгрузки - см. отдельную схему.

?Возможные вопросы пользователей

Куда пропали кнопки «Открытые участники» и «Писавшие в чат»?
Они переехали в мини-приложение и стали настройкой каждого источника. Раньше выбор был один на всю задачу, потому что и источник был один. Теперь у одной задачи может быть до 100 источников с разными режимами.
Бот больше не спрашивает, сколько постов обойти. Где это задать?
В мини-приложении, в блоке «Источники»: «Постов в канале» для каналов и «Сообщений в чате» для чатов. Пустое поле означает «без ограничения» - весь чат или все посты. Обратите внимание: комментарии под каждым постом собираются целиком, поэтому 100 постов легко дают десятки тысяч человек.
Сколько ссылок можно прислать за раз?
До 100 источников на задачу. Присылать можно частями - несколькими сообщениями, пересылками или файлом .txt, список накапливается. Всё сверх сотни отбрасывается, и бот об этом прямо пишет.
Почему у моего канала нет режима «Участники»?
Список подписчиков канала Telegram отдаёт только администраторам. Если аккаунт, выбранный для задачи, не админ этого канала - остаются только «Комментарии». Это ограничение Telegram, а не бота.
Часть ссылок попала в «Недоступны». Их можно вернуть?
Недоступные ссылки удаляются из списка: аккаунт не смог их открыть или парсить там нечего. Их нужно прислать заново - возможно, другим аккаунтом или после вступления. А вот «Не удалось проверить» остаются в списке: там проверка просто не успела, достаточно нажать «Проверить источники» ещё раз.
Что даёт «Расширенный парсинг» и почему он выключен?
Он добавляет признаки профиля: описание, ссылку в описании, канал в профиле, день рождения, подарки, музыку, Business-профиль. По ним потом можно фильтровать выгрузку. Платим скоростью и риском: на каждого пользователя уходит отдельный запрос к Telegram, пачками их не отправить, аккаунт работает дольше и может получить анти-флуд. Включать нужно ДО запуска - задним числом признаки не добавляются.
Зачем тумблер «Проходить проверку при вступлении»?
Некоторые чаты обсуждений закрыты до вступления, а на вступление бот-модератор присылает проверку. С включённым тумблером парсер проходит её сам (кнопка «я не бот», реакция, пример, опрос, правила). Если выключить - парсер в чат обсуждений не вступит, и комментарии закрытых обсуждений собраны не будут.
Я оставил вкладку с настройками открытой, а потом сохранил. Почему часть источников не сохранилась?
За время между открытием страницы и сохранением состав доступных режимов мог измениться - например, аккаунт потерял доступ к источнику. Тогда мини-апп покажет «Не сохранено источников: N. Выбранный режим им больше недоступен, откройте настройки заново». Достаточно закрыть и открыть настройки из бота ещё раз.