Инструменты
Агрегатор новостей 4.0 (Парсер RSS-контента + SEO)
от Web-Industry webindustry.agregator
4 000 ₽
Электронная передача по России, без платы за доставку, после подтверждения заказа и не позже 5 дней. Условия.
Скриншоты
Технические данные
- Опубликовано:
- 16.07.2014
- Обновлено:
- 02.06.2025
- Версия:
- 4.3.7
- Установлено:
- 100 - 499 раз
- Подходящие редакции:
- «Первый сайт», «Старт», «Стандарт», «Малый бизнес», «Бизнес», «Интернет-магазин + CRM»
- Адаптивность:
- Да
- Поддержка Композита:
- Да
- Совместимо с Сайты24
- Нет
Модуль агрегирует записи из RSS-лент и сохраняет их в инфоблок вашего сайта. За вами лишь оформить вывод в публичной части.
У некоторых сайтов по умолчанию есть rss и можно сразу использовать. А ещё можно с помощью сторонних сервисов конвертировать в rss почти всё − Telegram-канал, Twitter, VK.
Список сервисов конвертации, которыми можете воспользоваться самостоятельно (некоторые потребуют участия вашего веб-разработчика):
RSSHub (пример rss)
RSS Bridge (пример сервера)
VKRSS
politepol
Feed43 (пример)
Zapier
IFTTT
Notifier
Дополнительно в модуле вы можете настроить:
• перечень ключевых выражений и стоп-слов для отбора записей;
• в каком формате сохранять запись - html или plain text;
• интервал обновлений;
• !! фразы и url вашего сайта для автоматической внутренней линковки из текстов новостей !!
Модуль позволяет добавить неограниченное количество RSS-каналов для агрегирования!
Кроме того, агрегатор добавляет изображения из ленты и полный текст новости (из тега yandex:full-text), ориентированный для публикации в Яндекс Дзен.
Этот модуль будет особенно полезен для вас, если вы:
1. Продвигаете свой или сайт клиента на 1С-Битрикс в поисковых системах
2. Занимаетесь SEO-продвижением самостоятельно
3. Хотите предоставлять клиенту сводку актуальной и полезной информации
4. Хотите сэкономить на специалистах по SEO-оптимизации (автоматическая внутренняя линковка и повышение веса нужных страниц)
5. Заинтересованы в том, чтобы постоянно улучшать позиции (поисковики учитывают как часто обновляется ваш сайт, а с нашим модулем это будет происходить автоматически и регулярно)
FAQ
Как настраивать модуль?
- См.страницу "установка":
http://marketplace.1c-bitrix.ru/solutions/webindustry.agregator/#tab-install-link
Агрегируется полный текст или анонс?
- Агрегируется тот текст, который владелец канала разместил на нем. Чаще всего это только анонс. На некоторых каналах есть полный текст новости (тег yandex:full-text), и если он присутствует, то тоже агрегируется.
В этом случае анонс сохраняется в описание анонса, а полный текст - в детальное описание.
Сохраняется ли ссылка на источник?
- Да, в элемент добавляется свойство "Ссылка на источник" - страницу на сайте автора новости, где она опубликована целиком.
Сохраняются ли изображения?
- Да, если они есть в канале, то в детальной картинке и картинке анонса. Сохраняются на вашем сервере.
Как выводятся собранные новости?
- Так как новости сохраняются в инфоблок, вы можете выводить их любым удобным вам компонентом, как встроенным в модуль, так и стандартным компонентом Битрикса (news.list).
Вы можете по желанию настроить вывод каждой новости на отдельной странице или создать только одну общую, выводить анонс или полное описание.
У некоторых сайтов по умолчанию есть rss и можно сразу использовать. А ещё можно с помощью сторонних сервисов конвертировать в rss почти всё − Telegram-канал, Twitter, VK.
Список сервисов конвертации, которыми можете воспользоваться самостоятельно (некоторые потребуют участия вашего веб-разработчика):
RSSHub (пример rss)
RSS Bridge (пример сервера)
VKRSS
politepol
Feed43 (пример)
Zapier
IFTTT
Notifier
Дополнительно в модуле вы можете настроить:
• перечень ключевых выражений и стоп-слов для отбора записей;
• в каком формате сохранять запись - html или plain text;
• интервал обновлений;
• !! фразы и url вашего сайта для автоматической внутренней линковки из текстов новостей !!
Модуль позволяет добавить неограниченное количество RSS-каналов для агрегирования!
Кроме того, агрегатор добавляет изображения из ленты и полный текст новости (из тега yandex:full-text), ориентированный для публикации в Яндекс Дзен.
Этот модуль будет особенно полезен для вас, если вы:
1. Продвигаете свой или сайт клиента на 1С-Битрикс в поисковых системах
2. Занимаетесь SEO-продвижением самостоятельно
3. Хотите предоставлять клиенту сводку актуальной и полезной информации
4. Хотите сэкономить на специалистах по SEO-оптимизации (автоматическая внутренняя линковка и повышение веса нужных страниц)
5. Заинтересованы в том, чтобы постоянно улучшать позиции (поисковики учитывают как часто обновляется ваш сайт, а с нашим модулем это будет происходить автоматически и регулярно)
FAQ
Как настраивать модуль?
- См.страницу "установка":
http://marketplace.1c-bitrix.ru/solutions/webindustry.agregator/#tab-install-link
Агрегируется полный текст или анонс?
- Агрегируется тот текст, который владелец канала разместил на нем. Чаще всего это только анонс. На некоторых каналах есть полный текст новости (тег yandex:full-text), и если он присутствует, то тоже агрегируется.
В этом случае анонс сохраняется в описание анонса, а полный текст - в детальное описание.
Сохраняется ли ссылка на источник?
- Да, в элемент добавляется свойство "Ссылка на источник" - страницу на сайте автора новости, где она опубликована целиком.
Сохраняются ли изображения?
- Да, если они есть в канале, то в детальной картинке и картинке анонса. Сохраняются на вашем сервере.
Как выводятся собранные новости?
- Так как новости сохраняются в инфоблок, вы можете выводить их любым удобным вам компонентом, как встроенным в модуль, так и стандартным компонентом Битрикса (news.list).
Вы можете по желанию настроить вывод каждой новости на отдельной странице или создать только одну общую, выводить анонс или полное описание.
| 4.3.7 (02.06.2025) | Исправлена ошибка безопасности |
| 4.3.5 (02.11.2023) | Исправлены мелкие ошибки |
| 4.3.4 (21.04.2023) | Исправлены ошибки |
| 4.3.3 (18.04.2023) | Исправлены ошибки |
| 4.3.2 (09.03.2023) | Поддерживается php 8.1 Исправлены ошибки |
| 4.3.1 (08.03.2023) | Добавлено автоматическое вырезание эмодзи, если кодировка базы данных их не поддерживает |
| 4.2.2 (25.11.2022) | Исправлены мелкие ошибки |
| 4.2.1 (21.11.2022) | Добавлена возможность создания демонстрационного инфоблока и демонстрационной страницы с агрегированными новостями при установке модуля. |
| 4.1.1 (14.07.2021) | Исправлены мелкие ошибки |
| 4.1.0 (13.03.2021) | Добавлено чтение atom лент |
| 4.0.0 (16.10.2020) | Добавление функций внутренней линковки |
| 3.7.2 (16.10.2020) | Исправлены ошибки в демо режиме В демо режим добавлен третий канал RSSHub |
| 3.7.0 (15.10.2020) | Исправлена ошибка парсинга полного текста новостей |
| 3.6.7 (22.09.2020) | Исправлено добавление одинаковых новостей, если в заголовке больше 255 символов. Добавлена опция "Помещать длинные заголовки(>255 зн) в начало описания". |
| 3.6.6 (12.09.2020) | Добавлен поиск ключевых выражений и стоп-слов в полном тексте новости |
| 3.6.5 (04.09.2020) | Добавлена автоматическая замена в тексте локальных путей для картинок на абсолютные |
| 3.6.4 (12.07.2020) | В анонсе и полном текте новостей вырезаются локальные видео |
| 3.6.3 (06.07.2020) | Добавлена возможность делать добавленные новости неактивными |
| 3.6.2 (14.06.2019) | Улучшена фильтрация слов и обработка спецсимволов |
| 3.6.1 (12.03.2018) | Исправлена ошибка с созданием агентов |
| 3.6.0 (20.02.2018) | Добавлена возможность импортировать новости без изображений Добавлена возможность импортировать новости с удалением HTML тегов |
| 3.5.1 (15.02.2018) | Исправлены ошибки в интерфейсе, не позволяющие указывать, в каком формате сохранять новости (text/html) |
| 3.5.0 (07.11.2016) | Небольшие правки интерфейса. |
| 3.4.1 (19.10.2016) | Исправление ошибок |
| 3.4.0 (06.10.2016) | Добавлены два фильтра: по сроку давности новостей и по проценту похожести на уже агрегированные. |
| 3.3.0 (23.08.2016) | Добавлен импорт в корень инфоблока и запись изображения в картинку анонса. |
| 3.2.0 (28.06.2016) | Добавлен демо-канал с картинками. Добавлена пагинация в компонент вывода ленты. Исправлены ошибки. |
| 3.1.0 (15.06.2016) | Исправлены ошибки c кодировкой. |
| 3.0.0 (18.05.2016) | Добавлено: - импорт картинок - выбор, в каком формате сохранять данные из канала - html или text - импорт подробного описания yandex:full-text - демо-данные с настроенным rss-каналом Битрикс Исправлены ошибки. |
| 2.1.0 (07.04.2016) | Теперь при отсутствии ключевых слов агрегируются все сообщения из ленты. Исправлены ошибки: обработка исключения при некорректном формате RSS-канала, тип описания и анонса изменен на html. |
| 2.0.0 (25.01.2016) | Улучшен внешний вид интерфейса. Добавлена возможность управления выводом с нескольких RSS-каналов. Добавлена возможность определения списка стоп-слов. |
| 1.0.6 (27.02.2015) | Исправления ошибок |
| 1.0.5 (26.02.2015) | Добавлена поддержка разных кодировок сайта, генерация символьного кода из заголовка новости. |
После покупки модуля: в административном разделе сайта в разделе "Marketplace > Обновление решений" на вкладке "Активация купона" скопируйте код лицензионного ключа и активируйте купон.
После этого в разделе "Обновление решений" появится модуль, готовый к загрузке и установке.
ВАЖНО! Необходимые условия для корректной работы решения:
1. Инфоблок не должен содержать обязательных полей, за исключением символьного кода;
2. Фиды должны соответствовать версии RSS 2.0 и должны быть без ошибок валидатора;
3. На сайте должны быть корректно настроены агенты на кроне по инструкции:
https://dev.1c-bitrix.ru/learning/course/index.php?COURSE_ID=43&LESSON_ID=2943
4. На сервере в настройках PHP должна быть задана директива allow_url_fopen = 1.
Посмотреть его текущее значение на вашем сайте можно в панели управления Битрикс: Настройки -> Инструменты -> Диагностика -> Настройки PHP. Поддерживаемые версии PHP 7.4 и выше
Настройка
Интерфейс полной версии отображен на первом скриншоте, демо-версии - на втором.
Перейдите в Настройки -> Настройки продукта -> Настройки модулей -> Агрегатор новостей
Настройка полной версии:
1. Введите список RSS-каналов, каждый с новой строки.
2. Если требуется, внесите список ключевых выражений для поиска по ним новостей, каждое с новой строки.
3. Если требуется, внесите список стоп-слов для фильтрации, так же каждое с новой строки.
4. Выберите инфоблок и секцию инфоблока (либо его корень), куда будет идти запись; введите интервал - как часто необходимо обновлять данные из канала.
5. Необязательные дополнительные настройки (открываются при клике на кнопку "Дополнительные настройки"):
- Можете отметить галочкой опцию "импортировать как text" - по умолчанию идет импорт в формате html.
- Если вы хотите избежать агрегирования похожих новостей, можете задать процент похожести названий, при котором новость не стоит агрегировать (например, если редакторы RSS-канала редактируют новость, немного изменяя ее название, по умолчанию она будет агрегироваться второй раз, т.к. название у нее теперь другое). По умолчанию значение 100%.
- Можно настроить фильтр по давности новостей, по умолчанию они агрегируются без ограничения по времени.
7. Сохраните изменения.
6. Для добавления нового агрегатора нажмите кнопку "Добавить еще 1 секцию".
Настройка демо-версии:
Внимание! При работе в демо-режиме происходит агрегация данных только из RSS-канала Битрикс и тестового канала с картинками.
1. Поставьте галочку около интересующего вас канала, нажмите кнопку "Показать настройки".
3. В настройках выберите инфоблок и секцию инфоблока (либо его корень), куда будет идти запись и введите интервал - как часто необходимо обновлять данные из канала.
4. Если требуется, внесите список ключевых выражений для поиска по ним новостей и список стоп-слов для фильтрации, каждое с новой строки.
5. Необязательные дополнительные настройки:
- Можете отметить галочкой опцию "импортировать как text" - по умолчанию идет импорт в формате html.
- Если вы хотите избежать агрегирования похожих новостей, можете задать процент похожести названий, при котором новость не стоит агрегировать (например, если редакторы RSS-канала редактируют новость, немного изменяя ее название, по умолчанию она будет агрегироваться второй раз, т.к. название у нее теперь другое). По умолчанию значение 100%. На демо-данных это эффект можно увидеть, ставя процент примерно на уровне 40 (т.к. одинаковых новостей там обычно нет) и удалив часть собранных новостей - при следующем обновлении часть новостей с более похожими названиями не будет импортироваться.
- Можно настроить фильтр по давности новостей, по умолчанию они агрегируются без ограничения по времени.
5. Сохраните изменения.
После этого в разделе "Обновление решений" появится модуль, готовый к загрузке и установке.
ВАЖНО! Необходимые условия для корректной работы решения:
1. Инфоблок не должен содержать обязательных полей, за исключением символьного кода;
2. Фиды должны соответствовать версии RSS 2.0 и должны быть без ошибок валидатора;
3. На сайте должны быть корректно настроены агенты на кроне по инструкции:
https://dev.1c-bitrix.ru/learning/course/index.php?COURSE_ID=43&LESSON_ID=2943
4. На сервере в настройках PHP должна быть задана директива allow_url_fopen = 1.
Посмотреть его текущее значение на вашем сайте можно в панели управления Битрикс: Настройки -> Инструменты -> Диагностика -> Настройки PHP. Поддерживаемые версии PHP 7.4 и выше
Настройка
Интерфейс полной версии отображен на первом скриншоте, демо-версии - на втором.
Перейдите в Настройки -> Настройки продукта -> Настройки модулей -> Агрегатор новостей
Настройка полной версии:
1. Введите список RSS-каналов, каждый с новой строки.
2. Если требуется, внесите список ключевых выражений для поиска по ним новостей, каждое с новой строки.
3. Если требуется, внесите список стоп-слов для фильтрации, так же каждое с новой строки.
4. Выберите инфоблок и секцию инфоблока (либо его корень), куда будет идти запись; введите интервал - как часто необходимо обновлять данные из канала.
5. Необязательные дополнительные настройки (открываются при клике на кнопку "Дополнительные настройки"):
- Можете отметить галочкой опцию "импортировать как text" - по умолчанию идет импорт в формате html.
- Если вы хотите избежать агрегирования похожих новостей, можете задать процент похожести названий, при котором новость не стоит агрегировать (например, если редакторы RSS-канала редактируют новость, немного изменяя ее название, по умолчанию она будет агрегироваться второй раз, т.к. название у нее теперь другое). По умолчанию значение 100%.
- Можно настроить фильтр по давности новостей, по умолчанию они агрегируются без ограничения по времени.
7. Сохраните изменения.
6. Для добавления нового агрегатора нажмите кнопку "Добавить еще 1 секцию".
Настройка демо-версии:
Внимание! При работе в демо-режиме происходит агрегация данных только из RSS-канала Битрикс и тестового канала с картинками.
1. Поставьте галочку около интересующего вас канала, нажмите кнопку "Показать настройки".
3. В настройках выберите инфоблок и секцию инфоблока (либо его корень), куда будет идти запись и введите интервал - как часто необходимо обновлять данные из канала.
4. Если требуется, внесите список ключевых выражений для поиска по ним новостей и список стоп-слов для фильтрации, каждое с новой строки.
5. Необязательные дополнительные настройки:
- Можете отметить галочкой опцию "импортировать как text" - по умолчанию идет импорт в формате html.
- Если вы хотите избежать агрегирования похожих новостей, можете задать процент похожести названий, при котором новость не стоит агрегировать (например, если редакторы RSS-канала редактируют новость, немного изменяя ее название, по умолчанию она будет агрегироваться второй раз, т.к. название у нее теперь другое). По умолчанию значение 100%. На демо-данных это эффект можно увидеть, ставя процент примерно на уровне 40 (т.к. одинаковых новостей там обычно нет) и удалив часть собранных новостей - при следующем обновлении часть новостей с более похожими названиями не будет импортироваться.
- Можно настроить фильтр по давности новостей, по умолчанию они агрегируются без ограничения по времени.
5. Сохраните изменения.