Агрегатор новостей определенного региона России, как и что?

Question

[troffee]

Изучил язык программирования, что-то уже могу делать. Хочу написать агрегатор новостей своего региона. Идея такова: пользователь с помощью моего приложения читает новости. Идея вполне реализуема, если я найду ответы на следующие вопросы:
1. Как скомпилировать новости из разных источников? (ВКонтакте, новостные порталы региона, онлайн-журналы и т.д.)
2. Нужен ли сервер для этих задач?
3. Подходит ли язык C#?

Answer 1

[azShoo]

Если опыта мало - разбивайте задачу по этапам.
Часть первая: сформировать поток новостей.
Берете N источников и парсите с них новости (напрямую с веба или через рсс). Собственные парсеры писать не советую, используйте готовую библиотеку.

Часть вторая: Организуйте под все это дело бд, подготовьте данные к выдаче пользователю - деление по категориям и прочее прочее.

Часть третья: заверните все это в апи, и спокойно делайте интерфейскую оболочку под мобильные клиенты на Xamarin.

Comments

[troffee]

а возможно ли, чтобы парсер автоматически распределял по категориям на БД?

[azShoo]

Ну, это я и имел ввиду в п.2
Естественно, это должно делаться не в ручную.
В идеале это даже должны быть не категории, а тэги. Тэги утягивать либо с источника, либо раздавать самому исходя из источника\кейвордов.
А уже в категории распределять по наличию\сочетанию тегов, в рамках селекта из БД для конкретной категории.
Как-то так.

Answer 2

[Виталий]

Если вопрос о приложении на смартфоны то C# мало чем поможет, если конечно не использовать Xamarin (в контексте вопроса можно уместиться в ограничение на размер кода). Сервер однозначно нужен, т.к. давать задачу парсинга данных смартфону плохая затея и пользователи об этом очень однозначно будут описывать в красках приложение и его автора, особенно когда увидят баланс с минусом и нулями на телефоне.
Парсить на C# тоже проблем не составит.

Comments

[Виталий]

p.s. если автор вопроса никогда ничего подобного не делал рекомендую начать с задачи попроще.

[troffee]

Виталий: спасибо за ответ! На счет баланса на телефоне: ведь у всех сейчас тарифы с безлимитным интернетом.

[Виталий]

troffee: Далеко не у всех, если только все это Москва и Питер то да, у всех:) В наших краях все "безлимитные"*** тарифы очень даже лимитные, и с никакими скоростями, так что есть те что живут на скоростях иногда стремительно приближающихся к 64кбит\сек. А при парсинге всего и вся в поиске нужной инфы могут сожраться не один десяток мб и если даже за это деньги браться то этот процесс будет выполняться в режиме "Пожалуйста подождите 678 лет 11 месяцев и 24 дня до завершения и пожалуйста не закрывайте приложение до завершения процесса".

Answer 3

[Константин Китманов]

1. Как скомпилировать новости из разных источников? (ВКонтакте, новостные порталы региона, онлайн-журналы и т.д.)

Стягивайте RSS/Atom где есть, это упростит парсинг (стопудово есть готовые библиотеки для этого), результат кладите в БД.
(Из распаршенного опять же можно составлять RSS и отдавать вашему приложению. Уверен, в интернетах есть OVER 9000 примеров, как на C#/Xamarin показать RSS-поток.)

3. Подходит ли язык C#?

Серверную часть вполне можно сделать на ASP.NET. Приложения, как уже писали, можно сделать с помощью Xamarin.

Comments

[Игорь Лютоев]

Не забудьте про задачу определения повторных материалов. Для региональной прессы (да и для федеральной) это очень актуально.
В своем похожем проекте (новости собираются с 5 источников) использую метод шинглов (на хабре была статья) - ловит около 90% повторов.