API поисковых сервисов для формирования рейтинга сайтов ВУЗа?
Возникла необходимость проводить рейтинг сайтов ВУЗа по нескольким провайдерам данных, как то:
1) Google — число страниц, научные/образовательные публикации (Google Scholar), ценные файлы {pdf,doc,…}, PageRank;
2) Яндекс — число страниц, тематический индекс цитирования (ТИЦ);
3) Majestic SEO — внешние ссылки, домены внешних ссылок;
4) Ahrefs — внешние ссылки, домены внешних ссылок;
5) Open Site Explorer — внешние ссылки, домены внешних ссылок.
Анализ необходимо проводить раз в неделю. Сайтов на сегодняшний день 86. Вручную все это делать очень напряжно, ищем пути автоматизации (оптимизации) процесса.
Подскажите в какую сторону копать, что и как использовать? Данные желательно складывать в таблицу Excel или в базу данных.
Большей частью работаем на PHP.
У Google нет Api для анализа поисковой выдачи, количества страниц и т.д., если будете парсить поисковую выдачу - будет выскакивать капча, которую придется как-то обходить.
У Afrefs Api только на платных аккаунтах, при цене аккуанта сравнимой с месячной зарплатой человека который все это будет вручную делать и т.д.
В общем я бы на вашем месте выбрал только самые необходимые и легкодоступные данные, так как сделать все и что бы оно стабильно работало, обходило капчи и прочие способы защиты и поддерживать это все - приличная работа.
Простой
Средний
