Как парсить теги?

Question

[Олег Гамега]

Здравствуйте.
Есть сторонний ресурс, пишу парсер+rest api для него.
Вопрос как правильно парсить теги, первое что приходит в голову это тупо спарсить теги со страницы, проверить есть ли каждый тег в таблице если нет записать, если есть использовать тот что в таблице, на следующей странице повторить.
Все просто но мне не нравится большое количество запросов, с вебом работаю очень мало и такое решение кажеться кривоватым.
Как вариант, чтобы уменьшить количество обращений к бд, держать словарь тегов в памяти их около тысячи

Answer 1

[Vitaliy Orlov]

Надо смотреть на нагрузку и скорость работы остального, если все остальное очень быстро, тогда можно словарь использовать. В противном случае можно и базу подергать, если с настройками базы все ок, то она и так закеширует частые запросы. Если это уник значения и будет уникальный индекс, то выборка не составит труда, если вдруг будет много-много данных, то можно создать memory table и дергать оттуда, ну или использовать любой дополнительный кеширующий механизм... В любом случае, я думаю что скорость обработки тегов как и сам парсинг не будет горлышком бутылки.. Основной тормоз будет на загрузке страниц.

Answer 2

[Roman K]

Тысяча тегов в памяти занимают около 10кб. Можешь держать в памяти.

Answer 3

[Андрей]

Используйте подготовленные запросы php.net/manual/ru/mysqli.quickstart.prepared-state...

Answer 4

[Дмитрий Авилов]

Вы сделайте по-простому, если будут проблемы с производительностью (а их, похоже, не должно быть) - переделаете.