Как сохраненить в базу данных?

Question

[Сергей Беловенцев]

пишу парсер который сохраняет со стороннего сайта данные по введенному адресу страницы
получаю масcив такого вида

array(1){
    ['category']=>"lorem ipsum"
    ['description']=>'Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Aenean commodo ligula eget dolor. Aenean massa. Cum sociis natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus.'
    ['page']=>'За словесными горами ';
    ['desc_page']=>'Далеко-далеко за словесными горами в стране гласных и согласных живут рыбные тексты. Вдали от всех живут они в буквенных домах на берегу Семантика большого языкового океана.'
    };

ну и поскольку категории могут повторятся у разных страниц вопрос как мне правильно оформить сохранение в базу в случае отсутствие в базе категории с названием "lorem ipsum".

Answer 1

[Кирилл Арутюнов]

Сначала искать категорию на названию. Если не нашел такую категорию, то добавляешь в базу. Если нашел, то используешь её дальше в коде.

Как-то так:

$category = Category::find()->where(['title' => $title])->one();

if($category === null) {
    $category = new Category();
    // Заполняем данными
    // ...
    $category->save();
}

echo $category->title;

Comments

[Кирилл Арутюнов]

Поскольку парсер может парсить с пробелами и прочим, рекомендую $title перед запросом очистить от лишних символов, хотя бы функцией trim().

[Сергей Беловенцев]

а теперь представьте себе в базе 100 категорий и у одной страницы 10, а если у страниц 1000. Вы представляете себе время обработки запроса. Так я и сам думал. задал вопрос может есть возможность это сделать проще. А то вот так писать это жесть для оперативы.
$titles=$array['name"];
foreach($titles as $title){
$category = Category::find()->where(['title' => $title])->one();
if($category === null) {
$category = new Category();
$category->save();
}
}

[Кирилл Арутюнов]

Так обрабатывайте пачками, страниц по 50-100.
Вас никто не заставляет сразу же все-все записи обрабатывать.

Можно конечно где-то в Memcached, например, хранить id-title и там искать каждый раз. Можно вообще в память выгрузить все текущие категории и держать их там, при этом добавляя новую, если её нет в массиве.

$categories = ArrayHelper::map(Category::find()->all(), 'id', 'title');

И потом добавлять после создания новой категории так:
$categories[$category->id] = $category->title;

Вариантов масса.

[Максим Тимофеев]

Кеширование в yii2 до нельзя простое и удобное: www.yiiframework.com/doc-2.0/guide-caching-data.html
Пользуйтесь кешем, храните там массив добавленных категорий и не трогайте базу без нужды

[Максим Тимофеев]

А вообще если это одноразовая задача, а не постоянная, то проще взять ПО типа contentdownloader, спарсить, открыть в excel, проверить все, сохранить как csv и закинуть в базу