Как настроить обновление последних записей через определенное время?

Question

[sasha_jarvi]

Имеется следующий node.js-код для получения последних четырех постов из instagram и последующей отдачи на фронт:

router.get('/media/latest', async (req, res) => {
    await connect();

    const user = await client.getUserByUsername({ username: 'username' });
    const posts = user.edge_owner_to_timeline_media.edges;
    const latestPosts = posts.slice(0, 4);

    const latestPostsShortcodes = latestPosts.map(post => post.node.shortcode);

    let foundPosts = await InstagramPost.find({ shortcode: latestPostsShortcodes }) as any;
    let foundCodes = foundPosts.map(post => post.shortcode);

    const codesToFetch = latestPostsShortcodes.filter(code => {
        return !foundCodes.includes(code);
    });

    if (codesToFetch) {
        let media = await getInstagramPosts(codesToFetch);
        media.forEach(post => {
            foundPosts.push({
                text: post['edge_media_to_caption']['edges'][0]['node']['text'],
                href: `https://instagram.com/p/${post['shortcode']}`,
                shortcode: post['shortcode'],
                img: post['display_url']
            });
        });
    }

    savePostsToDb(foundPosts);

    res.send({ media: foundPosts });
});

Необходимо реализовать следующий функционал: если прошло больше суток - обновлять посты и отдавать новые посты на фронт. Я предположил, что это можно выполнить следующим путем:

• вычисляем разницу между текущим моментом времени и временем последнего запроса;
  
• если прошел промежуток времени в 24 часа - обновляем посты (то есть проделываем все действия до res.send())
  

Однако не вполне понятно - как реализовать вышеуказанный алгоритм?

Answer 1

[historydev]

setTimeout(() => {
await connect();

    const user = await client.getUserByUsername({ username: 'username' });
    const posts = user.edge_owner_to_timeline_media.edges;
    const latestPosts = posts.slice(0, 4);

    const latestPostsShortcodes = latestPosts.map(post => post.node.shortcode);

    let foundPosts = await InstagramPost.find({ shortcode: latestPostsShortcodes }) as any;
    let foundCodes = foundPosts.map(post => post.shortcode);

    const codesToFetch = latestPostsShortcodes.filter(code => {
        return !foundCodes.includes(code);
    });

    if (codesToFetch) {
        let media = await getInstagramPosts(codesToFetch);
        media.forEach(post => {
            foundPosts.push({
                text: post['edge_media_to_caption']['edges'][0]['node']['text'],
                href: `https://instagram.com/p/${post['shortcode']}`,
                shortcode: post['shortcode'],
                img: post['display_url']
            });
        });
    }

    savePostsToDb(foundPosts);

    res.send({ media: foundPosts });
}, 1000 * 60 * 60)

Comments

[Роман]

и как это сработает если сервер перезагружался в последние сутки?

[historydev]

Роман, добавьте этот код ниже вашего, после перезагрузки выполнится запрос, а таймаут по истечении времени.

[historydev]

router.get('/media/latest', async (req, res) => {
    await connect();

    const user = await client.getUserByUsername({ username: 'username' });
    const posts = user.edge_owner_to_timeline_media.edges;
    const latestPosts = posts.slice(0, 4);

    const latestPostsShortcodes = latestPosts.map(post => post.node.shortcode);

    let foundPosts = await InstagramPost.find({ shortcode: latestPostsShortcodes }) as any;
    let foundCodes = foundPosts.map(post => post.shortcode);

    const codesToFetch = latestPostsShortcodes.filter(code => {
        return !foundCodes.includes(code);
    });

    if (codesToFetch) {
        let media = await getInstagramPosts(codesToFetch);
        media.forEach(post => {
            foundPosts.push({
                text: post['edge_media_to_caption']['edges'][0]['node']['text'],
                href: `https://instagram.com/p/${post['shortcode']}`,
                shortcode: post['shortcode'],
                img: post['display_url']
            });
        });
    }

    savePostsToDb(foundPosts);

    res.send({ media: foundPosts });

   setTimeout(() => {
await connect();

    const user = await client.getUserByUsername({ username: 'username' });
    const posts = user.edge_owner_to_timeline_media.edges;
    const latestPosts = posts.slice(0, 4);

    const latestPostsShortcodes = latestPosts.map(post => post.node.shortcode);

    let foundPosts = await InstagramPost.find({ shortcode: latestPostsShortcodes }) as any;
    let foundCodes = foundPosts.map(post => post.shortcode);

    const codesToFetch = latestPostsShortcodes.filter(code => {
        return !foundCodes.includes(code);
    });

    if (codesToFetch) {
        let media = await getInstagramPosts(codesToFetch);
        media.forEach(post => {
            foundPosts.push({
                text: post['edge_media_to_caption']['edges'][0]['node']['text'],
                href: `https://instagram.com/p/${post['shortcode']}`,
                shortcode: post['shortcode'],
                img: post['display_url']
            });
        });
    }

    savePostsToDb(foundPosts);

    res.send({ media: foundPosts });
}, 1000 * 60 * 60)

});

[Роман]

Владимир, спорное решение. Сами посудите, если клиентов 1000000 и у каждого своя лента новостей, запрашиваемая с разных страниц инста то после каждого перезапуска наш бэк должен будет делать 1000000 запросов на инст?

[Роман]

Владимир, не проще ли хранить в сессиях на бэке дату последнего обновления и при запросе сверяться с ней?

[historydev]

Роман, скорее всего вы правы, я с сессиями достаточно слабо знаком, а если человек вышел из страницы? Сессия удалится и дата аналогично, что тогда? Я бы предпочёл куки

[Роман]

Владимир, идет речь о сессии привязанной к акаунту пользователя и хранящейся на бэке. Данные сессии не удаляются, автоматически сохраняются в файл/бд индивидуально для каждого пользователя, автоматически загружаются при каждом перезапуске серва, автоматически подставляются в информацию запроса обрабатываемом роутерами на бэке при каждом запросе от пользователя

[Роман]

Владимир, такая сессия так же будет восстановлена и для не зарегестрированных пользователей, но при условии что он зашел с того же устройства и браузера что и прошлый раз.

[Роман]

Владимир, ну и автор в комментах к моему ответу написал что для всех клиентов у него единая лента с единым источником, поэтому ваш вариант тоже вполне годится в его ситуации.

[historydev]

Роман, не подскажете где можно почитать про redis / сессии с примерами? Документация express-session/redis подойдёт мне для понимания?