Как правильно перебрать записи для устранения дублей?

Вроде допехал =)

function cleanUniqueDocument(request) {
    return arr = [], elements = [], Promise.all(request.map( async (e) => {
        return elements.map(function(i) { return i.tags }).indexOf(e.tags.join()) < 0 && elements.push({
            href: e.url,
            tags: e.tags.join()
        }) || (e.canonical = elements.find(x => x.tags === e.tags.join()).href) && arr.push(e)
    }))
    .then(e => {
        return arr || []
    })
}

сделаю кнопочку на простив поста и буду лучше вручную canonical проверять пока что, чтобы не натворить делов. А там уже видно будет.

Можно как то получить токен в одноклассниках в GET?

Да я уже распорсил URL)) сразу не пришло в голову. Все равно не удобно сделали!

Как отправить turbo страницы в webmaster yandex?

Verolomstvo, не понял, я в вебмастере токен получил, получаю всю необходимую информацию, и client_id, и host_id, вплоть до ссылки на загрузку самой ленты. Все обрывается на передачи данные. Что за правила то такие, и где про них написано?

Почему запрещен доступ с использованием яндекс api?

Dmitry Alekseev, ну да, но что есть у нас, с тем и работаем, как обычно))

Почему запрещен доступ с использованием яндекс api?

Проблема решена!! При получении ссылки на загрузку турбо-страниц, опять стоял POST запрос, изменить на GET и получил ссылку =)

Почему запрещен доступ с использованием яндекс api?

Проблема решена!! При получении ссылки на загрузку турбо-страниц, опять стоял POST запрос, изменить на GET и получил ссылку =)

Почему запрещен доступ с использованием яндекс api?

А да, все есть, просто пока эксперементировал вместо GET указал POST, хоты отображаются, все норм

Почему запрещен доступ с использованием яндекс api?

Dmitry Alekseev, нет, пишет Access to this resource is not allowed with scopes available for this application
Я как то хосты до этого получил, там был массив хостов (сайтов), и чтобы не замарачиваться просто в переменную нужный мне host_id прописал

Почему запрещен доступ с использованием яндекс api?

Шарпер, не, все тоже самое пишет, да и в доке по апи написано так как я делаю, а чет не работает нифига)

Почему запрещен доступ с использованием яндекс api?

Шарпер, да вот так делаю https:site.ru:443, если слеши поставить то Resource not found пишет

Как побороть, MongoDB 4.0 жрет всю память и падает, что можно придумать?

lega, все норм, как и ожидалось, держится на 57% +-1-2%. По сути так и должно быть!

Как уйти от дублей в title?

На страницах не только фото, и теги, там еще есть похожие фотографии (до 10шт).
Т.е. фотографии все разные, модель да одна и та же, но ее фото разные, а вот теги одинаковые и по этим тегам формируется сам title. Если перейти на саму страницу фотографии, в низу под фото будет висеть еще 10 фоток с ее фейсом, только в разных позах. На них тоже получается одинаковые title и description, которые я и хочу изменить.
Я не понимаю к чему мне прицепиться чтобы сделать это более быстро и относительно качественно.
В админке придумал инструмент с правкой тегов, т.е. если добавить какое то слово то это уже будет не дубликат в моем понимании. Так же сделал возможность добавления заголовка страницы, где и я и пользователи могут вкратце написать что там на картинке (в 3-7 словах) и это идет в title.
Но все это пустое если брать объем дубликатов в размере более 100к записей, тут надо целую роту китайцев нанимать чтобы сидели и правили все. Поэтому хочу программно уйти от дублей и чтобы страницы вошли в индекс, потому что они разные, а вот теги у них одинаковые.

Как уйти от дублей в title?

Алексей, самопись, в ручную там за 100к+ дублей, я пол жизни буду править)) Сами дубли я отловить могу, могу их программно выявить, но что с ними делать ума не приложу

Adsense и подгрузка динамического контента?

В общем, я сделал все, реклама отображается. В adsense очень старый акк, с 2007 года, какие риски могут быть? Они же все равно проверять будут и если что то не так, всего скорее предупреждение влепят? Или в бан уйду?
Сам рекламный блок вывод правильный контент, т.е. если пост с тачками то выводит рекламу с авто

Adsense и подгрузка динамического контента?

dimonchik2013, так и что делать? Это же вроде банальные вещи в современном вебе, отправить какую то подноготную в блок проблем нет, я просто понять не могу в чем проблема?
К примеру с РСЯ я проделываю следующее:
1. На странице есть основной JS, можно сказать что роутер
2. Этот роутер подгружает дополнительный тяжеловесный JS (async.js) файл с различными плюшками по работе сайта
3. На странице есть блок инициализации рекламного кода div#yandex_1
4. Async.js находит div#yandex_1 и создаем рекламный код
5. Если с морды юрез клацает на пост, ему подгружается идентичная страницы, только без шапки и футера, на которой так же есть div#yandex_1.
6. Async.js вновь увидел блок div#yandex_1 которые еще не проинициализировал и повторяет действия повторно.

Тем самым юзер открывая пост за постом формирует новый рекламный код (объявление при это не меняется). Но JS меняет url в браузерной строке так как будто был переход по ссылке и открылся пост, когда закрывает страницу, то возвращается обратно на морду и т.д.

Я ранее где то натыкался на код который приводит сам гугл для асинхронной загрузки блоков, там была примерно такая же реализация за исключением того что находилось все на одной странице. И я не понимаю в чем могут быть проблемы если тоже самое сделать с подгрузкой страницы. Если гуглу нужно принудительно пушнуть url в блок до показа рекламы, то почему они это не могут предоставить? Или это уже есть и я просто не знаю об этом?

Adsense и подгрузка динамического контента?

Трафик 5к только. А страница имеется, просто если у пользователя включен JS то ему эта же страница подгружается без перехода на нее со сменой URL в браузерной строке

Идет ли учет кто просмотрел профиль пользователя по vk api users.get?

Не понял как сами по себе? Они же вроде как на api завязаны.
В общем если я просмотрю пользователя через users.get то он никак не сможет узнать что я к нему заходил?

Как побороть, MongoDB 4.0 жрет всю память и падает, что можно придумать?

Philipp, в общем продолжаю наблюдать, обновил mongoose, вышло обновление, к кофиге mongodb как и писал стоит ограничение вес кеша.
Ребучу mongod каждые 7 часов.
Наблюдаю картинку в mongostat, ребут mongod, растет поле used, на 80% стопорится и так и продолжается 79.9-80%, выше не взлетает.
vsize 5.35GB а res 4.34GB
Открываю top (mongostat при это 80%), %MEM показывает что mongod жрет 57,1% Может вылечилось?

Как побороть, MongoDB 4.0 жрет всю память и падает, что можно придумать?

Philipp, в общем как я понял, надо создавать новое облако, устанавливать все и переносить сайт, или ждать новой монги. Там и будет ясно что с этим делать, а сейчас у меня по крону каждые 7 часов ребут mongod, пока помогает, хорошо хоть SSD и ребут проходит очень быстро

Как побороть, MongoDB 4.0 жрет всю память и падает, что можно придумать?

Индексы по весу сократил

{
	"db" : "coll",
	"collections" : 11,
	"views" : 0,
	"objects" : 2564657,
	"avgObjSize" : 1183.5082352142997,
	"dataSize" : 3035292680,
	"storageSize" : 1206362112,
	"numExtents" : 0,
	"indexes" : 48,
	"indexSize" : 172339200,
	"fsUsedSize" : 9729626112,
	"fsTotalSize" : 40263905280,
	"ok" : 1
}

Разницы не заметил, все тоже самое