Как правильно хранить отметки «прочитано» для фидов?

Question

[asm0dey]

Здравствуйте!


Когда я узнал, что Google Reader закрывается, мне пришла в голову идея самому написать свой ридер на Java+GWT+Hibernate+Postgres+еще некоторое количество более мелких технологий (Horrorss для работы с RSS/Atom, GWT-Bootstrap для оформления приложения, gwt-p для работы с MVP, spring + spring data JPA для связывания всего этого дела вместе).

Если кому интересно, то вот проект на гитхабе: github.com/asm0dey/jReader


И вот, на достаточно ранней стадии разработки — изменения сейчас вносить всё еще очень легко — я задумался над вопросом — а как, собственно, хранить пометки «прочитано» для фидов? Ведь пользователь может просмотривать сотни фидов в день. Ну и второй вопрос, с этим же связанный — а как показывать только непрочитанные фиды? Если делать запрос типа feed_item_id not in (перечесление всех просмотренных тут) — это же каким он бешенным получится, запрос-то такой… А если пользователей тысячи или десятки тысяч, то как вообще все это может работать.

Сейчас все это работает (должно работать) на постгресе, но если есть более правильные решения — с удовольствием выслушаю ваши идеи на этот счет.


И вот тут я подумал, что я наверное чего-то сильно не понимаю. У вас есть какие-то идеи о том, как должна работать система пометок «прочитано» для фидов?


PS: Если кто-то хочет поучаствовать в разработке — я буду очень, очень рад!

PPS: Основная идея моей реализации заключается в том, чтобы не хранить для каждого человека его уникальный набор фидов, а хранить только уникальные фиды, каждый из которых может принадлежать нескольким людям.

Дамп того, что есть сейчас:

CREATE TABLE author (
    id bigint NOT NULL,
    consistencyversion smallint,
    email character varying(255),
    link character varying(255),
    name character varying(255) NOT NULL
);


ALTER TABLE public.author OWNER TO postgres;

--
-- Name: feed; Type: TABLE; Schema: public; Owner: postgres; Tablespace: 
--

CREATE TABLE feed (
    id bigint NOT NULL,
    consistencyversion smallint,
    charset character varying(255),
    imageurl character varying(255),
    lastupdatedate timestamp without time zone,
    title character varying(255),
    url character varying(255) NOT NULL
);


ALTER TABLE public.feed OWNER TO postgres;

--
-- Name: feedgroup; Type: TABLE; Schema: public; Owner: postgres; Tablespace: 
--

CREATE TABLE feedgroup (
    id bigint NOT NULL,
    consistencyversion smallint,
    name character varying(255) NOT NULL
);


ALTER TABLE public.feedgroup OWNER TO postgres;

--
-- Name: feedgroup_feed; Type: TABLE; Schema: public; Owner: postgres; Tablespace: 
--

CREATE TABLE feedgroup_feed (
    feedgroup_id bigint NOT NULL,
    feeds_id bigint NOT NULL
);


ALTER TABLE public.feedgroup_feed OWNER TO postgres;

--
-- Name: feeditem; Type: TABLE; Schema: public; Owner: postgres; Tablespace: 
--

CREATE TABLE feeditem (
    id bigint NOT NULL,
    consistencyversion smallint,
    author character varying(255),
    createdon timestamp without time zone,
    text character varying(32000),
    title character varying(2000),
    url character varying(255),
    feed_id bigint NOT NULL
);


ALTER TABLE public.feeditem OWNER TO postgres;

--
-- Name: human; Type: TABLE; Schema: public; Owner: postgres; Tablespace: 
--

CREATE TABLE human (
    id bigint NOT NULL,
    consistencyversion smallint,
    email character varying(255) NOT NULL,
    isactive boolean NOT NULL,
    loginattempts integer NOT NULL,
    passwordhash character varying(255) NOT NULL
);


ALTER TABLE public.human OWNER TO postgres;

--
-- Name: human_feedgroup; Type: TABLE; Schema: public; Owner: postgres; Tablespace: 
--

CREATE TABLE human_feedgroup (
    human_id bigint NOT NULL,
    subscribedfeeds_id bigint NOT NULL
);


ALTER TABLE public.human_feedgroup OWNER TO postgres;

--
-- Name: author_pkey; Type: CONSTRAINT; Schema: public; Owner: postgres; Tablespace: 
--

ALTER TABLE ONLY author
    ADD CONSTRAINT author_pkey PRIMARY KEY (id);


--
-- Name: feed_pkey; Type: CONSTRAINT; Schema: public; Owner: postgres; Tablespace: 
--

ALTER TABLE ONLY feed
    ADD CONSTRAINT feed_pkey PRIMARY KEY (id);


--
-- Name: feedgroup_pkey; Type: CONSTRAINT; Schema: public; Owner: postgres; Tablespace: 
--

ALTER TABLE ONLY feedgroup
    ADD CONSTRAINT feedgroup_pkey PRIMARY KEY (id);


--
-- Name: feeditem_pkey; Type: CONSTRAINT; Schema: public; Owner: postgres; Tablespace: 
--

ALTER TABLE ONLY feeditem
    ADD CONSTRAINT feeditem_pkey PRIMARY KEY (id);


--
-- Name: human_pkey; Type: CONSTRAINT; Schema: public; Owner: postgres; Tablespace: 
--

ALTER TABLE ONLY human
    ADD CONSTRAINT human_pkey PRIMARY KEY (id);


--
-- Name: uk_add752afd96c715f; Type: CONSTRAINT; Schema: public; Owner: postgres; Tablespace: 
--

ALTER TABLE ONLY human_feedgroup
    ADD CONSTRAINT uk_add752afd96c715f UNIQUE (subscribedfeeds_id);


--
-- Name: uk_feed_1; Type: CONSTRAINT; Schema: public; Owner: postgres; Tablespace: 
--

ALTER TABLE ONLY feed
    ADD CONSTRAINT uk_feed_1 UNIQUE (url);


--
-- Name: uk_human_1; Type: CONSTRAINT; Schema: public; Owner: postgres; Tablespace: 
--

ALTER TABLE ONLY human
    ADD CONSTRAINT uk_human_1 UNIQUE (email);


--
-- Name: authot_email_index; Type: INDEX; Schema: public; Owner: postgres; Tablespace: 
--

CREATE INDEX authot_email_index ON author USING btree (email);


--
-- Name: item_date_index; Type: INDEX; Schema: public; Owner: postgres; Tablespace: 
--

CREATE INDEX item_date_index ON feeditem USING btree (createdon);


--
-- Name: item_title_index; Type: INDEX; Schema: public; Owner: postgres; Tablespace: 
--

CREATE INDEX item_title_index ON feeditem USING btree (title);


--
-- Name: item_url; Type: INDEX; Schema: public; Owner: postgres; Tablespace: 
--

CREATE INDEX item_url ON feeditem USING btree (url);


--
-- Name: fkadd752afc01fb76; Type: FK CONSTRAINT; Schema: public; Owner: postgres
--

ALTER TABLE ONLY human_feedgroup
    ADD CONSTRAINT fkadd752afc01fb76 FOREIGN KEY (subscribedfeeds_id) REFERENCES feedgroup(id);


--
-- Name: fkadd752affedf9830; Type: FK CONSTRAINT; Schema: public; Owner: postgres
--

ALTER TABLE ONLY human_feedgroup
    ADD CONSTRAINT fkadd752affedf9830 FOREIGN KEY (human_id) REFERENCES human(id);


--
-- Name: fkd1f0f3dc6b7b6890; Type: FK CONSTRAINT; Schema: public; Owner: postgres
--

ALTER TABLE ONLY feedgroup_feed
    ADD CONSTRAINT fkd1f0f3dc6b7b6890 FOREIGN KEY (feedgroup_id) REFERENCES feedgroup(id);


--
-- Name: fkd1f0f3dcd280a84d; Type: FK CONSTRAINT; Schema: public; Owner: postgres
--

ALTER TABLE ONLY feedgroup_feed
    ADD CONSTRAINT fkd1f0f3dcd280a84d FOREIGN KEY (feeds_id) REFERENCES feed(id);


--
-- Name: fkf86539f1a3b648a4; Type: FK CONSTRAINT; Schema: public; Owner: postgres
--

ALTER TABLE ONLY feeditem
    ADD CONSTRAINT fkf86539f1a3b648a4 FOREIGN KEY (feed_id) REFERENCES feed(id);

Answer 1

[dndred]

table post_user(userid, postid, isread)

select
post_content
from post_user
inner join posts
where userid = :userid
   and isread = False

Comments

[asm0dey]

А как при таком подходе получить, скажем, непрочитанные посты из фидов одной категории? ну и это я уж не говорю о нереальных размерах таблицы post_user — Допустим при тысяче записей у тысячи юзеров (что весьма немного) — это миллион записей. Во многих новостых лентах сотни сообщений в день. Например у news.ru.com — если предположить, что на нее подписано 100 человек, то это миллионы записей в год.

[dndred]

select
post_content
from post_user
inner join posts
inner join feeds on feeds.feedid = posts.feedid
where userid = :userid
  and isread = False
  and feeds.category = :category

Признак прочтения записи в любом случае где-то хранить придется. И в любом случае 1000 постов * 1000 пользователей это миллион признаков.

[asm0dey]

А вот у меня возникала мысль хранить в постгресовском массиве, например, или вообще в строку конкатенировать, или диапазоны хранить (опять-таки в строке)…

Answer 2

[Петруша Укропов]

можно обойтись без isread
Промахнулся кнопкой ответа

Comments

[asm0dey]

Допустим. И как будет выглядеть выборка всех непрочитанных постов категории?

[dndred]

Можно не хранить. Тогда запрос выглядит вот так:

select
post_content
from posts
left(или right всегда их путаю) join post_user
inner join feeds on feeds.feedid = posts.feedid
where userid = :userid
  and post_user.postid is null
  and feeds.category = :category

ИМХО ужас. Хотя, если пользователи у вас почти не читают посты — сэкономите немного дискового пространства.

[asm0dey]

Не, экономить дисковое пространство на спичках при хранении полных текстов статей как-то глупо. И правда ужас. Но я, честно говоря, надеялся, что может есть какие-то более правильные способы хранения признака прочтенности кроме как в отдельной таблице.

[dndred]

В той же таблице можно хранить звёздочки, время прочтения (хз зачем) и что-нибудь ещё.

[asm0dey]

Про время прочтения — мысль интересная, подумаю — можно будет аналитику из этого собирать ).
Однако, думается мне, что хранить все это в одной таблице — ацкая денормализация. Как минимум звезданутое и прочитанное надо хранить в разных таблицах.

[dndred]

> Как минимум звезданутое и прочитанное надо хранить в разных таблицах.
post_user_star(postid, userid) — вместо одного поля — таблица с двумя полями. Лишний join в основной запрос.

[asm0dey]

С другой стороны звезданутость и прочтенность могут быть и не связаны легко, кроме того если пользователь хочет получить звезданутые посты — наверное будет немного быстрее. Хотя я достатоно плох в денормализации.