SELECT object_id FROM activity AS a1 WHERE user = "user1" AND subject = "added" LEFT JOIN activity AS a2 ON a1.object_id != a2.object_id WHERE a2.subject = "remove"
SELECT
с нужным условием, я не совсем понял зачем нужен JOIN
.JOIN
после WHERE
то вам следует обернуть в полноценный подзапрос.