SELECT object_id FROM activity AS a1 WHERE user = "user1" AND subject = "added" LEFT JOIN activity AS a2 ON a1.object_id != a2.object_id WHERE a2.subject = "remove"
SELECT с нужным условием, я не совсем понял зачем нужен JOIN.JOINпосле WHERE то вам следует обернуть в полноценный подзапрос.