gelas

Что-то, по-моему, Вы перемудрили, WHERE `category` = '1' итак отсекает те записи где `category` = '0'
вполне достаточно UPDATE `table` SET category = 0 WHERE category = 1

lookahead по-моему не поддерживается в mysql
как это сделать одним выражением пока придумать не могу, но может быть устроит такой вариант:
SELECT * FROM tbl_words
WHERE txt REGEXP «слово1.*(слово2).*слово5»
AND NOT txt REGEXP «слово1.*(слово3|слово4).*слово5»