UPDATE table SET url = REPLACE(url, 'http://', 'https://')
Если же во всей таблице и во всех полях, то примерно вот так:
select concat(
'UPDATE table_name SET ',
column_name,
' = REPLACE(', column_name, ', ''http://'', ''https://'');')
from information_schema.columns
where table_name = 'my_table';