Как удалить старые сообщения из почтового ящика Exchange после определенной даты?

Question

[shupike]

Доброго времени суток! Подскажите, пожалуйста - разросся один из общих ящиков (160 Гб на текущий момент), нужно его обрезать за год (то есть оставить сообщения по всем папкам с 20 января 2024 по настоящий момент). Я планирую выгрузить весь ящик в pst, как резервную копию, а вот как оперативно удалить старые сообщения после 20.01.24? Не хотелось бы вручную через OWA или Outlook... Спасибо за поддержку.

Answer 1

[Роман Безруков]

командлет Search-Mailbox с параметрами SearchQuery и DeleteContent
Поиск и удаление писем в ящиках Exchange Server (M...

Comments

[shupike]

Попробуем найти в ящиках письма с определенной темой от указанного email отправителя за период:

$Sender = "[e-mail]"
$StartTime = "02/19/2022"
$EndTime = "02/21/2021"
$Subject = "report2022"

Чтобы создать задание поиска писем по указанным критериям, выполните:

New-ComplianceSearch -Name "ContentSearch_for_Report2022" -ExchangeLocation all -ContentMatchQuery "sent>=$($StartTime) AND sent<=$($EndTime) AND sender:$($Sender) AND subject:$($Subject)"

Тут как бы по всем базам поиск сообщений предлагается организовать, а нет чего-то более простого, чтобы не указывать отправителя/тему письма, а просто задать дату, сообщения старше которой (в пределах именно этого ящика) следует безвозвратно удалить?

[Роман Безруков]

shupike, Search-Mailbox чем не угодил?

[shupike]

Роман Безруков, чтобы удалить большее количество элементов нужно запустить командлет Search-Mailbox несколько раз, либо разбивать ящик на группы по почтовым базам или серверам. Другая проблема Search-Mailbox – низкая производительность. Поиск по большой организации может выполняться несколько суток.

[shupike]

А вообще если так написать - сработает?
search-mailbox -identity john.smith -searchquery {received:01/20/2024..01/20/2025} -deletecontent

[Роман Безруков]

shupike, ну вы уж определитесь - шашечки или ехать? Под вашу задачу есть Search-Mailbox или New-ComplianceSearch - каждый со своими плюсами и минусами...
Можно вообще по-другому пойти - через New-MailboxExportRequest выгрузить в новый ящик все письма, полученные после 01.21.2024 00:00:00. После этого старый ящик удалить, а его адрес навесить дополнительным на новый ящик

[shupike]

Роман Безруков, Да вот думал насчет сноса ящика... но там полно народу, кто его использует - будет истерика. Лучше, наверное, Search-Mailbox - но там действительно в случае со 160-гбайтным ящиком может сутки занять поиск и удаление? Если один сервер и 4 базы?

[Роман Безруков]

shupike,

Если один сервер и 4 базы?

основной (и архивный) ящик всегда лежит в одной базе, при желании можно переложить архивный ящик в отдельную базу.

но там полно народу, кто его использует - будет истерика

в нерабочее время/выходные:
1. создаете новый ящик
2. со старого ящика снимаете основной адрес, который используется в переписке
3. снятый адрес назначается новому ящику
4. почта начинает приходить в новый ящик
5. запускаете New-MailboxExportRequest и переносите в новый ящик все письма после 01.20.2024 00:00:00

После переноса делаете со старым ящиком что угодно, без ущерба рабочему процессу

[Роман Безруков]

shupike,

search-mailbox -identity john.smith -searchquery {received:01/20/2024..01/20/2025} -deletecontent

вот так лучше:

search-mailbox -identity john.smith -searchquery {received<'01/20/2024 00:00:00'} -deletecontent

[shupike]

Роман Безруков, да, что-то затупил я слегка - выделил под удаление нужные сообщения :-) Надо же именно те, что старше 20 января 2024.

[shupike]

Роман Безруков, Вы знаете, что-то не получилось пока:
Search-Mailbox -identity user12 -searchquery {received<'07/24/2024 00:00:00'} -deletecon
tent
WARNING: The Search-Mailbox cmdlet returns up to 10000 results per mailbox if a search query is specified. To return
more than 10000 results, use the New-MailboxSearch cmdlet or the In-Place eDiscovery & Hold console in the Exchange
Administration Center.

Confirm
Deleting content from mailboxes user12
[Y] Yes [A] Yes to All [N] No [L] No to All [?] Help (default is "Y"):
The KQL parser threw an exception.
+ CategoryInfo : InvalidArgument: (:) [], ParserException
+ FullyQualifiedErrorId : [Server=MAIL,RequestId=d84551ee-ead4-464c-b190-5362731c46d2,TimeStamp=2/3/2025 2:57:09 P
M] [FailureCategory=Cmdlet-ParserException] D8CBE603
+ PSComputerName : mail.company.ru

Пробовал и без указания времени, то есть:
Search-Mailbox -identity user12 -searchquery {received<'07/24/2024'} -deletecon
tent

Выдается та же ошибка - где я тут ошибся? - подскажите, пожалуйста.

[Роман Безруков]

shupike, нигде...так работает Search-Mailbox - при указании параметра SearchQuery возвращается 10000 элементов, поэтому надо запускать несколько раз
я же ранее описывал быстрый способ (проделывать в часы наименьшей нагрузки):

через New-MailboxExportRequest выгрузить в новый ящик все письма, полученные после 07.24.2024 00:00:00. После этого старый ящик удалить, а его адрес навесить дополнительным на новый ящик

[shupike]

Роман Безруков, если честно - не нравится метод с удалением ящика - он у очень многих сотрудников в разных регионах настроен. Но вообще странная ситуация - неужели так редко приходится удалять старые сообщения, чтобы прибегать к удалению ящика вообще? Должна ведь быть процедура элементарная - задать диапазон дат и вперед...

[shupike]

Попробовал так:
$EndTime = "07/24/2024"
New-ComplianceSearch -Name "ContentSearch_for_user12" -ExchangeLocation [e-mail] -ContentMatchQuery "sent<=$($EndTime)"

Get-ComplianceSearch -Identity "ContentSearch_for_user12" | FL name,items,size,jobprogress,status

Items : 0
Size : 0
JobProgress : 0
Status : NotStarted

Запустил:
Start-ComplianceSearch -Identity "ContentSearch_for_user12"

Проверяю:
Get-ComplianceSearch -Identity "ContentSearch_for_user12" | FL name,items,size,jobprogress,status

Name : ContentSearch_for_user12
Items : 516
JobProgress : 100
Status : Completed

А вот дальше не понял:
New-ComplianceSearchAction -SearchName ContentSearch_for_user12 -Purge

Confirm
Are you sure you want to perform this action?
This operation will make message items meeting the criteria of the compliance search "ContentSearch_for_user12" completely
inaccessible to users. There is no automatic method to undo the removal of these message items.
[Y] Yes [A] Yes to All [N] No [L] No to All [?] Help (default is "Y"):

---- ---------- ------ ----- ---------- ------
ContentSearch_for_user12_Purge ContentSearch_for_user12 Purge owner 2/5/2025 9:03:38 AM Completed

Но эти сообщения в ящике user12 (которые старше 24 июля 2024 года) никуда не исчезли. Что я забыл?

[Роман Безруков]

shupike,

New-ComplianceSearchAction -SearchName ContentSearch_for_user12 -Purge

потому что вы указали только операцию (Purge), но не указали параметры операции, а именно -PurgeType SoftDelete
Письма "удаляются" по 10 штук (точнее, перемещаются в Recoverable Items для возможного восстановления)

[shupike]

Роман Безруков, а как понять, что процесс прошел и успешно ли прошел? И нужно ли потом закрыть ComplianceSearchAction, потому что я же его создал и по логике нужно уничтожить потом?

[Роман Безруков]

shupike,

а как понять, что процесс прошел и успешно ли прошел?

Get-ComplianceSearchAction
для удаления есть Remove-ComplianceSearchAction, но я его не использовал

[shupike]

Роман Безруков, ну а логику я правильно здесь вывел?
$EndTime = "07/24/2024"
New-ComplianceSearch -Name "ContentSearch_for_user12" -ExchangeLocation [e-mail] -ContentMatchQuery "sent<=$($EndTime)"
То есть должны удалиться все сообщения (Во Входящих, Отправленных) старше 24 июля 2024, правильно?

[shupike]

Роман Безруков, проделал все заново, назвал иначе, вроде бы прошло удаление:
New-ComplianceSearchAction -SearchName "ContentSearch_240724" -Purge -PurgeType SoftDelete

Смотрю теперь так:
Get-ComplianceSearchAction -Identity "ContentSearch_240724_Purge" | Format-List

RunspaceId : 2ee81215-fb3d-4e95-8dc2-0bc9adca5031
SearchName : ContentSearch_240724
EstimateSearchRunId : 8f0d5c43-e680-47c9-8342-08dd45cf2348
EstimateSearchJobId : 087ec084-5f58-4fc6-0409-08dd45cee49e
ActionVersion :
Results : Purge Type: SoftDelete; Item count: 10; Total size 151076; Details: {Location: ; Item count: 10;
Total size: 151076; Failed count: 0; }
Errors :
Action : Purge
ValidDuration : 00:10:00
JobId : e246db74-35ba-4adc-b86b-08dd45cf48a2
Name : ContentSearch_240724_Purge
CreatedTime : 2/5/2025 10:24:33 AM
LastModifiedTime : 2/5/2025 10:24:33 AM
JobStartTime : 2/5/2025 10:24:33 AM
JobEndTime : 2/5/2025 10:24:34 AM
Description :
CreatedBy : *****
RunBy : *****
TenantId : 1851e79c-cc5f-4ef2-8b6e-8c373117de61
NumBindings : 1
Status : Completed

То есть были удалены только 10 сообщений, получается? А чтобы за весь период с момента создания ящика и до 24 июля 2024 удалить - несколько раз запускать ComplianceSearchAction?

[Роман Безруков]

shupike, да, 10 сообщений за раз (в облачном варианте - 100)...

The Purge switch specifies the action for the content search is to remove items that match the search criteria. You don't need to specify a value with this switch.

- A maximum of 10 items per mailbox can be removed at one time. Because the capability to search for and remove messages is intended to be an incident-response tool, this limit helps ensure that messages are quickly removed from mailboxes. This action isn't intended to clean up user mailboxes.
Tip: To purge more than 10 items, refer to ediscoverySearch: purgeData in the Microsoft Graph API, which allows purging a maximum of 100 items per location.
- You can remove items from a maximum of 50,000 mailboxes using a single content search. To remove items from more than 50,000 mailboxes, you'll have to create separate content searches. For more information, see Search for and delete email messages in your Microsoft 365 organization.
- Unindexed items aren't removed from mailboxes when you use this switch.
- The value of the PurgeType parameter controls how the items are removed.

[Роман Безруков]

shupike, есть такой инструмент - MFCMAPI. Запускаете его прямо на сервере Exchange, подключаете ваш большой ящик и руками удаляете старые сообщения, он прямо в почтовой базе удаляет сообщения
Если хотите PowerShell, то быстрее будет кусками по 10000 сообщений через Search-Mailbox -ContentFilter "..." -DeleteContent
Либо вариант с новым ящиком, как я писал ранее. Там достаточно на старом ящике отобрать у всех права Full Mailbox Access, а на новом добавить всем кому надо - тогда в Outlook старый ящик отключится и подключится новый через фичу Automapping (если только вы не руками добавляли старый ящик всем)

[shupike]

Роман Безруков, а как повторить процедуру удаления - просто еще раз выполнить New-ComplianceSearchAction -SearchName "ContentSearch_240724" -Purge -PurgeType SoftDelete? И понять, какие именно сообщения были удалены, невозможно? То есть никакого отчета в консоли не предусмотрено?

[shupike]

Роман Безруков, правильно ли уловил - можно прямо на рабочую станцию поставить MFCMAPI (x64 в моем случае), указать на нужный профиль Outlook и руками удалить старые сообщения? Для этого не нужно полностью выкачивать ящик? Потому что там 170 Гб уже и из-за этого вся эта дискуссия и началась...

[Роман Безруков]

shupike, я же писал - используйте Get-ComplianceSearchAction.
вот такая команда, по логике, должна вернуть максимум возможного:

Get-ComplianceSearchAction -Identity "ComplianceSearchActionId" -Details -ResultSize Unlimited | fl *

можно отдельно дергать поле Results и смотреть чего там...

И понять, какие именно сообщения были удалены, невозможно?

не очень понимаю...Есть общее условие "удалять все сообщения старше какой-то даты". По этому условию нашли N-ое кол-во сообщений, в том числе сообщения с ID 2516467989 и 3524878956 - вы хотите знать какое из них удалено первее? Или вы хотите увидеть запись в логе, что сообщение от Васи на группу рассылки Торгаши с темой "Петя - дурак" от 15 февраля 2020 года удалено?

[shupike]

Роман Безруков, извините, ничего не понимаю уже. Задача вроде бы проста - есть дата, есть сообщения, полученные и отправленные ранее этой даты, все они должны быть удалены. И тут выясняется, что команда в консоли работает в несколько приемов, при этом почему-то удаляет только 10 сообщений за раз. Это издевательство от Microsoft такое? 10 сообщений я могу и так удалить руками когда угодно. Вариант с MFCMAPI вообще уносит куда-то в другие Вселенные - это низкоуровневая работа с ящиком, малейший чих и ящик будет поврежден. Я не лично Вам это высказываю, просто накипело уже, честно сказать. Чтобы удалить чертовы сообщения, нужно 7 кругов ада пройти как будто.

[shupike]

Порядок, в конечном итоге все же по частям удаляю при помощи Search-Mailbox:
Search-Mailbox -Identity form -SearchQuery 'Received:01/01/2024..01/31/2024' -deletecontent -force
...
Search-Mailbox -Identity form -SearchQuery 'Received:03/01/2024..03/31/2024' -deletecontent -force
В среднем по каждому месяцу около 9000 сообщений, нормально все проходит. В любом случае спасибо за помощь, напишу скрипты с GUI, чтобы нормальные люди тоже могли спокойно все это делать, не ломая голову в консоли. Достаточно поля со списком, в котором будет искомый ящик и даты интервала, который нужно удалить. Все должно упрощаться, а не усложняться, по-моему.

[shupike]

Роман Безруков, а это не удалось - выдает ошибку:
Remove-ComplianceSearchAction : The term 'Remove-ComplianceSearchAction' is not recognized as the name of a cmdlet, function, script file,
or operable program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.

Причем Get-ComplianceSearchAction нормально работает.

[Роман Безруков]

shupike,

можно прямо на рабочую станцию поставить MFCMAPI

можно, но ящик будет открываться долго

Это издевательство от Microsoft такое?

ну как вам сказать...когда у MS дела с облачными сервисами пошли в гору (Exchange Online и т.д.), они решили часть облачного функционала перетащить в наземный Exchange, но "хотели как лучше, а получилось как всегда".
1. Search-Mailbox, хоть и медленный, но рабочий командлет (я им больше 15 лет успешно пользуюсь), в том числе для удаления писем из ящика, а всякие *-ComplianceSearch* - это модно-молодежные пришельцы из Exchange Online, и они в большей степени являются инструментами для быстрых действий с последствиями какого-то почтового инцидента (например, обиженный админ при увольнении написал всем пользователям компании гневное письмо, а руководство потребовало срочно его удалить во всех ящиках - из такой логики делались ограничения в 10 писем на ящик, но 50000 ящиков).
2. MS предполагает (и пишет в Preferred Architecture), что в организации настроены политики хранения, которые автоматически перемещают старые письма в архивные ящики, а в основном ящике хранятся письма, например, только за последний год. Архивные почтовые ящики лежат отдельно от основных. Помимо политик хранения, применяются квоты на почтовые ящики и т.д. Соответственно, в командлеты не заложено сильно больших лимитов.

[Роман Безруков]

shupike,

The term 'Remove-ComplianceSearchAction' is not recognized as the name of a cmdlet, function, script file

это, скорее, результат кривого переноса из Exchange Online. Там даже в официальной документации по командлету в секции "Applied To:" написана дичь...

Answer 2

[Сергей Сахаров]

А такая функция как архивация старых сообщений, Вам не подойдёт?

Answer 3

[Sergey IT]

1. Открываете Outlook
2. Выбираете "Архивация"
3. Указываете дату по какое число архивировать
4. Указываете входящие/исходящие или все вместе
5. Указываете папку куда сохранить pst файл.
6. Профит.

Comments

[shupike]

Нет, если бы все было так просто - армянское радио этим бы не занималось (с) :-) Аутлук начинает хромать уже при приближении объема *.ost-файла к 50 Гб, а у меня 160 Гб. И даже если в реестре прописать другое значение максимального объема, аутлук начинает подвисать. Поэтому только средствами Exchange остается решать задачу...

[Sergey IT]

shupike, на официальном сайте мелкомягких написано, что pst файл не должен превышать 50 гигов, а 160 и подавно. Я бы на вашем месте разбил на 3-4 архива оперируя датами писем. Если оставите как есть, могут быть проблемы в будущем.

[Роман Безруков]

shupike, Sergey IT, Outlook в данной задаче не нужен совсем, трогать пользователя тоже не надо - все манипуляции делаются удаленно без привлечения клиентских средств.
В настольном Outlook есть дефолтное ограничение профиля в 50ГБ (точнее - 49,5ГБ) - изменить его можно в реестре. Ну и есть OWA, который не страдает от ограничений профиля - его тоже можно использовать для экспорта содержимого ящика

З.Ы. У меня был ящик размером 463ГБ с "очень специфичным" пользователем и "потому что надо" - я выгружал этот ящик в PST через PS удаленно, не трогая пользователя

[shupike]

Роман Безруков, Вот жду окончания экспорта (почти сутки уже длится процесс), надо будет удостовериться, что все сообщения сохранились (непонятно только, каким образом - чем открыть 160 Гб файл, каким аутлуком). А потом уже отрезать по дате остальные сообщения. И я так понимаю, должно освободиться white space в базе, которой принадлежит данный ящик?

[Роман Безруков]

shupike, странное что-то у вас со скоростью выгрузки - я вытаскивал ящик 463ГБ в несколько PST, процесс занял меньше 8 часов...
Whitespace в базе добавится после удаления писем/ящика из базы и истечения срока хранения удаленных объектов (можно ускорить процесс, например, через Remove-StoreMailbox и/или MFCMAPI)

[shupike]

Роман Безруков, вот он резво экспортировал и стал замедляться в районе 146 Гб. Прямо останавливалось все-итоговый файл раз в 15 минут менялся в обьеме. То ли так загружен сервер-не пойму…

[shupike]

Роман Безруков, Совсем уж странно все это стало выглядеть, объем pst-файла ушел за 172 Гб и продолжал расти. Я отменил при помощи Get-MailboxExportRequest -Status InProgress | Remove-MailboxExportRequest, но и после этого какое-то время файл продолжал разрастаться. Тогда просто перезагрузил сервер, опасно было оставлять в таком состоянии на ночь. Сейчас удалил этот pst-файл - не пойму, как действовать дальше. Возможно, лучше смонтировать внешний диск на Exchange и загнать этот ящик туда в виде pst.

[Роман Безруков]

shupike, пилите экспорт на несколько частей (например, по годам) и запускайте - работать они будут параллельно...у New-MailboxExportRequest для этого есть параметр ContentFilter

[shupike]

Роман Безруков, а можете пример написать, если не затруднит? Скажем, как экспортировать часть от момента создания ящика до, допустим, 31.12.23 включительно, используя ContentFilter?

[Роман Безруков]

shupike,

New-MailboxExportRequest -Mailbox mbx -FilePath '\\FS\TempPST$\mbx.pst' -Name "mbx-2023" -BadItemLimit 10 -ContentFilter "Received -lt '31/12/2023'"

[shupike]

Роман Безруков, решил все-таки еще раз полную выгрузку сделать, при достижении 150 Гб стало дико замедляться, но теперь диск отдельный подключен с запасом по объему. Но вообще странно - там какой-то тоже лимит есть на Exchange, что ли? Хотя вот тут делились опытом, что по 460 Гб были ящики и ничего.

[Роман Безруков]

shupike, я запускал четыре запроса на экспорт (год - поквартально) параллельно - получал 4 PST-файла для каждого года...
если ящик больше 50ГБ - я стараюсь его разбивать на более мелкие куски (по годам, по кварталам и т.д.)

New-MailboxExportRequest -Mailbox mbx -FilePath '\\FS\TempPST$\mbx-2023-1.pst' -Name "mbx-2023-1" -BadItemLimit 10 -ContentFilter "(Received -ge '01/01/2023') -and (Received -lt '04/01/2023')"
New-MailboxExportRequest -Mailbox mbx -FilePath '\\FS\TempPST$\mbx-2023-2.pst' -Name "mbx-2023-2" -BadItemLimit 10 -ContentFilter "(Received -ge '04/01/2023') -and (Received -lt '07/01/2023')"
New-MailboxExportRequest -Mailbox mbx -FilePath '\\FS\TempPST$\mbx-2023-3.pst' -Name "mbx-2023-3" -BadItemLimit 10 -ContentFilter "(Received -ge '07/01/2023') -and (Received -lt '10/01/2023')"
New-MailboxExportRequest -Mailbox mbx -FilePath '\\FS\TempPST$\mbx-2023-4.pst' -Name "mbx-2023-4" -BadItemLimit 10 -ContentFilter "(Received -ge '10/01/2023') -and (Received -lt '01/01/2024')"

[shupike]

Роман Безруков, еще уточню - а можно не по дате тогда разрезать экспорт, а по объему? Ну то есть разбить принудительно на архивы по 50 Гб, допустим, а даты уже как получатся внутри. Потому что по датам объемы могут получиться непредсказуемые.

[Роман Безруков]

shupike, тот же Search-Mailbox с параметрами EstimateResultOnly и SearchQuery (запрос по датам)

[shupike]

Зашел щас в ECP - сразу высветились alerts. Ничего не пойму - вчера доходило до 84% вечером, сегодня опять все сначала, что ли? При этом объем файла уже 176 Гб. Вообще не пониимаю логику работы экспорта - никогда такого не видел. Обычно без проблем ящик экспортируется, причем за адекватное время.

[shupike]

Роман Безруков, что-то дату не принимает, нужно в американском формате писать?

[Роман Безруков]

shupike,

Зашел щас в ECP

если вы запускали экспорт в EMS/ISE - то и дальше лучше тыкать в EMS...
Собрать статистику по ящику - это Get-MailboxStatistics - из нее вы получите размер ящика, количество сообщений, дату/время самого старого и самого нового сообщений и т.д. Можно прибегнуть к помощи Search-Mailbox с параметрами EstimateResultOnly и SearchQuery (с ограничением по датам) - получите количество сообщений и их размер.
После сбора статистики можно делать какие-то выводы о последующем разделение содержимого ящика на части для экспорта. Ваш ящик в 160ГБ - это, по сути, четыре запроса на экспорт, которые можно запустить одновременно (написали команды в ISE и запустили). На скорость выполнения действий с ящиком сильнее влияет количество сообщений/элементов, нежели их размер

Дата внутри Exchange используется в формате mm/dd/yyyy (у вас на скрине из ECP есть пример)

[shupike]

Фух, получилось частями - примерно по 50 Гб. Напомните, пожалуйста, как теперь удалить то, что удалось экспортировать? Например,
New-MailboxExportRequest -Mailbox form -FilePath \\mail.company.ru\mailpst\[e-mail] -ContentFilter "Received -lt '12/31/2023'"

Как удалить теперь сообщениия за период с момента создания ящика до 31 декабря 2023, как в моем примере? Заранее признателен.