Почему PS при экспорте из Sharepoint неправильно формирует первую строку?

Question

[x2sp]

Добрый день.

Имеем следующий результат при выгрузке в CSV 4 значений из SP :

"RegData","podrazdelenieisp","ID","DataSozdani9"
"12/10/2018 12:00:00 AM","1;#????????","970","1/1/2018 12:00:00 AM"
"12/10/2018 12:00:00 AM","1;#Department","971","1/1/2018 12:00:00 AM"
...

Сам скрипт:

Add-PSSnapin microsoft.sharepoint.powershell
$weburl = "http://#####"
$site=(Get-SPSite -Identity $weburl)
$web=$site.RootWeb 
$listName = "####"
$Department = 1
    $list = $web.Lists[$listName]
    $items = $list.Items      
       ForEach ($item in $items)    
       {                                    
            $a = $($item["Подразделение"])
            $a = $a -replace ";.*"
           
             If ($a -eq $Department)
                {
                
                  $Output =New-Object -TypeName PSObject -Property @{
                            ID = $item.Id
                            podrazdelenieisp = $item["Подразделение Исполнителя"]
                            RegData = $item["Дата регистрации"]
                            DataSozdani9 = $item["Дата создания"]                            
                         }
                           $Output | export-csv C:\organization.csv -Append
                         }
             }                                         
Remove-PSSnapIn Microsoft.SharePoint.PowerShell

Провел следующие тесты:

1) Переменная c первой строкой внутри PS отображается корректно
2) При изменении места выгрузки csv результат не меняется
3) Пробовал исключать первый объект (If ($a -eq $Department -and $item.id -ne 970), но получал ту же ошибку уже с другим объектом на первой строчке

Если файл csv заранее подготовить (создать и разметить столбцы), то ошибки первой строки не будет. Но меня беспокоит такое поведение и хотелось бы выяснить причину.

Всем спасибо.

Comments

[Дмитрий]

Добр день. Попробуй выгрузить не в CSV, а в любой другой формат, например TXT. Если будет то же самое - где-то косяк в формировании данных, если в ТХТ такого не будет, значит при выгрузке что-то не верно.

[x2sp]

D_mi_try, спасибо за ответ. Но я сразу исключил данную проблему:

"Переменная c первой строкой внутри PS отображается корректно"

Также я решил проверить в тхт как Вы советовали:

$Output | Out-File C:\Users\SP_FarmA\Desktop\organization.txt -Append

и результат был правильный и не содержал вопросов в тексте.

[Дмитрий]

x2sp, я в powershell не силён, но из этого напрашивается вывод, что конструкция

$Output | export-csv C:\organization.csv -Append

Исполняется неверно.

Возможно стоит при выводе указать кодировку? Или путь взять в кавычки?

[x2sp]

Если добавить к командлету export-csv параметр -Encoding UTF8,то документ выгружается без проблем.

Но для меня все еще остается загадкой, почему первая строка выгружается с вопросами, а последующие имеют правильно формирование.

И у меня есть только одно предположение:

$Output | export-csv C:\organization.csv -Append

Первоначально при передаче переменной через конвейер командлет экспорта проверяет наличие файла на диске и создает данный файл. Загружает информацию в том варианте, который первоначально был получен из переменной.

То при повторном выполнении в цикле командлета экспорт уже находит данный и файл и сравнивает его кодировку с той, кодировкой которая располагается в консоли и декодирует ее в соответствии с кодировкой файла.

[Дмитрий]

x2sp, истина, как всегда, по-середине. Добавьте тогда ещё один ответ, чтобы обозначить как решение.

Answer 1

[MaxKozlov]

Надо вынести Export-Csv из цикла, исключить -Append и дописать -Encoding

$output = foreach ($item in $items)    
{ 
    #...
    New-Object -TypeName PSObject -Property @{
        #...
    }
}
$output | Export-Csv -Encoding utf-8 -Path  C:\organization.csv

Comments

[x2sp]

Максим, писал ранее в комментариях:

Если добавить к командлету export-csv параметр -Encoding UTF8,то документ выгружается без проблем.

Но Вы не поняли сути вопроса.

Почему при экспорте первой строки с символами кириллицы происходит выгрузка "вопросов", а при следующем экспорте в цикле строка отображается корректно в файле? На основании какой информации система смогла определить, что следующий экспорт в цикле должен быть в UTF8?
Мои умозаключения также выше в комментариях....

[MaxKozlov]

В код ps сейчас посмотреть возможности нет, но предположу что в последующие разы из-за параметра -append ps предполагает что вы знаете что делаете и выдаёт даные как есть.
А первая попытка вывода создаёт файл. И опять же, ps предполагает, что вы знаете что делаете и, раз не указываете кодировку, psv2 при создании файла использует кодировку ascii и именно в ней выводит даные.
вот еще информация к размышлению
Why does .net uses the UTF16 encoding for string ,... видимо, причина utf-8 при -append именно в этом

[MaxKozlov]

Если всё ещё интересно, посмотрел в исходники.
в 5.1 (и, видимо, ниже) есть следующая фигня

Если кодировка не указана, то присутствует такая логика:
файл существует ? пробуем открыть дефолтным вызовом SteamReader(path) - который по умолчанию, без параметра кодировки открывает его в UTF8

internal static StreamReader OpenStreamReader(PSCmdlet command, string filePath, string encoding, bool isLiteralPath)
    {
      FileStream fileStream = PathUtils.OpenFileStream(filePath, command, isLiteralPath);
      if (encoding == null)
        return new StreamReader((Stream) fileStream);
      return new StreamReader((Stream) fileStream, EncodingConversion.Convert((Cmdlet) command, encoding));
    }

https://docs.microsoft.com/ru-ru/dotnet/api/system...

А если файл не существует, и кодировка не указана, то он создаётся как ASCII

private void CreateFileStream()
    {
//…..
if (this.isActuallyAppending)
      {
/…
 }
      else
        PathUtils.MasterStreamOpen((PSCmdlet) this, this.Path, this._encodingParameter ?? "ASCII", false, (bool) this.Append, (bool) this.Force, (bool) this.NoClobber, out this._fs, out this._sw, out this.readOnlyFileInfo, this.isLiteralPath);
    }

Как бы бага.
в PSv6 уже не так, там берётся UTF8 кодировка по умолчанию, никаких ASCII

Надеюсь, на это раз исчерпывающе :)

P.S. И всё же, вызывать export-csv внутри цикла - это зло...