Как преобразовать cli::array ^ в byte *??

Question

[Олег]

Помогите пожалуйста. Уже два дня голову ломаю как преобразовать.
Суть программы, как её понимаю я: необходимо прочитать кусок файла, размером 65536 байт.
И отправить в команду memmove языка С. Который делает простую вещь...передвигает байты.
И всё бы хорошо, но я пишу программу в visual c++ 2013 в которой присутствуют чудесные инструменты типа cli. Упрямо возникает ошибка не соответствия типов...вот код:

Это задаются переменные и начинается чтение файла. Чтение файла происходит правильно и хорошо, но чтение происходит в массив, а надо не в массив...смотрим следующий код...там понятно куда надо.

FileStream^ fs;
	try
	{
		fs = File::OpenRead(File);
	}
	catch (Exception^ ex)
.....
const int BUFFER_SIZE = 65536;
	char *szBuffer = new char[BUFFER_SIZE];
	unsigned char buf[BUFFER_SIZE];
	array<unsigned char>^ b = gcnew array<unsigned char>(BUFFER_SIZE);
	UTF8Encoding^ temp = gcnew UTF8Encoding(true);
	__int64 iPrevReaded = 0;
	__int64 Start = TimerInit();
	String^ g;
	int cbReaded = 0;


	// чтение из файла и вычисление TTH
	while ((cbReaded = fs->Read(b, 0, BUFFER_SIZE)) > 0)
	{
		g=temp->GetString(b);
		//cli::pin_ptr<System::Byte> p = g;
		tt_update(&ctx, b, cbReaded);

как видно это процедура обрабатывает поступающие из файла данные. И тип - переменная тут byte *buffer.
Текст ошибки:
" 2 IntelliSense: argument of type "cli::array ^" is incompatible with parameter of type "byte *" c:\Users\...\MyForm.cpp 112
"

void tt_update(TT_CONTEXT *ctx, byte *buffer, word32 len)
{

  if (ctx->index)
  { /* Try to fill partial block */
	  unsigned left = BLOCKSIZE - ctx->index;
	  if (len < left)
		{
		memmove(ctx->block + ctx->index, buffer, len);
		ctx->index += len;

Помогите пожалуйста...сил больше нету гуглить...
Вот что есть...stackoverflow.com/questions/25600940/managed-c-cli...
но так преобразуется только 1 первый байт...а надо 65535.
Вот проект https://github.com/master255/SimplyServer

Answer 1

[Михаил Григорьев]

Используйте pin_ptr

array<Byte>^ bytes = File::ReadAllBytes( fileName );
pin_ptr<unsigned char> pptr = &bytes[0];
const int BUFFER_SIZE = 65536;
unsigned char buf [ BUFFER_SIZE ];
memcpy_s( buf, sizeof(buf), pptr, bytes->Length );

Comments

[Олег]

скажите что это всё значит! Чувствую себя быдлом, а не программистом, который всю жизнь программирует)).
Я нашёл, примерно, эту конструкцию тут stackoverflow.com/questions/25600940/managed-c-cli...

И меня смутило то что у меня должна быть unsigned char buf[размера 65536 байт!], а получается pptr , которая равна первому байту прочтённого массива (&bytes[0]; - ноль тут означает первый байт. Он означает только первый байт или означает читать с первого???).
Это так и должно быть?
Дальше используется символ * в таком контексте byte *buffer. Т.е. как я понимаю это указатель на значение переменной. Ваш код учитывает, что у меня читаются 65536 байт из файла и отправляются в низкоуровневую memmove???

Пожалуйста помогите...от этого зависит судьба человечества))

[Михаил Григорьев]

Олег: C++ \ CLI обычно используется для создания прослоек между .NET и нативным кодом. Например, для написания .NET обертки над нативной библиотекой.
Если у вас не используется .NET, то лучше воспользоваться нативными C++ или C средствами для чтения из файла.
Если все же нужен .NET, то данные из управляемого массива можно скопировать в нативный (например, статический, как у вам) массив с помощью конструкции pin_ptr, которая, грубо говоря, фиксирует положение управляемого массива в памяти (на время жизни pin_ptr) и позволяет обращаться к нему через нативный указатель.
Код копирования в массив я вставил в свой ответ выше.

[Олег]

Longy: отличный ответ! Конечно мне этот .NET совсем не нужен. Я брал из msdn куски кода...от туда и затисался этот .NET. Если честно ваш совет совпал с моими последними мыслями. Думаю воспользоваться с++ процедурами для чтения файла.
Уже приготовил ReadFile(hFile, buf, 65536, &dwBytesRead, NULL);
Я на правильном пути?? Или у вас есть что посоветовать??

ещё не было времени продолжить творить... тяжело даётся... стресс вызывает... стараюсь отвлекаться... но что поделать... путь спасения человечества только один)))

[Олег]

Longy: увидел ваше изменение кода. Вопрос другой тогда. ReadFile(hFile, buf, 65536, &dwBytesRead, NULL); или File::ReadAllBytes( fileName );
Не знаю, как работает ваш метод...но мне надо прочитать весь файл. Т.е. потом надо будет менять начальный байт тут &bytes[0]; ?
Нашёл, что советуют вместо memcpy_s использовать std::move. Пишут что быстрее и безопаснее. Вот тут stackoverflow.com/a/13723232/3421640 . Может лучше тогда std::move ? Она совместима по типам данных (т.е. мне ничего не придётся лишний раз конвертировать?) и вообще её можно\нужно использовать??

Вопрос производительности тут играет большую роль. Так как это функция подсчёта хеша файлов. Пользователи будут сканировать много файлов.

[Михаил Григорьев]

File::ReadAllBytes - это .NET (статическая функция класса System::IO::File)
ReadFile - это WinAPI функция

Если разработка идет под Windows, то ReadFile вполне подойдет. Если же нужна кросс-платформенность, то прочитать файл можно, например, при помощи c++ потоков (std::fstream), или C-библиотеки (fopen).

Думаю, если набрать в гугле "как прочитать файл в c++", то прилетят мириады ответов :).

[Михаил Григорьев]

std::copy - с++ style, memcpy_s - С style, тут кому что больше по душе :)

[Олег]

Longy: какой хороший вы человек :-) . Всё по полочкам. Гуглить такие темы тяжело...иногда совсем невозможно. Сидел бы рядом со мной такой человек - я бы стал самым гениальным программистом))). Спасибо!

Суть моей программы очень проста. Читает файл и генерирует tth хеш. Программа ориентирована на помощь человечеству. Код - частично будет открыт.
Суть разработки - замена трёх программ одной - flylink, skydrive и ammyadmin. Самая далёкая перспектива - новый протокол передачи данных. Который ускорит передачу во много раз.
Самая близкая - супер плеер на андройде, который может составить реальную конкуренцию ютубу.
Поэтому, если поможете доработать вот этот вопрос mydc.ru/topic5677s20.html#entry46727
то человечество вас не забудет. А я могу даже отправить вам немного денег на новый год :-) .
Иначе я буду до упора изучать и решать вопрос сам.

[Михаил Григорьев]

Олег: "Иначе я буду до упора изучать и решать вопрос сам" В таком случае я никак не смогу помочь решить данный вопрос, дабы не отвести от вас пользы самостоятельного достижения результата :) С наступающим!

[Олег]

Longy: и всё таки не работает. Из того что вы написали я понял что нужно использовать другой метод чтения файла. Но при попытке использовать хотя бы ReadFile я опять попал в ловушку преобразований типов.
Теперь не могу преобразовать имя файла для чтения в этой конструкции:

hFile = CreateFile(NameF, // open testfile.txt
GENERIC_READ, // open for reading
0, // do not share
NULL, // default security
OPEN_EXISTING, // existing file only
FILE_ATTRIBUTE_NORMAL, // normal file
NULL);
NameF - это примерно тип char *. Можно использовать и другой LPCSTR или ещё какой...однозначности в этом языке нет...но именно в нужных местах суровая избирательность убивает мозг.
Так вот процедура перебора файлов в папке у меня выдаёт имя файла в формате String^ , а мне надо получить char *.
Я нашёл несколько методов преобразования: support.microsoft.com/kb/311259/ru
Но все они после преобразования выдают только первый байт имени файла.
А мне надо-то весь файл!
У меня дальше ведь идёт char *NameF = new char(File);
И если там File - это всего один байт, то ничего не получится!
Что делать???
Я банально не могу прочитать файл...из-за преобразования типа...уже две недели мучаюсь...наверное я дебил)))

[Олег]

Longy: получилось преобразовать String^ в char*.
Методом:
//using namespace System::Runtime::InteropServices;
System::String * str = S"Hello world\n";
char* str2 = (char*)(void*)Marshal::StringToHGlobalAnsi(str);
printf(str2);
Marshal::FreeHGlobal(str2);

Следовательно получилось прочитать файл методом ReadFile. Дальше пока не понятно ещё...

[Олег]

Longy: вопрос решён. Данные отправляются нормально. Но теперь у меня целый аврал ошибок при компиляции математической части написанной на с макросах.
Visual студия вообще способна принять подобного типа код???
https://github.com/master255/SimplyServer/blob/mas...
Вот:

#define PASSES 3

extern word64 table[4*256];

#define t1 (table)
#define t2 (table+256)
#define t3 (table+256*2)
#define t4 (table+256*3)

#define save_abc \
      aa = a; \
      bb = b; \
      cc = c;

#ifdef OPTIMIZE_FOR_ALPHA
/* This is the official definition of round */
#define round(a,b,c,x,mul) \
      c ^= x; \
      a -= t1[((c)>>(0*8))&0xFF] ^ t2[((c)>>(2*8))&0xFF] ^ \
	   t3[((c)>>(4*8))&0xFF] ^ t4[((c)>>(6*8))&0xFF] ; \
      b += t4[((c)>>(1*8))&0xFF] ^ t3[((c)>>(3*8))&0xFF] ^ \
	   t2[((c)>>(5*8))&0xFF] ^ t1[((c)>>(7*8))&0xFF] ; \
      b *= mul;
#else
/* This code works faster when compiled on 32-bit machines */
/* (but works slower on Alpha) */
#define round(a,b,c,x,mul) \
      c ^= x; \
      a -= t1[(byte)(c)] ^ \
           t2[(byte)(((word32)(c))>>(2*8))] ^ \
	   t3[(byte)((c)>>(4*8))] ^ \
           t4[(byte)(((word32)((c)>>(4*8)))>>(2*8))] ; \
      b += t4[(byte)(((word32)(c))>>(1*8))] ^ \
           t3[(byte)(((word32)(c))>>(3*8))] ^ \
	   t2[(byte)(((word32)((c)>>(4*8)))>>(1*8))] ^ \
           t1[(byte)(((word32)((c)>>(4*8)))>>(3*8))]; \
      b *= mul;
#endif

#define pass(a,b,c,mul) \
      round(a,b,c,x0,mul) \
      round(b,c,a,x1,mul) \
      round(c,a,b,x2,mul) \
      round(a,b,c,x3,mul) \
      round(b,c,a,x4,mul) \
      round(c,a,b,x5,mul) \
      round(a,b,c,x6,mul) \
      round(b,c,a,x7,mul)

#define key_schedule \
      x0 -= x7 ^ 0xA5A5A5A5A5A5A5A5LL; \
      x1 ^= x0; \
      x2 += x1; \
      x3 -= x2 ^ ((~x1)<<19); \
      x4 ^= x3; \
      x5 += x4; \
      x6 -= x5 ^ ((~x4)>>23); \
      x7 ^= x6; \
      x0 += x7; \
      x1 -= x0 ^ ((~x7)<<19); \
      x2 ^= x1; \
      x3 += x2; \
      x4 -= x3 ^ ((~x2)>>23); \
      x5 ^= x4; \
      x6 += x5; \
      x7 -= x6 ^ 0x0123456789ABCDEFLL;

#define feedforward \
      a ^= aa; \
      b -= bb; \
      c += cc;

#ifdef OPTIMIZE_FOR_ALPHA
/* The loop is unrolled: works better on Alpha */
#define compress \
      save_abc \
      pass(a,b,c,5) \
      key_schedule \
      pass(c,a,b,7) \
      key_schedule \
      pass(b,c,a,9) \
      for(pass_no=3; pass_no<PASSES; pass_no++) { \
        key_schedule \
	pass(a,b,c,9) \
	tmpa=a; a=c; c=b; b=tmpa;} \
      feedforward
#else
/* loop: works better on PC and Sun (smaller cache?) */
#define compress \
      save_abc \
      for(pass_no=0; pass_no<PASSES; pass_no++) { \
        if(pass_no != 0) {key_schedule} \
	pass(a,b,c,(pass_no==0?5:pass_no==1?7:9)); \
	tmpa=a; a=c; c=b; b=tmpa;} \
      feedforward
#endif

#define tiger_compress_macro(str, state) \
{ \
  register word64 a, b, c, tmpa; \
  word64 aa, bb, cc; \
  register word64 x0, x1, x2, x3, x4, x5, x6, x7; \
  register word32 i; \
  int pass_no; \
\
  a = state[0]; \
  b = state[1]; \
  c = state[2]; \
\
  x0=str[0]; x1=str[1]; x2=str[2]; x3=str[3]; \
  x4=str[4]; x5=str[5]; x6=str[6]; x7=str[7]; \
\
  compress; \
\
  state[0] = a; \
  state[1] = b; \
  state[2] = c; \
}

/* The compress function is a function. Requires smaller cache?    */
int tiger_compress(word64 *str, word64 state[3])
{
	//return 0;
  tiger_compress_macro(((word64*)str), ((word64*)state));
}

[Олег]

проект готов. Релиз тут https://github.com/master255/SimplyServer

Answer 2

[Армянское Радио]

Уж если наворотили C++, используйте std::move.

Вы пытаетесь отстрелить себе ногу.

Когда в одном коде активно применяют сборщик мусора, и пытаются влепить низкоуровневую функцию из C, потому что где-то слышали, что это быстро, при этом размер держат в целочисленной переменной, мне становится грустно.

Правильный учебник по написанию приложений TCP/IP называется "Эффективное использование TCP/IP" под авторством Й. Снейдера.

Comments

[Олег]

я пытаюсь переписать чужой проект.
Программа простая - читает файл и генерирует с него TTH хеш.
Я изменил memmove на std::move. Это конечно хорошо, но что делать с типами???
Главный вопрос был в этом.