Как трансформировать код из 1 вида в другой?

Question

[kelvin57]

Есть код с множеством вызовов echo, как трансформировать его в более компактный вид и там где это возможно объединить в 1 строку.

Пример кода:

<?php

$name = 'anon';
echo 'CHECK

';
echo 1 + 3 . '-'. 4 . '=' . 0;
echo '

';
echo '<h2>';
echo 'Olololo';
echo '</h2>';
echo '

';
echo '<h3>';
echo 'QWErty';
echo '</h3>';
echo '


';
echo '<h2>';
echo 'Hello, ';
echo $name;
echo '</h2>';
echo '

';
foreach ([1,2,3] as $item) {
echo '
    ';
echo '<h2>';
echo 'Number is: ';
echo $item;
echo '</h2>';
echo '
';
}

Есть такой вариант:

$phpCode = explode(";\necho ", $phpCode);
$phpCode = implode(',', $phpCode);

После чего на выходе имеем:

<?php

$name = 'anon';
echo '
CHECK

',1 + 3 . '-'. 4 . '=' . 0,'

','<h2>','Olololo','</h2>','

','<h3>','QWErty','</h3>','


','<h2>','Hello, ',$name,'</h2>','

';
foreach ([1,2,3] as $item) {
echo '
    ','<h2>','Number is: ',$item,'</h2>','
';
}

Но это немного не то чего хотелось бы.

1. Хочется более надежный вариант без внешних либ, возможно через Tokenizer ?
   
2. Хочется ещё компактнее, например:
   

<?php

$name = 'anon';

echo 'CHECK

',1 + 3 . '-'. 4 . '=' . 0,'

<h2>Olololo</h2>

<h3>QWErty</h3>


<h2>Hello, ',$name,'</h2>

';
foreach ([1,2,3] as $item) {
echo '
    <h2>Number is: ',$item,'</h2>
';
}

Comments

[Алексей Уколов]

Если хочется именно без зависимостей, то можете почитать исходники https://github.com/nikic/PHP-Parser

[kelvin57]

Алексей Уколов, Видел) ну это монстр (абстрактное дерево и тд. тут вряд ли нужны)...
во-2 даже с либой хз как это сделать.

как то это можно через встроенную либу в php, вот пример который убирает все комментарии из кода
https://www.php.net/manual/ru/tokenizer.examples.php пару строк кода и готово, думаю тут какое то аналогичное решение.

Answer 1

[ksnk]

Отредактировал немного, сейчас работает лучше, но в принципе - наверное лучше в класс перетащить, а то 3 анонимные функции как-то криво начинают выглядеть.

<?php

$source = <<<'code'
<?php

$name = 'anon';
echo '<h2>';
echo 'Number is: ';
echo count(["1","2","3"]);
echo '</h2>';
echo 'CHECK

';
echo 1 + 3 . '-'. 4 . '=' . 0;
echo '

';
echo '<h2>';
echo 'Olololo';
echo '</h2>';
echo '

';
echo '<h3>';
echo 'QWErty';
echo '</h3>';
echo '


';
echo '<h2>';
echo 'Hello, ';
echo $name;
echo '</h2>';
echo '

';
foreach ([1,2,3] as $item) {
echo '
    ';
echo '<h2>';
echo 'Number is: ';
echo $item;
echo '</h2>';
echo '
';
}
code;

$tokens = token_get_all($source);
$last_token=false;

$getnext=function() use (&$tokens, &$last_token){
  $token=array_shift($tokens);
  if(is_null($token)) return false;
  if(is_array($token)){
    $last_token= token_name($token[0]);
    return  $token[1];
  } else {
    $last_token='';
      return  $token;
  }
};

$getbracket=function($bracket) use (&$tokens,$getnext,&$last_token){
	$stack=[]; $buf=$bracket;
	
	if($bracket=='[') array_unshift($stack,']');
	if($bracket=='(') array_unshift($stack,')');
	while(false!==($x=$getnext())){
		$buf.=$x;
		if($x==$stack[0]){
			array_shift($stack);
			if(count($stack)==0) break;
		}
		if($x=='(') array_unshift($stack,')');
		if($x=='{') array_unshift($stack,'}');
		if($x=='[') array_unshift($stack,']');
	}
	return $buf;
};

$getecho=function() use (&$tokens,$getnext,$getbracket,&$last_token){
  $buf='';
  $buf2='';
  $waitecho=false;
  while(false!==($x=$getnext())){
  	//echo '{'.$last_token.' '.$x.'}';
    if($last_token==='' && $x==';'){
      $waitecho=true;
      $buf2.=$x;
    } elseif($last_token==='T_ECHO' && $waitecho){ // склеиваем
      $waitecho=false;
      $buf.=',';$buf2='';
    } elseif($last_token==='T_WHITESPACE' && $waitecho){ 
      $buf2.=$x;
    } else if($waitecho){
      return $buf.$buf2.$x;
    } else if($last_token==='T_CONSTANT_ENCAPSED_STRING') {// склеиваем константные строки с одинаковыми кавычками
      $s=$x[0];
      $y = preg_replace('~'.preg_quote($s,"~'").'\s*[\.\,]\s*$~', '', $buf, 1, $count);
      if($count>0)
         $buf=$y.substr($x,1);
      else
        $buf.=$x;
    } else if($last_token==='' && in_array($x,['[','('])) {
    	$buf.=$getbracket($x);
    } else {
      $buf.=$x;
    }
  };
  return '';
};

while(false!==($x=$getnext())) {
  echo $x;
  if($last_token=='T_ECHO'){
    echo $getecho();
  }
}
?>

<?php

$name = 'anon';
echo '<h2>Number is: ', count(["1","2","3"]), '</h2>CHECK

', 1 + 3 . '-'. 4 . '=' . 0, '

<h2>Olololo</h2>

<h3>QWErty</h3>


<h2>Hello, ', $name, '</h2>

';
foreach ([1,2,3] as $item) {
echo '
    <h2>Number is: ', $item, '</h2>
';
}

Comments

[kelvin57]

Работает, но ненадёжно....(
Надо как то упростить, например если у нас в коде:

echo '<h2>';
echo 'Number is: ';
echo count(["1","2","3"]);
echo '</h2>';

то уже ничего не работает, мне кажется тут логика должна быть проще...

на псевдо коде мб что то в таком направлении ?

$isEchoOpen = false;
if(token === echo) {
  if($isEchoOpen) {
    $res.= ',';
  } else {
   $isEchoOpen = true;
   $res .= 'echo ';
  }
} else {
  if($isEchoOpen) {
    $isEchoOpen = false;
    $res.= ';';
   }
}

[ksnk]

Поменял пример. Так, возможно, будет работать лучше. Хотя вряд ли все случаи уитываются...

[kelvin57]

ksnk, В любом случае спасибо за попытку)!
да явно этот код хрупкий.....
тут даже это надёжнее будет)

$phpCode = explode(";\necho ", $phpCode);
$phpCode = implode(',', $phpCode);

мб после такого прогона будет проще склеить строки в 1 ?
так как на выходе у нас получается всего 2 echo, надо убрать ',' если след токен строка, хотя бы так

<?php 
echo '
CHECK

',1 + 3 . '-'. 4 . '=' . 0,'

',count(["1","2","3"]),'
',rand(0,1),'

','<h2>','Olololo','</h2>','

','<h3>','QWErt\'y','</h3>','


','<h2>','Hello, ',$name,'</h2>','

';
foreach ([1,2,3] as $item) {
echo '
    ','<h2>','Number is: ',$item,'</h2>','
';
}

[kelvin57]

Хотя вроде и работает. ну вот не знаю, кажется что вряд ли все случаи учитываются... чем проще тем лучше конечно) супер, спасибо!)

[ksnk]

В общем случае, нужно писать вполне себе сложный парсер и раскладывать весь код в синтаксическое дерево. Простым жонглированием токенами можно справится только с простыми случаями, типа все такие echo расположены в самом внешнем уровне скобок, и не содержат слишком уж вычурных конструкций внутри, а не во вложенных функциях или условных блоках. Так что должен быть предел сложности и универсальности. Я попробовал впихнуть мои 3 анонимные функции в класс, но чтобы стать чуть более универсальным - получается почти полный парсер с объемом кода, кратно больше того, что есть.

[kelvin57]

ksnk, а скинь класс этот отрефакториный) в чём вообше суть я пишу шаблонизатор, мб этот момент надо учитывать на этапе компиляции ? вот кусочек кода как это компилируется по заранее приготовленному AST которое подготовил мой парсер , мб я что то не так делаю)?

public function compile($node)
    {

        if ($node instanceof ForeachBlock) {
            $res = "";

            if ($node->fallback) {
                $res .= "\nif($node->expression) {\n";
            }

            $res .= "\nforeach ($node->expression as $node->context) {";
            $res .= $this->compile($node->body);
            $res .= "\n}";

            if ($node->fallback) {
                $res .= "\n} else {";
                $res .= $this->compile($node->fallback);
                $res .= "\n}";
            }

            return $res;
        }

        if ($node instanceof Text) {
            return $this->echo(str_replace('\'', '\\\'', $node->data));
        }


        if ($node instanceof ExpressionTag) {
            return $this->echo($node->expression, inQuotes: false);
        }
}

[ksnk]

kelvin57, Тоесть, ты хочешь чистить код после собcтвенного шаблонизатора ? :)
Возникает вопрос - а зачем ? Для эффективности это особо не нужно. Для эстетичности - код порождаемый шаблонизатором и перегенерируемый при изменении шаблона тоже без разницы как выглядит. Хотя, почему бы и не да.

Для оптимизации конструкций можно было бы выдавать из твоей функции compile не строки, а массив из строк и объектов echo с вложенным массивом параметров. Потом, при склейке получившегося кода, все рядом стоящие объекты echo склеиваются в один, просто склеивая параметры.
Это должно быть проще, чем оптимизировать кем-то написанный код

[kelvin57]

ksnk, получается в компиляции надо 2 прогона:
1й типа прекомпайл
2й уже финальный компайл в строку ?
а так можно в массив например складывать колбеки и метаинформацию что там хранится, и грубо говоря склеивать судя по метаинформации.

да для эстетики тоже важно что бы компилированый код был хорошо читаем, мало ли отдебажить что то надо и тд... ну и микрооптимизация вызовов echo))) да всё таки это надо делать на этапе компиляции, прост я думал типа как плагин пострпроцесс замутить ) что бы компилятор был до ужаса простецким, а все ништяки уже доп пакетами или спец флагами компилятора

[ksnk]

Пост плагин получается довольно сложным, нужно выковыривать и оптимизировать все найденные эхи с учетом корректности кода. В добавок надо было бы разбираться с комментариями и пробельными символами между конструкциями. А если второй просмотр делать - все будет уже распарещно как надо. Останется только склеить соседние эхи. Как это технически будет выглядеть - объектами или колбяками - тут уже на любителя, как будет удобнее.

[kelvin57]

ksnk, а как это грамотно склеить ?

например такой массив

array (
  0 => 
  (object) array(
     'string' => '
CHECK

',
     'inQuotes' => true,
  ),
  1 => 
  (object) array(
     'string' => '1 + 3 . \'-\'. 4 . \'=\' . 0',
     'inQuotes' => false,
  ),
  2 => 
  (object) array(
     'string' => '

',
     'inQuotes' => true,
  ),
  3 => 
  (object) array(
     'string' => '<h2>',
     'inQuotes' => true,
  ),
  4 => 
  (object) array(
     'string' => 'Olololo',
     'inQuotes' => true,
  ),
  5 => 
  (object) array(
     'string' => '</h2>',
     'inQuotes' => true,
  ),
  6 => 
  (object) array(
     'string' => '

',
     'inQuotes' => true,
  ),
  7 => 
  (object) array(
     'string' => '<h2>',
     'inQuotes' => true,
  ),
  8 => 
  (object) array(
     'string' => 'Number is, ',
     'inQuotes' => true,
  ),
  9 => 
  (object) array(
     'string' => 'count()',
     'inQuotes' => false,
  ),
  10 => 
  (object) array(
     'string' => '</h2>',
     'inQuotes' => true,
  ),
  11 => 
  (object) array(
     'string' => '

',
     'inQuotes' => true,
  ),
  12 => '
if (rand(0,1)){',
  13 => 
  (object) array(
     'string' => '
    lol
',
     'inQuotes' => true,
  ),
  14 => '
}',
)

[ksnk]

inQuotes == true - это значит там изображение строки, а ==false - это языковая конструкция ?
Каждый квотированный элемент отдельно квотируем с помощью addcslashes(..., "\\'")
Дальше примерно вот так

<?php

$data = [
    (object)array(
        'string' => '
CHECK

',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => '1 + 3 . \'-\'. 4 . \'=\' . 0',
        'inQuotes' => false,
    ),
    (object)array(
        'string' => '

',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => '<h2>',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => 'Olololo',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => '</h2>',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => '

',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => '<h2>',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => 'Number is, ',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => 'count()',
        'inQuotes' => false,
    ),
    (object)array(
        'string' => '</h2>',
        'inQuotes' => true,
    ),
    (object)array(
        'string' => '

',
        'inQuotes' => true,
    ),
    '
if (rand(0,1)){',
    (object)array(
        'string' => '
    lol
',
        'inQuotes' => true,
    ),
    '
}',
];

$printecho = function($d=null){
    static $parameters=[];
    if(!is_null($d)){
        if($d->inQuotes){
            $val="'".addcslashes($d->string,'\\\'')."'";
        } else {
            $val = $d->string;
        }
        // пытаемся склеить крайние строковые значения
        $count=0;
        if(count($parameters)>0) {
            $x = $parameters[count($parameters) - 1];
            $x = preg_replace('~^(.{' . (strlen($x) - 1) . '})\'\'~s', '\1', $x . $val, -1, $count);
        }
        if($count>0){
            $parameters[count($parameters)-1]=$x;
        } else {
            $parameters[] = $val;
        }
    } else if(!empty($parameters)){
        echo 'echo '.implode(', ',$parameters).';';
        $parameters=[];
    }
};

foreach($data as $d){
    if(is_object($d)){
        $printecho($d);
    } else {
        $printecho();
        echo $d;
    }
}
$printecho();

Я там регулярку влепил, потому что мне страшно вычислять последний символ последнего элемента массива.

echo '
CHECK

', 1 + 3 . '-'. 4 . '=' . 0, '

<h2>Olololo</h2>

<h2>Number is, ', count(), '</h2>

';
if (rand(0,1)){echo '
    lol
';
}

[kelvin57]

ksnk, слушай а я такой пример накатал )) чудовищно конечно, ну зато работает...))
без регулярок, в принципе в код можно вникнуть там всё по цепочке идёт и довольно логично. что скажешь как решение ?

почему то мне казалось, что через токенайзер можно сделать что то подобное)

$data = [
            (object) array(
                'string' => '
        CHECK
        
        ',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => '1 + 3 . \'-\'. 4 . \'=\' . 0',
                'inQuotes' => false,
            ),
            (object) array(
                'string' => '
        
        ',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => '<h2>',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => 'Olololo',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => '</h2>',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => '
        
        ',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => '<h2>',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => 'Number is, ',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => 'count(["1","2","3"])',
                'inQuotes' => false,
            ),
            (object) array(
                'string' => '</h2>',
                'inQuotes' => true,
            ),
            (object) array(
                'string' => '
        
        ',
                'inQuotes' => true,
            ),
            '
        if (rand(0,1)){',
            (object) array(
                'string' => '
            lol
        ',
                'inQuotes' => true,
            ),
            '
        }',
        ];



        $res = '';
        $openEcho = false;
        $inQuotes = false;

        foreach ($data as $str) {
            if (is_string($str)) {
                if ($openEcho) {
                    if ($inQuotes) {
                        $res .= "'";
                    }
                    $res .= ";";
                    $openEcho = false;
                }
                $res .= $str;
                continue;
            }

            if (!$openEcho) {
                $openEcho = true;
                $inQuotes = $str->inQuotes;
                $res .= "\necho ";
                if ($str->inQuotes) {
                    $res .= "'";
                }
                $res .= $str->string;

            } elseif ($str->inQuotes) {
                if (!$inQuotes) {
                    $res .= ",'";
                    $inQuotes = true;
                }
                $res .= $str->string;

            } elseif (!$str->inQuotes) {
                if ($inQuotes) {
                    $res .= "'";
                    $inQuotes = false;
                }
                $res .= ",$str->string";
            }

        }

        echo $res;

на выходе:

echo '
CHECK

',1 + 3 . '-'. 4 . '=' . 0,'

<h2>Olololo</h2>

<h2>Number is, ',count(["1","2","3"]),'</h2>

';
if (rand(0,1)){
echo '
    lol
';
}

[ksnk]

Когда ты окружаешь строку кавычками - все внутренние кавычки нужно заслешить - для этого у меня используется конструкция addcslashes.
Если последней конструкцией в массиве будет echo строковое - закрывающая кавычка не будет поставлена.
Тут можно поставить последним элементом массива пустую строку, тогда все закроется само.
Ну, если все равботает - то и хорошо :)

[kelvin57]

ksnk, у меня просто уже там и так одинарные кавычки в строках экранируются

if ($node instanceof Text) {
            $this->php[] = $this->echo(str_replace('\'', '\\\'', $node->data));
}

По поводу последнего echo да просто пушим в data пустую строку и всё)
Так думаю надёжнее чем регулярки и тд... код конечно прям совсем тупой в лоб но это и хорошо, вряд ли какие то подводные камни будут с ним

[kelvin57]

ksnk, СПС за помощь) эх... почему сразу прозрение не пришло, слабость в алгоритмах)))

Answer 2

[Rsa97]

<?php $name = 'anon'; ?>
CHECK

<?= 1 + 3 ?> - 4 = 0

<h2>Olololo</h2>

<h3>QWErty</h3>

<h2>Hello, <?= $name ?></h2>

<?php foreach ([1,2,3] as $item) { ?>
    <h2>Number is: <?= $item; ?></h2>
<?php } ?>

Comments

[kelvin57]

Думал об этом, но альтернативный синтаксис не годится. Надо именно перегнать из 1 формата в другой.

Answer 3

[Антон Шаманов]

Хочется более надежный вариант без внешних либ, возможно через Tokenizer ?

вполне, для удобства можно воспользоваться https://gist.github.com/WinterSilence/7584564280d2...

Comments

[kelvin57]

Ладно, я уже другой путь выбрал)