PHP: полный мануал с примерами, функциями и ООП

<?php
declare(strict_types=1);

$tokens = token_get_all('<?php echo 7;');
foreach ($tokens as $token) {
    echo is_array($token) ? token_name($token[0]) : $token;
    echo "\n";
}

T_OPEN_TAG
T_ECHO
T_WHITESPACE
T_LNUMBER
;

Сначала проверяем is_array: обращение к [0] имеет разный смысл у массива и строки. Имена T_* позволяют читать результат без запоминания числовых кодов. echo внутри анализируемой строки не выполнялся.

<?php
declare(strict_types=1);

$template = '<h1>Shop</h1><?php echo 7; ?>Done';
foreach (token_get_all($template) as $token) {
    if (is_array($token) && $token[0] === T_INLINE_HTML) {
        echo $token[1], "\n";
    }
}

<h1>Shop</h1>
Done

Так редактор шаблона отделяет HTML-части от PHP. Это не HTML-парсер: найденный текст ещё можно разобрать соответствующим инструментом. При показе исходника на сайте его экранируют, иначе браузер воспримет теги.

<?php
declare(strict_types=1);

$source = '<?php class Delivery { const PUBLIC = 1; }';
foreach ([0, TOKEN_PARSE] as $flags) {
    foreach (token_get_all($source, $flags) as $token) {
        if (is_array($token) && $token[1] === 'PUBLIC') {
            echo token_name($token[0]), "\n";
        }
    }
}

T_PUBLIC
T_STRING

PUBLIC здесь имя константы, хотя отдельно public является ключевым словом. Грамматический контекст помогает понять разрешённую роль слова; сам текст остаётся прежним.

<?php
declare(strict_types=1);

echo token_name(T_VARIABLE), "\n";
echo token_name(-1), "\n";

T_VARIABLE
UNKNOWN

UNKNOWN — нормальный ответ для неизвестного числа. Значение ID не обязано сохраняться между версиями PHP, поэтому в правилах анализатора используют T_VARIABLE, а в переносимом отчёте сохраняют его имя.

<?php
declare(strict_types=1);

$source = "<?php\necho 7;\nprint 8;";
foreach (token_get_all($source) as $token) {
    if (is_array($token) && in_array($token[0], [T_ECHO, T_PRINT], true)) {
        echo 'line ', $token[2], ': ', token_name($token[0]), "\n";
    }
}

line 2: T_ECHO
line 3: T_PRINT

Так можно составить список мест, где шаблон пишет ответ. Наличие echo не является ошибкой само по себе: правило зависит от роли файла. Лексер не знает, должен ли данный файл быть шаблоном или сервисом.

<?php
declare(strict_types=1);

$token = new PhpToken(T_VARIABLE, '$price', 2, 6);
echo $token->getTokenName(), ': ', $token->text, "\n";
echo $token->line, '/', $token->pos, "\n";

T_VARIABLE: $price
2/6

new создаёт объект; параметры описывают его поля. $price находится внутри одинарных кавычек, поэтому это текст имени, а не чтение переменной программы.

<?php
declare(strict_types=1);

$inserted = [new PhpToken(ord(';'), ';'), new PhpToken(T_WHITESPACE, "\n")];
foreach ($inserted as $token) {
    echo $token->text;
}
echo $inserted[0]->line, '/', $inserted[0]->pos, "\n";

;
-1/-1

У новых элементов нет исходной позиции. Если меняете исходник, прежние позиции остальных токенов автоматически не пересчитываются; после изменения можно снова токенизировать результат.

<?php
declare(strict_types=1);

$token = new PhpToken(T_VARIABLE, '$quantity');
echo $token->getTokenName(), "\n", $token->text, "\n";

T_VARIABLE
$quantity

Первое значение сообщает, что перед нами переменная; второе — какая именно запись встретилась. Это полезно для списка переменных в редакторе.

<?php
declare(strict_types=1);

foreach ([new PhpToken(ord(';'), ';'), new PhpToken(PHP_INT_MAX, '?')] as $token) {
    echo $token->getTokenName() ?? 'unknown token', "\n";
}

;
unknown token

Оператор ?? выбирает подпись, когда слева null. Он не изменяет сам объект и не делает неизвестный элемент корректным PHP-кодом.

<?php
declare(strict_types=1);

$token = PhpToken::tokenize('<?php ECHO 7;')[1];
var_dump($token->is(T_ECHO), $token->is('echo'), $token->is([T_PRINT, T_ECHO]));

bool(true)
bool(false)
bool(true)

PHP распознаёт ECHO как ключевое слово, но сохраняет исходные заглавные буквы. Проверка вида подходит для анализа; проверка текста — для точной правки.

<?php
declare(strict_types=1);

$source = '<?php interface Clock {} trait Logged {} class Order {}';
foreach (PhpToken::tokenize($source, TOKEN_PARSE) as $token) {
    if ($token->is([T_INTERFACE, T_TRAIT, T_CLASS])) {
        echo $token->text, "\n";
    }
}

interface
trait
class

Это поиск слов объявления. Для полноценного каталога имён надо учитывать контекст: ::class, анонимные классы, namespace и вложенные конструкции. Одно условие не превращается в полный синтаксический анализатор.

<?php
declare(strict_types=1);

foreach (PhpToken::tokenize('<?php /* price */ echo 7;') as $token) {
    if (!$token->isIgnorable()) { echo $token->text, "\n"; }
}

echo
7
;

Такой список помогает объяснить структуру выражения. Его нельзя склеивать и использовать как исходный файл: без тега PHP и разделителей поведение изменится.

<?php
declare(strict_types=1);

$source = '<?php /** Price in kopecks. */ function price() { return 7; }';
$documents = 0;
foreach (PhpToken::tokenize($source) as $token) {
    if ($token->is(T_DOC_COMMENT)) { $documents++; }
}
echo 'documentation blocks: ', $documents, "\n";
var_dump((new PhpToken(T_OPEN_TAG, '<?php '))->isIgnorable());

documentation blocks: 1
bool(true)

Документационные комментарии нужны IDE, генераторам справки и некоторым библиотекам. Их удаление — отдельное решение для конкретного проекта, а не автоматическая оптимизация.

<?php
declare(strict_types=1);

$token = new PhpToken(T_VARIABLE, '$total');
echo (string) $token, "\n";

$total

Выводится запись $total, а не значение переменной с таким именем. Токен не ссылается на переменные исполняющей программы.

<?php
declare(strict_types=1);

$source = "<h1>Shop</h1><?php\n// note\necho 7; ?>";
$restored = '';
foreach (PhpToken::tokenize($source) as $token) { $restored .= (string) $token; }
var_dump($restored === $source);

bool(true)

Сохраняются не только команды, но и оформление. Позиции имеют смысл относительно этой исходной строки. Для подсветки на веб-странице дополнительно используйте htmlspecialchars, чтобы исходник не стал исполняемой HTML-разметкой.

<?php
declare(strict_types=1);

foreach (PhpToken::tokenize('<?php $price = 7;') as $token) {
    if ($token->is(T_VARIABLE)) {
        echo $token->text, ': line ', $token->line, ', byte ', $token->pos, "\n";
    }
}

$price: line 1, byte 6

pos начинается с нуля и измеряется байтами. После русских букв он не совпадёт с номером видимого символа. При работе с редактором надо явно согласовать систему координат.

<?php
declare(strict_types=1);

try {
    PhpToken::tokenize('<?php if (', TOKEN_PARSE);
    echo "accepted\n";
} catch (ParseError $error) {
    echo "syntax error\n";
}

syntax error

В интерактивном редакторе пользователь часто ещё не дописал строку: это ожидаемый случай. Режим без TOKEN_PARSE полезен для промежуточного лексического разбора, но тоже не стоит считать универсальным валидатором.

<?php
declare(strict_types=1);

class ProjectToken extends PhpToken {
    public function isOutput(): bool { return $this->is([T_ECHO, T_PRINT]); }
}
$count = 0;
foreach (ProjectToken::tokenize('<?php echo 7; print 8;') as $token) {
    if ($token->isOutput()) { $count++; }
}
echo $count, "\n";

2

Объекты результата — ProjectToken. Метод прячет повторяющийся вопрос в одном месте. Конструктор PhpToken final; дополнительные свойства наследника требуют понятных значений по умолчанию, а не расчёта в переопределённом конструкторе.