flush
[m6w6/ext-psi] / src / parser.h
index 55f4f9d75f6d57067adacc2e8a43950530cc2dcd..94860c5248d0e0fd9e6076b4ae90e5e4ce5a2fe5 100644 (file)
 #define BSIZE 256
 
 #define PSI_T_POINTER PSI_T_ASTERISK
+#define PSI_T_LONG_DOUBLE (PSI_T_DOUBLE << 16)
+
 typedef int token_t;
 
-/* in php_psi.h */
 size_t psi_t_alignment(token_t);
 size_t psi_t_size(token_t);
 
 typedef struct PSI_Token {
        token_t type;
-       size_t size, line, col;
+       unsigned size, line, col;
        char *text, *file;
        char buf[1];
 } PSI_Token;
 
+static inline PSI_Token *PSI_TokenCopy(PSI_Token *src);
+
 typedef union impl_val {
        char cval;
        int8_t i8;
@@ -41,6 +44,9 @@ typedef union impl_val {
        uint64_t u64;
        float fval;
        double dval;
+#ifdef HAVE_LONG_DOUBLE
+       long double ldval;
+#endif
        union {
                zend_bool bval;
                zend_long lval;
@@ -56,6 +62,9 @@ typedef struct decl_type {
        token_t type;
        struct decl_type *real;
        struct decl_struct *strct;
+       struct decl_union *unn;
+       struct decl_enum *enm;
+       struct decl *func;
 } decl_type;
 
 static inline decl_type *init_decl_type(token_t type, const char *name) {
@@ -72,54 +81,20 @@ static inline decl_type *real_decl_type(decl_type *type) {
        return type;
 }
 
+static inline void free_decl(struct decl *decl);
 static inline void free_decl_type(decl_type *type) {
-       free(type->name);
-       free(type);
-}
-
-typedef struct decl_typedef {
-       char *alias;
-       decl_type *type;
-} decl_typedef;
-
-static inline decl_typedef *init_decl_typedef(const char *name, decl_type *type) {
-       decl_typedef *t = calloc(1, sizeof(*t));
-       t->alias = strdup(name);
-       t->type = type;
-       return t;
-}
-
-static inline void free_decl_typedef(decl_typedef *t) {
-       free(t->alias);
-       free_decl_type(t->type);
-       free(t);
-}
-
-typedef struct decl_typedefs {
-       size_t count;
-       decl_typedef **list;
-} decl_typedefs;
-
-static inline decl_typedefs *add_decl_typedef(decl_typedefs *defs, decl_typedef *def) {
-       if (!defs) {
-               defs = calloc(1, sizeof(*defs));
+       if (type->token) {
+               free(type->token);
        }
-       defs->list = realloc(defs->list, ++defs->count * sizeof(*defs->list));
-       defs->list[defs->count-1] = def;
-       return defs;
-}
-
-static void free_decl_typedefs(decl_typedefs *defs) {
-       size_t i;
-
-       for (i = 0; i < defs->count; ++i) {
-               free_decl_typedef(defs->list[i]);
+       if (type->type == PSI_T_FUNCTION) {
+               free_decl(type->func);
        }
-       free(defs->list);
-       free(defs);
+       free(type->name);
+       free(type);
 }
 
 typedef struct decl_var {
+       PSI_Token *token;
        char *name;
        unsigned pointer_level;
        unsigned array_size;
@@ -134,7 +109,21 @@ static inline decl_var *init_decl_var(const char *name, unsigned pl, unsigned as
        return v;
 }
 
+static inline decl_var *copy_decl_var(decl_var *src) {
+       decl_var *dest = calloc(1, sizeof(*dest));
+
+       memcpy(dest, src, sizeof(*dest));
+       dest->name = strdup(dest->name);
+       if (dest->token) {
+               dest->token = PSI_TokenCopy(dest->token);
+       }
+       return dest;
+}
+
 static inline void free_decl_var(decl_var *var) {
+       if (var->token) {
+               free(var->token);
+       }
        free(var->name);
        free(var);
 }
@@ -146,7 +135,7 @@ typedef struct decl_struct_layout {
 
 static inline decl_struct_layout *init_decl_struct_layout(size_t pos, size_t len) {
        decl_struct_layout *l = calloc(1, sizeof(*l));
-
+       ZEND_ASSERT(pos+len);
        l->pos = pos;
        l->len = len;
        return l;
@@ -157,6 +146,7 @@ static inline void free_decl_struct_layout(decl_struct_layout *l) {
 }
 
 typedef struct decl_arg {
+       PSI_Token *token;
        decl_type *type;
        decl_var *var;
        decl_struct_layout *layout;
@@ -168,6 +158,7 @@ typedef struct decl_arg {
 
 static inline decl_arg *init_decl_arg(decl_type *type, decl_var *var) {
        decl_arg *arg = calloc(1, sizeof(*arg));
+       arg->token = var->token;
        arg->type = type;
        arg->var = var;
        var->arg = arg;
@@ -176,6 +167,9 @@ static inline decl_arg *init_decl_arg(decl_type *type, decl_var *var) {
 }
 
 static inline void free_decl_arg(decl_arg *arg) {
+       if (arg->token && arg->token != arg->var->token) {
+               free(arg->token);
+       }
        free_decl_type(arg->type);
        free_decl_var(arg->var);
        if (arg->layout) {
@@ -184,6 +178,30 @@ static inline void free_decl_arg(decl_arg *arg) {
        free(arg);
 }
 
+typedef struct decl_typedefs {
+       size_t count;
+       decl_arg **list;
+} decl_typedefs;
+
+static inline decl_typedefs *add_decl_typedef(decl_typedefs *defs, decl_arg *def) {
+       if (!defs) {
+               defs = calloc(1, sizeof(*defs));
+       }
+       defs->list = realloc(defs->list, ++defs->count * sizeof(*defs->list));
+       defs->list[defs->count-1] = def;
+       return defs;
+}
+
+static void free_decl_typedefs(decl_typedefs *defs) {
+       size_t i;
+
+       for (i = 0; i < defs->count; ++i) {
+               free_decl_arg(defs->list[i]);
+       }
+       free(defs->list);
+       free(defs);
+}
+
 typedef struct decl_vars {
        decl_var **vars;
        size_t count;
@@ -248,6 +266,7 @@ static inline void free_decl_args(decl_args *args) {
 }
 
 typedef struct decl_abi {
+       PSI_Token *token;
        char *convention;
 } decl_abi;
 
@@ -258,20 +277,27 @@ static inline decl_abi *init_decl_abi(const char *convention) {
 }
 
 static inline void free_decl_abi(decl_abi *abi) {
+       if (abi->token) {
+               free(abi->token);
+       }
        free(abi->convention);
        free(abi);
 }
 
+typedef struct decl_callinfo {
+       void *sym;
+       void *info;
+       size_t argc;
+       void **args;
+       void **rval;
+} decl_callinfo;
+
 typedef struct decl {
        decl_abi *abi;
        decl_arg *func;
        decl_args *args;
        struct impl *impl;
-       struct {
-               void *sym;
-               void *info;
-               void **args;
-       } call;
+       decl_callinfo call;
 } decl;
 
 static inline decl* init_decl(decl_abi *abi, decl_arg *func, decl_args *args) {
@@ -315,10 +341,17 @@ static inline void free_decls(decls *decls) {
        free(decls);
 }
 
+
 typedef struct decl_struct {
+       PSI_Token *token;
        char *name;
        decl_args *args;
        size_t size;
+       size_t align;
+       struct {
+               void *type;
+               void (*dtor)(void *type);
+       } engine;
 } decl_struct;
 
 static inline decl_struct *init_decl_struct(const char *name, decl_args *args) {
@@ -329,9 +362,15 @@ static inline decl_struct *init_decl_struct(const char *name, decl_args *args) {
 }
 
 static inline void free_decl_struct(decl_struct *s) {
+       if (s->token) {
+               free(s->token);
+       }
        if (s->args) {
                free_decl_args(s->args);
        }
+       if (s->engine.type && s->engine.dtor) {
+               s->engine.dtor(s->engine.type);
+       }
        free(s->name);
        free(s);
 }
@@ -360,6 +399,56 @@ static inline void free_decl_structs(decl_structs *ss) {
        free(ss);
 }
 
+typedef struct decl_union {
+       PSI_Token *token;
+       char *name;
+       decl_args *args;
+       size_t size;
+       size_t align;
+} decl_union;
+
+static inline decl_union *init_decl_union(const char *name, decl_args *args) {
+       decl_union *u = calloc(1, sizeof(*u));
+       u->name = strdup(name);
+       u->args = args;
+       return u;
+}
+
+static inline void free_decl_union(decl_union *u) {
+       if (u->token) {
+               free(u->token);
+       }
+       if (u->args) {
+               free_decl_args(u->args);
+       }
+       free(u->name);
+       free(u);
+}
+
+typedef struct decl_unions {
+       decl_union **list;
+       size_t count;
+} decl_unions;
+
+static inline decl_unions *add_decl_union(decl_unions *uu, decl_union *u) {
+       if (!uu) {
+               uu = calloc(1, sizeof(*uu));
+       }
+       uu->list = realloc(uu->list, ++uu->count * sizeof(*uu->list));
+       uu->list[uu->count-1] = u;
+       return uu;
+}
+
+static inline void free_decl_unions(decl_unions *uu) {
+       size_t i;
+
+       for (i = 0; i < uu->count; ++i) {
+               free_decl_union(uu->list[i]);
+       }
+       free(uu->list);
+       free(uu);
+}
+
 typedef struct impl_type {
        char *name;
        token_t type;
@@ -379,6 +468,7 @@ static inline void free_impl_type(impl_type *type) {
 }
 
 typedef struct impl_var {
+       PSI_Token *token;
        char *name;
        unsigned reference:1;
 } impl_var;
@@ -391,6 +481,9 @@ static inline impl_var *init_impl_var(const char *name, int is_reference) {
 }
 
 static inline void free_impl_var(impl_var *var) {
+       if (var->token) {
+               free(var->token);
+       }
        free(var->name);
        free(var);
 }
@@ -499,10 +592,18 @@ static inline void free_impl_arg(impl_arg *arg) {
        free(arg);
 }
 
+typedef struct impl_vararg {
+       impl_arg *name;
+       struct impl_args *args;
+       token_t *types;
+       impl_val *values;
+       void **free_list;
+} impl_vararg;
+
 typedef struct impl_args {
        impl_arg **args;
        size_t count;
-       impl_arg *vararg;
+       impl_vararg vararg;
 } impl_args;
 
 static inline impl_args *init_impl_args(impl_arg *arg) {
@@ -527,11 +628,15 @@ static inline void free_impl_args(impl_args *args) {
        for (i = 0; i < args->count; ++i) {
                free_impl_arg(args->args[i]);
        }
+       if (args->vararg.name) {
+               free_impl_arg(args->vararg.name);
+       }
        free(args->args);
        free(args);
 }
 
 typedef struct impl_func {
+       PSI_Token *token;
        char *name;
        impl_args *args;
        impl_type *return_type;
@@ -548,6 +653,9 @@ static inline impl_func *init_impl_func(char *name, impl_args *args, impl_type *
 }
 
 static inline void free_impl_func(impl_func *f) {
+       if (f->token) {
+               free(f->token);
+       }
        free_impl_type(f->return_type);
        free_impl_args(f->args);
        free(f->name);
@@ -555,11 +663,13 @@ static inline void free_impl_func(impl_func *f) {
 }
 
 typedef struct num_exp {
+       PSI_Token *token;
        token_t t;
        union {
                char *numb;
                constant *cnst;
                decl_var *dvar;
+               struct decl_enum_item *enm;
        } u;
        token_t operator;
        int (*calculator)(int t1, impl_val *v1, int t2, impl_val *v2, impl_val *res);
@@ -581,7 +691,39 @@ static inline num_exp *init_num_exp(token_t t, void *num) {
        return exp;
 }
 
+static inline num_exp *copy_num_exp(num_exp *exp) {
+       decl_var *dvar;
+       num_exp *num = calloc(1, sizeof(*num));
+
+       memcpy(num, exp, sizeof(*num));
+
+       if (num->token) {
+               num->token = PSI_TokenCopy(num->token);
+       }
+       if (num->operand) {
+               num->operand = copy_num_exp(num->operand);
+       }
+       switch (num->t) {
+       case PSI_T_NUMBER:
+       case PSI_T_NSNAME:
+               num->u.numb = strdup(num->u.numb);
+               break;
+       case PSI_T_NAME:
+               dvar = init_decl_var(num->u.dvar->name, num->u.dvar->pointer_level, num->u.dvar->array_size);
+               dvar->arg = num->u.dvar->arg;
+               if (num->u.dvar->token) {
+                       dvar->token = PSI_TokenCopy(num->u.dvar->token);
+               }
+               num->u.dvar = dvar;
+               break;
+       }
+       return num;
+}
+
 static inline void free_num_exp(num_exp *exp) {
+       if (exp->token) {
+               free(exp->token);
+       }
        switch (exp->t) {
        case PSI_T_NUMBER:
                free(exp->u.numb);
@@ -591,6 +733,8 @@ static inline void free_num_exp(num_exp *exp) {
        case PSI_T_NAME:
                free_decl_var(exp->u.dvar);
                break;
+       case PSI_T_ENUM:
+               break;
        EMPTY_SWITCH_DEFAULT_CASE();
        }
        if (exp->operand) {
@@ -599,6 +743,122 @@ static inline void free_num_exp(num_exp *exp) {
        free(exp);
 }
 
+typedef struct decl_enum_item {
+       PSI_Token *token;
+       char *name;
+       num_exp *num;
+       num_exp inc;
+       struct decl_enum_item *prev;
+} decl_enum_item;
+
+static inline decl_enum_item *init_decl_enum_item(const char *name, num_exp *num) {
+       decl_enum_item *i = calloc(1, sizeof(*i));
+
+       i->name = strdup(name);
+       i->num = num;
+       return i;
+}
+
+static inline void free_decl_enum_item(decl_enum_item *i) {
+       if (i->token) {
+               free(i->token);
+       }
+       if (i->num && i->num != &i->inc) {
+               free_num_exp(i->num);
+       }
+       free(i->name);
+       free(i);
+}
+
+typedef struct decl_enum_items {
+       decl_enum_item **list;
+       size_t count;
+} decl_enum_items;
+
+static inline decl_enum_items *init_decl_enum_items(decl_enum_item *i) {
+       decl_enum_items *l = calloc(1, sizeof(*l));
+
+       if (i) {
+               l->count = 1;
+               l->list = calloc(1, sizeof(*l->list));
+               l->list[0] = i;
+       }
+       return l;
+}
+
+static inline decl_enum_items *add_decl_enum_item(decl_enum_items *l, decl_enum_item *i) {
+       l->list = realloc(l->list, sizeof(*l->list) * (l->count + 1));
+       l->list[l->count] = i;
+       if (l->count) {
+               i->prev = l->list[l->count - 1];
+       }
+       ++l->count;
+       return l;
+}
+
+static inline void free_decl_enum_items(decl_enum_items *l) {
+       if (l->list) {
+               size_t j;
+
+               for (j = 0; j < l->count; ++j) {
+                       free_decl_enum_item(l->list[j]);
+               }
+               free(l->list);
+       }
+       free(l);
+}
+
+typedef struct decl_enum {
+       PSI_Token *token;
+       char *name;
+       decl_enum_items *items;
+} decl_enum;
+
+static inline decl_enum *init_decl_enum(const char *name, decl_enum_items *l) {
+       decl_enum *e = calloc(1, sizeof(*e));
+
+       e->name = strdup(name);
+       e->items = l;
+       return e;
+}
+
+static inline void free_decl_enum(decl_enum *e) {
+       if (e->token) {
+               free(e->token);
+       }
+       if (e->items) {
+               free_decl_enum_items(e->items);
+       }
+       free(e->name);
+       free(e);
+}
+
+typedef struct decl_enums {
+       decl_enum **list;
+       size_t count;
+} decl_enums;
+
+static inline decl_enums* add_decl_enum(decl_enums *es, decl_enum *e) {
+       if (!es) {
+               es = calloc(1, sizeof(*es));
+       }
+       es->list = realloc(es->list, ++es->count * sizeof(*es->list));
+       es->list[es->count-1] = e;
+       return es;
+}
+
+static inline void free_decl_enums(decl_enums *es) {
+       if (es->list) {
+               size_t j;
+
+               for (j = 0; j < es->count; ++j) {
+                       free_decl_enum(es->list[j]);
+               }
+       }
+       free(es->list);
+       free(es);
+}
+
 typedef struct let_calloc {
        num_exp *nmemb;
        num_exp *size;
@@ -732,6 +992,7 @@ static inline void free_let_stmt(let_stmt *stmt) {
 struct set_value;
 
 typedef struct set_func {
+       PSI_Token *token;
        token_t type;
        char *name;
        void (*handler)(zval *, struct set_value *set, impl_val *ret_val);
@@ -745,6 +1006,9 @@ static inline set_func *init_set_func(token_t type, const char *name) {
 }
 
 static inline void free_set_func(set_func *func) {
+       if (func->token) {
+               free(func->token);
+       }
        free(func->name);
        free(func);
 }
@@ -770,13 +1034,18 @@ static inline set_value *init_set_value(set_func *func, decl_vars *vars) {
 static inline set_value *add_inner_set_value(set_value *val, set_value *inner) {
        val->inner = realloc(val->inner, ++val->count * sizeof(*val->inner));
        val->inner[val->count-1] = inner;
+       inner->outer.set = val;
        return val;
 }
 
 static inline void free_set_value(set_value *val) {
-       free_set_func(val->func);
-       free_decl_vars(val->vars);
-       if (val->inner) {
+       if (val->func) {
+               free_set_func(val->func);
+       }
+       if (val->vars) {
+               free_decl_vars(val->vars);
+       }
+       if (val->inner && (!val->outer.set || val->outer.set->inner != val->inner)) {
                size_t i;
                for (i = 0; i < val->count; ++i) {
                        free_set_value(val->inner[i]);
@@ -809,6 +1078,7 @@ static inline void free_set_stmt(set_stmt *set) {
 }
 
 typedef struct return_stmt {
+       PSI_Token *token;
        set_value *set;
        decl_arg *decl;
 } return_stmt;
@@ -820,13 +1090,15 @@ static inline return_stmt *init_return_stmt(set_value *val) {
 }
 
 static inline void free_return_stmt(return_stmt *ret) {
-       //free_set_func(ret->func);
-       //free_decl_var(ret->decl);
+       if (ret->token) {
+               free(ret->token);
+       }
        free_set_value(ret->set);
        free(ret);
 }
 
 typedef struct free_call {
+       PSI_Token *token;
        char *func;
        decl_vars *vars;
        decl *decl;
@@ -840,6 +1112,9 @@ static inline free_call *init_free_call(const char *func, decl_vars *vars) {
 }
 
 static inline void free_free_call(free_call *f) {
+       if (f->token) {
+               free(f->token);
+       }
        free(f->func);
        free_decl_vars(f->vars);
        free(f);
@@ -1082,7 +1357,16 @@ static inline void add_decl_lib(decl_libs *libs, void *dlopened) {
 static inline impl_val *deref_impl_val(impl_val *ret_val, decl_var *var) {
        unsigned i;
 
-       if (var->arg->var != var) for (i = 1; i < var->pointer_level; ++i) {
+       ZEND_ASSERT(var->arg->var != var);
+#if 0
+       fprintf(stderr, "deref: %s pl=%u:%u as=%u:%u %p\n",
+                       var->name, var->pointer_level, var->arg->var->pointer_level,
+                       var->array_size, var->arg->var->array_size, ret_val);
+#endif
+       for (i = 0; i < var->pointer_level; ++i) {
+#if 0
+               fprintf(stderr, "-- %p %p %p\n", ret_val, *(void**)ret_val, ret_val->ptr);
+#endif
                ret_val = *(void **) ret_val;
        }
        return ret_val;
@@ -1092,11 +1376,21 @@ static inline impl_val *enref_impl_val(void *ptr, decl_var *var) {
        impl_val *val, *val_ptr;
        unsigned i;
 
-       if (!var->pointer_level && real_decl_type(var->arg->type)->type != PSI_T_STRUCT) {
+       ZEND_ASSERT(var->arg->var == var);
+#if 0
+       fprintf(stderr, "enref: %s pl=%u:%u as=%u:%u\n",
+                       var->name, var->pointer_level, var->arg->var->pointer_level,
+                       var->array_size, var->arg->var->array_size);
+#endif
+       if (!var->pointer_level ){//&& real_decl_type(var->arg->type)->type != PSI_T_STRUCT) {
                return ptr;
        }
+
        val = val_ptr = calloc(var->pointer_level + 1, sizeof(void *));
-       for (i = 1; i < var->pointer_level; ++i) {
+       for (i = !var->arg->var->array_size; i < var->pointer_level; ++i) {
+#if 0
+               fprintf(stderr, "++\n");
+#endif
                val_ptr->ptr = (void **) val_ptr + 1;
                val_ptr = val_ptr->ptr;
        }
@@ -1105,32 +1399,34 @@ static inline impl_val *enref_impl_val(void *ptr, decl_var *var) {
 }
 
 static inline impl_val *struct_member_ref(decl_arg *set_arg, impl_val *struct_ptr, impl_val **to_free) {
-       void *ptr = (char *) struct_ptr->ptr + set_arg->layout->pos;
-       impl_val *val = enref_impl_val(ptr, set_arg->var);
-
-       if (val != ptr) {
-               *to_free = val;
-       }
-
-       return val;
+       void *ptr = (char *) struct_ptr + set_arg->layout->pos;
+#if 0
+       fprintf(stderr, "struct member %s: %p\n", set_arg->var->name, ptr);
+#endif
+       return ptr;
 }
 
+
 #define PSI_ERROR 16
 #define PSI_WARNING 32
-typedef void (*psi_error_cb)(int type, const char *msg, ...);
+typedef void (*psi_error_cb)(void *context, PSI_Token *token, int type, const char *msg, ...);
 
 #define PSI_DATA(D) ((PSI_Data *) (D))
 #define PSI_DATA_MEMBERS \
        constants *consts; \
        decl_typedefs *defs; \
        decl_structs *structs; \
+       decl_unions *unions; \
+       decl_enums *enums; \
        decls *decls; \
        impls *impls; \
        union { \
                decl_file file; \
                decl_libs libs; \
        } psi; \
-       psi_error_cb error
+       psi_error_cb error; \
+       unsigned errors; \
+       unsigned flags
 typedef struct PSI_Data {
        PSI_DATA_MEMBERS;
 } PSI_Data;
@@ -1154,6 +1450,12 @@ static inline void PSI_DataDtor(PSI_Data *data) {
        if (data->structs) {
                free_decl_structs(data->structs);
        }
+       if (data->unions) {
+               free_decl_unions(data->unions);
+       }
+       if (data->enums) {
+               free_decl_enums(data->enums);
+       }
        if (data->decls) {
                free_decls(data->decls);
        }
@@ -1166,14 +1468,16 @@ static inline void PSI_DataDtor(PSI_Data *data) {
 typedef struct PSI_Parser {
        PSI_DATA_MEMBERS;
        FILE *fp;
-       unsigned flags;
-       unsigned errors;
-       void *proc;
-       size_t line, col;
        token_t num;
+       void *proc;
+       unsigned line, col;
        char *cur, *tok, *lim, *eof, *ctx, *mrk, buf[BSIZE];
 } PSI_Parser;
 
+static inline size_t PSI_TokenAllocSize(size_t token_len, size_t fname_len) {
+       return sizeof(PSI_Token) + token_len + fname_len + 2;
+}
+
 static inline PSI_Token *PSI_TokenAlloc(PSI_Parser *P) {
        PSI_Token *T;
        size_t token_len, fname_len;
@@ -1187,34 +1491,118 @@ static inline PSI_Token *PSI_TokenAlloc(PSI_Parser *P) {
        token_len = P->cur - P->tok;
        fname_len = strlen(P->psi.file.fn);
 
-       T = calloc(1, sizeof(*T) + token_len + fname_len + 1);
+       T = calloc(1, PSI_TokenAllocSize(token_len, fname_len));
        T->type = token_typ;
        T->size = token_len;
+       T->text = &T->buf[0];
+       T->file = &T->buf[token_len + 1];
        T->line = P->line;
        T->col = P->col;
-       T->file = &T->buf[0];
-       T->text = &T->buf[fname_len + 1];
 
-       memcpy(T->file, P->psi.file.fn, fname_len);
        memcpy(T->text, P->tok, token_len);
+       memcpy(T->file, P->psi.file.fn, fname_len);
 
        return T;
 }
 
 static inline PSI_Token *PSI_TokenCopy(PSI_Token *src) {
-       size_t fname_len = strlen(src->file);
-       size_t strct_len = sizeof(*src) + src->size + fname_len + 1;
+       size_t strct_len = PSI_TokenAllocSize(src->size, strlen(src->file));
        PSI_Token *ptr = malloc(strct_len);
 
        memcpy(ptr, src, strct_len);
 
-       ptr->file = &ptr->buf[0];
-       ptr->text = &ptr->buf[fname_len + 1];
+       ptr->text = &ptr->buf[0];
+       ptr->file = &ptr->buf[ptr->size + 1];
 
        return ptr;
 }
 
+static inline PSI_Token *PSI_TokenCat(unsigned argc, ...) {
+       va_list argv;
+       unsigned i;
+       PSI_Token *T = NULL;
+
+       va_start(argv, argc);
+       for (i = 0; i < argc; ++i) {
+               PSI_Token *arg = va_arg(argv, PSI_Token *);
+
+               if (T) {
+                       size_t token_len = T->size, fname_len = strlen(T->file);
+
+                       T = realloc(T, PSI_TokenAllocSize(T->size += arg->size + 1, fname_len));
+                       T->text = &T->buf[0];
+                       T->file = &T->buf[T->size + 1];
+                       T->buf[token_len] = ' ';
+                       memmove(&T->buf[T->size + 1], &T->buf[token_len + 1], fname_len + 1);
+                       memcpy(&T->buf[token_len + 1], arg->text, arg->size + 1);
+               } else {
+                       T = PSI_TokenCopy(arg);
+                       T->type = PSI_T_NAME;
+               }
+       }
+       va_end(argv);
+
+       return T;
+}
+
+static inline PSI_Token *PSI_TokenAppend(PSI_Token *T, unsigned argc, ...) {
+       va_list argv;
+       unsigned i;
+
+       va_start(argv, argc);
+       for (i = 0; i < argc; ++i) {
+               char *str = va_arg(argv, char *);
+               size_t str_len = strlen(str), token_len = T->size, fname_len = strlen(T->file);
+
+               T = realloc(T, PSI_TokenAllocSize(T->size += str_len + 1, fname_len));
+               T->text = &T->buf[0];
+               T->file = &T->buf[T->size + 1];
+               T->buf[token_len] = ' ';
+               memmove(&T->buf[T->size + 1], &T->buf[token_len + 1], fname_len + 1);
+               memcpy(&T->buf[token_len + 1], str, str_len + 1);
+       }
+       va_end(argv);
+
+       return T;
+}
+
+char *php_strtr(char *str, size_t len, char *str_from, char *str_to, size_t trlen);
+static inline PSI_Token *PSI_TokenTranslit(PSI_Token *T, char *from, char *to) {
+       php_strtr(T->text, T->size, from, to, MIN(strlen(from), strlen(to)));
+       return T;
+}
+
+static inline uint64_t psi_hash(char *digest_buf, ...)
+{
+    uint64_t hash = 5381;
+    uint8_t c;
+    const uint8_t *ptr;
+    va_list argv;
+
+    va_start(argv, digest_buf);
+    while ((ptr = va_arg(argv, const uint8_t *))) {
+               while ((c = *ptr++)) {
+                       hash = ((hash << 5) + hash) + c;
+               }
+    }
+    va_end(argv);
+
+    if (digest_buf) {
+       sprintf(digest_buf, "%" PRIx64, hash);
+    }
+
+    return hash;
+}
+
+static inline uint64_t PSI_TokenHash(PSI_Token *t, char *digest_buf) {
+       char loc_buf[48];
+
+       sprintf(loc_buf, "%u%u", t->line, t->col);
+       return psi_hash(digest_buf, t->file, loc_buf, NULL);
+}
+
 #define PSI_PARSER_DEBUG 0x1
+#define PSI_PARSER_SILENT 0x2
 
 PSI_Parser *PSI_ParserInit(PSI_Parser *P, const char *filename, psi_error_cb error, unsigned flags);
 void PSI_ParserSyntaxError(PSI_Parser *P, const char *fn, size_t ln, const char *msg, ...);