Merge branch 'slimconfigure'
[m6w6/ext-psi] / src / token.h
index e660a0cbb416af87cfaeef1452635a4a9eb1c5ce..5f6c7c71820bce2ee4a9dbbc95d3aa1d3fb26d00 100644 (file)
@@ -45,70 +45,69 @@ static inline size_t psi_offset_padding(size_t diff, size_t alignment) {
 }
 
 #include "parser_proc.h"
+#undef YYDEBUG
 
-#define PSI_T_POINTER PSI_T_ASTERISK
-#define PSI_T_LONG_DOUBLE (PSI_T_DOUBLE << 16)
-
-typedef int token_t;
-
-static inline int psi_num_exp_op_cmp(token_t op1, token_t op2)
-{
-       assert(!op1 || op1 == PSI_T_LPAREN || (op1 <= PSI_T_NOT && op1 >= PSI_T_PIPE));
-       assert(!op2 || op2 == PSI_T_LPAREN || (op2 <= PSI_T_NOT && op2 >= PSI_T_PIPE));
-
-       if (PSI_T_LPAREN == op2) {
-               return -1;
-       } else if (PSI_T_LPAREN == op1) {
-               return 1;
-       } else if (op1 == op2) {
-               return 0;
-       } else if (!op1) {
-               return 1;
-       } else if (!op2) {
-               return -1;
-       }
+#if SIZEOF_CHAR == 1
+# define ALIGNOF_INT8_T ALIGNOF_CHAR
+# define ALIGNOF_UINT8_T ALIGNOF_CHAR
+#else
+# error SIZEOF_CHAR != 8
+#endif
+#if SIZEOF_SHORT == 2
+# define ALIGNOF_INT16_T ALIGNOF_SHORT
+# define ALIGNOF_UINT16_T ALIGNOF_SHORT
+#else
+# error SIZEOF_SHORT != 16
+#endif
+#if SIZEOF_INT == 4
+# define ALIGNOF_INT32_T ALIGNOF_INT
+# define ALIGNOF_UINT32_T ALIGNOF_INT
+#elif SIZEOF_LONG == 4
+# define ALIGNOF_INT32_T ALIGNOF_LONG
+# define ALIGNOF_UINT32_T ALIGNOF_LONG
+#else
+# error SIZEOF_INT != 32 and SIZEOF_LONG != 32
+#endif
+#if SIZEOF_LONG == 8
+# define ALIGNOF_INT64_T ALIGNOF_LONG
+# define ALIGNOF_UINT64_T ALIGNOF_LONG
+# elif HAVE_LONG_LONG_INT && SIZEOF_LONG_LONG_INT == 8
+# define ALIGNOF_INT64_T ALIGNOF_LONG_LONG
+# define ALIGNOF_UINT64_T ALIGNOF_LONG_LONG
+#else
+# error SIZEOF_LONG != 64 and SIZEOF_LONG_LONG != 64
+#endif
 
-       switch (op1) {
-       case PSI_T_PIPE:
-               return op2 > PSI_T_PIPE ? 1 : (op2 < PSI_T_PIPE ? -1 : 0);
-       case PSI_T_CARET:
-               return op2 > PSI_T_CARET ? 1 : (op2 < PSI_T_CARET ? -1 : 0);
-       case PSI_T_AMPERSAND:
-               return op2 > PSI_T_AMPERSAND ? 1 : (op2 < PSI_T_AMPERSAND ? -1 : 0);
-
-       case PSI_T_LSHIFT:
-       case PSI_T_RSHIFT:
-               return op2 > PSI_T_RSHIFT ? 1 : (op2 < PSI_T_LSHIFT ? -1 : 0);
-
-       case PSI_T_PLUS:
-       case PSI_T_MINUS:
-               return op2 > PSI_T_MINUS ? 1 : (op2 < PSI_T_PLUS ? -1 : 0);
-
-       case PSI_T_ASTERISK:
-       case PSI_T_SLASH:
-       case PSI_T_MODULO:
-               return op2 > PSI_T_MODULO ? 1 : (op2 < PSI_T_ASTERISK ? -1 : 0);
-
-       case PSI_T_NOT:
-       case PSI_T_TILDE:
-               return op2 > PSI_T_TILDE ? 1 : (op2 < PSI_T_NOT ? -1 : 0);
-       }
+#if HAVE_INT128
+# define SIZEOF_INT128_T SIZEOF___INT128
+# define SIZEOF_UINT128_T SIZEOF_UNSIGNED___INT128
+# define ALIGNOF_INT128_T ALIGNOF___INT128
+# define ALIGNOF_UINT128_T ALIGNOF___INT128
+# define INT128_MAX ((__int128) (UINT128_MAX >> 1))
+# define INT128_MIN (-INT128_MAX-1)
+# define UINT128_MAX ((unsigned __int128) ~ 0)
+typedef __int128 int128_t;
+typedef unsigned __int128 uint128_t;
+#endif
 
-       return 0;
-}
+typedef enum psi_token_type token_t;
 
 static inline size_t psi_t_alignment(token_t t)
 {
-#define PSI_ALIGNOF(T) case PSI_T_## T: return ALIGNOF_## T ##_T;
+#define PSI_ALIGNOF(T,S) case PSI_T_## T ##S: return S/8;
        switch (t) {
-       PSI_ALIGNOF(INT8);
-       PSI_ALIGNOF(UINT8);
-       PSI_ALIGNOF(INT16);
-       PSI_ALIGNOF(UINT16);
-       PSI_ALIGNOF(INT32);
-       PSI_ALIGNOF(UINT32);
-       PSI_ALIGNOF(INT64);
-       PSI_ALIGNOF(UINT64);
+       PSI_ALIGNOF(INT,8);
+       PSI_ALIGNOF(UINT,8);
+       PSI_ALIGNOF(INT,16);
+       PSI_ALIGNOF(UINT,16);
+       PSI_ALIGNOF(INT,32);
+       PSI_ALIGNOF(UINT,32);
+       PSI_ALIGNOF(INT,64);
+       PSI_ALIGNOF(UINT,64);
+#if HAVE_INT128
+       PSI_ALIGNOF(INT,128);
+       PSI_ALIGNOF(UINT,128);
+#endif
        case PSI_T_FLOAT:
                return ALIGNOF_FLOAT;
        case PSI_T_DOUBLE:
@@ -118,6 +117,10 @@ static inline size_t psi_t_alignment(token_t t)
                return ALIGNOF_VOID_P;
        case PSI_T_ENUM:
                return ALIGNOF_INT;
+#ifdef HAVE_LONG_DOUBLE
+       case PSI_T_LONG_DOUBLE:
+               return ALIGNOF_LONG_DOUBLE;
+#endif
        default:
                assert(0);
        }
@@ -126,16 +129,20 @@ static inline size_t psi_t_alignment(token_t t)
 
 static inline size_t psi_t_size(token_t t)
 {
-#define PSI_SIZEOF(T) case PSI_T_## T : return SIZEOF_## T ##_T;
+#define PSI_SIZEOF(T,S) case PSI_T_## T ##S : return S/8;
        switch (t) {
-       PSI_SIZEOF(INT8);
-       PSI_SIZEOF(UINT8);
-       PSI_SIZEOF(INT16);
-       PSI_SIZEOF(UINT16);
-       PSI_SIZEOF(INT32);
-       PSI_SIZEOF(UINT32);
-       PSI_SIZEOF(INT64);
-       PSI_SIZEOF(UINT64);
+       PSI_SIZEOF(INT,8);
+       PSI_SIZEOF(UINT,8);
+       PSI_SIZEOF(INT,16);
+       PSI_SIZEOF(UINT,16);
+       PSI_SIZEOF(INT,32);
+       PSI_SIZEOF(UINT,32);
+       PSI_SIZEOF(INT,64);
+       PSI_SIZEOF(UINT,64);
+#if HAVE_INT128
+       PSI_SIZEOF(INT,128);
+       PSI_SIZEOF(UINT,128);
+#endif
        case PSI_T_FLOAT:
                return SIZEOF_FLOAT;
        case PSI_T_DOUBLE:
@@ -146,6 +153,10 @@ static inline size_t psi_t_size(token_t t)
                return SIZEOF_VOID_P;
        case PSI_T_ENUM:
                return SIZEOF_INT;
+#ifdef HAVE_LONG_DOUBLE
+       case PSI_T_LONG_DOUBLE:
+               return SIZEOF_LONG_DOUBLE;
+#endif
        default:
                assert(!t);
        }
@@ -165,19 +176,24 @@ static inline const char *psi_t_indirection(unsigned pointer_level) {
 
 struct psi_token {
        token_t type;
-       unsigned size, line, col;
+       unsigned size, line, col, flags;
        char *text, *file;
        char buf[1];
 };
 
 struct psi_parser;
 
-struct psi_token *psi_token_alloc(struct psi_parser *P);
+struct psi_token *psi_token_init(token_t token_typ, const char *token_txt,
+               size_t token_len, unsigned col, unsigned line, const char *file);
 size_t psi_token_alloc_size(size_t token_len, size_t fname_len);
 struct psi_token *psi_token_copy(struct psi_token *src);
-struct psi_token *psi_token_cat(unsigned argc, ...);
-struct psi_token *psi_token_append(struct psi_token *T, unsigned argc, ...);
+void psi_token_copy_ctor(struct psi_token **src);
+struct psi_token *psi_token_cat(const char *sep, unsigned argc, ...);
+struct psi_token *psi_token_prepend(const char *sep, struct psi_token *T, unsigned argc, ...);
+struct psi_token *psi_token_append(const char *sep, struct psi_token *T, unsigned argc, ...);
 struct psi_token *psi_token_translit(struct psi_token *T, char *from, char *to);
 uint64_t psi_token_hash(struct psi_token *t, char *digest_buf);
+void psi_token_dump(int fd, struct psi_token *t);
+void psi_token_free(struct psi_token **token);
 
 #endif