parser: decl blacklist
[m6w6/ext-psi] / src / cpp_tokiter.c
index e1d45f3bef82ecb6e1031e7fcf8b2b175b13a351..57645ec0db2ffccdd906116b29382777547c321e 100644 (file)
 #include "cpp.h"
 #include "parser.h"
 
-
-void psi_cpp_tokiter_dump(int fd, struct psi_cpp_data *cpp)
+#if PSI_CPP_DEBUG > 1
+void psi_cpp_tokiter_dump(int fd, struct psi_cpp *cpp)
 {
-       size_t i;
+       size_t i = cpp->index;
        struct psi_token *T;
 
-       for (i = 0; psi_plist_get(cpp->tokens, i, &T); ++i) {
+       if (i > 20) {
+               i -= 20;
+       } else {
+               i = 0;
+       }
+       while (psi_plist_get(cpp->tokens, i, &T)) {
                dprintf(fd, "PSI: CPP tokens %5zu %c ", i, cpp->index == i ? '*' : ' ');
                psi_token_dump(fd, T);
+               if (i >= cpp->index + 10) {
+                       dprintf(fd, "PSI: CPP tokens .....\n");
+                       break;
+               }
+               ++i;
        }
 }
+#endif
 
-void psi_cpp_tokiter_reset(struct psi_cpp_data *cpp)
+void psi_cpp_tokiter_reset(struct psi_cpp *cpp)
 {
 #if PSI_CPP_DEBUG
        fprintf(stderr, "PSI: CPP reset (%zu tokens)\n", psi_plist_count(cpp->tokens));
+#      if PSI_CPP_DEBUG > 1
        psi_cpp_tokiter_dump(2, cpp);
+#      endif
 #endif
        cpp->index = 0;
        cpp->expanded = 0;
 }
 
-bool psi_cpp_tokiter_seek(struct psi_cpp_data *cpp, size_t index)
+bool psi_cpp_tokiter_seek(struct psi_cpp *cpp, size_t index)
 {
        if (index < psi_plist_count(cpp->tokens)) {
                cpp->index = index;
@@ -59,7 +72,7 @@ bool psi_cpp_tokiter_seek(struct psi_cpp_data *cpp, size_t index)
        return false;
 }
 
-struct psi_token *psi_cpp_tokiter_current(struct psi_cpp_data *cpp)
+struct psi_token *psi_cpp_tokiter_current(struct psi_cpp *cpp)
 {
        struct psi_token *current = NULL;
        bool found = psi_plist_get(cpp->tokens, cpp->index, &current);
@@ -69,12 +82,12 @@ struct psi_token *psi_cpp_tokiter_current(struct psi_cpp_data *cpp)
        return current;
 }
 
-size_t psi_cpp_tokiter_index(struct psi_cpp_data *cpp)
+size_t psi_cpp_tokiter_index(struct psi_cpp *cpp)
 {
        return cpp->index;
 }
 
-void psi_cpp_tokiter_next(struct psi_cpp_data *cpp)
+void psi_cpp_tokiter_next(struct psi_cpp *cpp)
 {
 #if 0 && PSI_CPP_DEBUG
        fprintf(stderr, "PSI: CPP next -> index=%zu -> index=%zu\n", cpp->index, cpp->index+1);
@@ -82,7 +95,7 @@ void psi_cpp_tokiter_next(struct psi_cpp_data *cpp)
        ++cpp->index;
 }
 
-void psi_cpp_tokiter_prev(struct psi_cpp_data *cpp)
+void psi_cpp_tokiter_prev(struct psi_cpp *cpp)
 {
 #if 0 && PSI_CPP_DEBUG
        fprintf(stderr, "PSI: CPP prev -> index=%zu -> index=%zu\n", cpp->index, cpp->index-1);
@@ -92,7 +105,7 @@ void psi_cpp_tokiter_prev(struct psi_cpp_data *cpp)
        }
 }
 
-bool psi_cpp_tokiter_valid(struct psi_cpp_data *cpp)
+bool psi_cpp_tokiter_valid(struct psi_cpp *cpp)
 {
 #if 0 && PSI_CPP_DEBUG
        fprintf(stderr, "PSI: CPP valid -> index=%zu -> %d\n", cpp->index, cpp->index < psi_plist_count(cpp->tokens));
@@ -100,14 +113,15 @@ bool psi_cpp_tokiter_valid(struct psi_cpp_data *cpp)
        return cpp->index < psi_plist_count(cpp->tokens);
 }
 
-bool psi_cpp_tokiter_del_cur(struct psi_cpp_data *cpp, bool free_token)
+bool psi_cpp_tokiter_del_cur(struct psi_cpp *cpp, bool free_token)
 {
        struct psi_token *cur = NULL;
        bool deleted = psi_plist_del(cpp->tokens, cpp->index, &cur);
+       size_t count;
 
 #if PSI_CPP_DEBUG
-       fprintf(stderr, "PSI: CPP del_cur -> index=%zu, del=%d, free=%d ",
-                       cpp->index, (int) deleted, (int) free_token);
+       fprintf(stderr, "PSI: CPP del_cur -> index=%zu, del=%d, free=%d, count=%zu ",
+                       cpp->index, (int) deleted, (int) free_token, psi_plist_count(cpp->tokens));
        if (cur) {
                psi_token_dump(2, cur);
        } else {
@@ -117,13 +131,18 @@ bool psi_cpp_tokiter_del_cur(struct psi_cpp_data *cpp, bool free_token)
        if (cur && free_token) {
                free(cur);
        }
-       if (deleted && cpp->index >= psi_plist_count(cpp->tokens)) {
-               cpp->index = MAX(0, psi_plist_count(cpp->tokens)-1);
+       count = psi_plist_count(cpp->tokens);
+       if (deleted && cpp->index >= count) {
+               if (count > 0) {
+                       cpp->index = count - 1;
+               } else {
+                       cpp->index = 0;
+               }
        }
        return deleted;
 }
 
-bool psi_cpp_tokiter_del_range(struct psi_cpp_data *cpp, size_t offset, size_t num_eles, bool free_tokens)
+bool psi_cpp_tokiter_del_range(struct psi_cpp *cpp, size_t offset, size_t num_eles, bool free_tokens)
 {
        struct psi_token **ptr;
        bool deleted;
@@ -135,15 +154,23 @@ bool psi_cpp_tokiter_del_range(struct psi_cpp_data *cpp, size_t offset, size_t n
        }
 
 #if PSI_CPP_DEBUG
-       fprintf(stderr, "PSI: CPP del_range -> index=%zu, offset=%zu, num_eles=%zu\n", cpp->index, offset, num_eles);
+       fprintf(stderr, "PSI: CPP del_range -> index=%zu, offset=%zu, num_eles=%zu, count=%zu\n",
+                       cpp->index, offset, num_eles, psi_plist_count(cpp->tokens));
 #endif
 
-       deleted = psi_plist_del_range(cpp->tokens, offset, num_eles, (void *) ptr);
+       deleted = psi_plist_del_r(cpp->tokens, offset, num_eles, (void *) ptr);
 
        if (deleted) {
-               if (cpp->index >= psi_plist_count(cpp->tokens)) {
-                       cpp->index = MAX(0, psi_plist_count(cpp->tokens)-1);
+               size_t count = psi_plist_count(cpp->tokens);
+
+               if (cpp->index >= count) {
+                       if (count > 0) {
+                               cpp->index = count - 1;
+                       } else {
+                               cpp->index = 0;
+                       }
                }
+
                if (free_tokens) {
                        while (num_eles--) {
                                if (ptr[num_eles]) {
@@ -156,7 +183,7 @@ bool psi_cpp_tokiter_del_range(struct psi_cpp_data *cpp, size_t offset, size_t n
        return deleted;
 }
 
-bool psi_cpp_tokiter_ins_cur(struct psi_cpp_data *cpp, struct psi_token *tok)
+bool psi_cpp_tokiter_ins_cur(struct psi_cpp *cpp, struct psi_token *tok)
 {
        struct psi_plist *tokens = psi_plist_ins(cpp->tokens, cpp->index, &tok);
 
@@ -172,14 +199,20 @@ bool psi_cpp_tokiter_ins_cur(struct psi_cpp_data *cpp, struct psi_token *tok)
        return true;
 }
 
-bool psi_cpp_tokiter_ins_range(struct psi_cpp_data *cpp, size_t offset,
+bool psi_cpp_tokiter_ins_range(struct psi_cpp *cpp, size_t offset,
                size_t num_eles, void **eles)
 {
-       struct psi_plist *tokens = psi_plist_ins_range(cpp->tokens, offset,
-                       num_eles, eles);
+       struct psi_plist *tokens;
+
+       if (!num_eles) {
+               return true;
+       }
+
+       tokens = psi_plist_ins_r(cpp->tokens, offset, num_eles, eles);
 
 #if PSI_CPP_DEBUG
-       fprintf(stderr, "PSI: CPP ins_range -> index=%zu, offset=%zu, num_eles=%zu\n", cpp->index, offset, num_eles);
+       fprintf(stderr, "PSI: CPP ins_range -> index=%zu, offset=%zu, num_eles=%zu, count=%zu\n",
+                       cpp->index, offset, num_eles, psi_plist_count(tokens));
 #endif
 
        if (!tokens) {
@@ -189,7 +222,7 @@ bool psi_cpp_tokiter_ins_range(struct psi_cpp_data *cpp, size_t offset,
        return true;
 }
 
-bool psi_cpp_tokiter_defined(struct psi_cpp_data *cpp)
+bool psi_cpp_tokiter_defined(struct psi_cpp *cpp)
 {
        if (psi_cpp_tokiter_valid(cpp)) {
                struct psi_token *current = psi_cpp_tokiter_current(cpp);
@@ -200,22 +233,61 @@ bool psi_cpp_tokiter_defined(struct psi_cpp_data *cpp)
        return false;
 }
 
-void psi_cpp_tokiter_expand_tokens(struct psi_cpp_data *cpp, struct psi_plist *tokens)
+static size_t psi_cpp_tokiter_expand_tokens(struct psi_cpp *cpp,
+               struct psi_token *target, struct psi_plist *tokens)
 {
        if (tokens && psi_plist_count(tokens)) {
-               size_t i;
-               struct psi_token **exp_tokens = calloc(psi_plist_count(tokens), sizeof(*exp_tokens));
+               size_t i = 0, n = 0;
+               bool stringify = false, paste = false;
+               struct psi_token *tok, **exp_tokens = calloc(psi_plist_count(tokens), sizeof(*exp_tokens));
+
+               while (psi_plist_get(tokens, i++, &tok)) {
+                       struct psi_token *new_tok;
+
+                       if (tok->type == PSI_T_EOL) {
+                               continue;
+                       }
+                       if (tok->type == PSI_T_HASH) {
+                               stringify = true;
+                               continue;
+                       }
+                       if (tok->type == PSI_T_CPP_PASTE) {
+                               paste = true;
+                               continue;
+                       }
 
-               for (i = 0; psi_plist_get(tokens, i, &exp_tokens[i]); ++i) {
-                       exp_tokens[i] = psi_token_copy(exp_tokens[i]);
+                       if (paste && n > 0 && exp_tokens[n - 1]) {
+                               struct psi_token *tmp_tok, *old_tok = exp_tokens[n - 1];
+
+                               tmp_tok = psi_token_init(old_tok->type, "", 0,
+                                               target->col, target->line, target->file?:"");
+
+                               new_tok = psi_token_cat(NULL, 3, tmp_tok, old_tok, tok);
+                               free(old_tok);
+                               free(tmp_tok);
+
+                               exp_tokens[n - 1] = new_tok;
+                       } else {
+                               new_tok = psi_token_init(stringify ? PSI_T_QUOTED_STRING : tok->type,
+                                               tok->text, tok->size, target->col, target->line, target->file?:"");
+
+                               exp_tokens[n++] = new_tok;
+                       }
 
 #if PSI_CPP_DEBUG
                        fprintf(stderr, "PSI: CPP expand > ");
-                       psi_token_dump(2, exp_tokens[i]);
+                       psi_token_dump(2, tok);
 #endif
+
+                       paste = false;
+                       stringify = false;
                }
-               psi_cpp_tokiter_ins_range(cpp, psi_cpp_tokiter_index(cpp), i, (void *) exp_tokens);
+               psi_cpp_tokiter_ins_range(cpp, psi_cpp_tokiter_index(cpp), n, (void *) exp_tokens);
                free(exp_tokens);
+
+               return n;
+       } else {
+               return 0;
        }
 }
 
@@ -239,19 +311,15 @@ static void psi_cpp_tokiter_free_call_tokens(struct psi_plist **arg_tokens_list,
 }
 
 static struct psi_plist **psi_cpp_tokiter_read_call_tokens(
-               struct psi_cpp_data *cpp, size_t arg_count)
+               struct psi_cpp *cpp, size_t arg_count)
 {
        size_t arg_index = 0, lparens = 1, rparens = 0;
        struct psi_plist **arg_tokens = calloc(arg_count, sizeof(*arg_tokens));
-       struct psi_plist *free_tokens = psi_plist_init((void (*)(void *)) psi_token_free);
+       struct psi_plist *free_tokens = psi_plist_init((psi_plist_dtor) psi_token_free);
        struct psi_token *tok;
 
        arg_tokens[0] = psi_plist_init(NULL);
 
-       /* free macro name token on success */
-       tok = psi_cpp_tokiter_current(cpp);
-       free_tokens = psi_plist_add(free_tokens, &tok);
-
        /* next token must be a LPAREN for a macro call */
        psi_cpp_tokiter_next(cpp);
        tok = psi_cpp_tokiter_current(cpp);
@@ -311,11 +379,13 @@ fail:
        return NULL;
 }
 
-static void psi_cpp_tokiter_expand_call_tokens(struct psi_cpp_data *cpp,
-               struct psi_cpp_macro_decl *macro, struct psi_plist **arg_tokens_list)
+static void psi_cpp_tokiter_expand_call_tokens(struct psi_cpp *cpp,
+               struct psi_token *target, struct psi_cpp_macro_decl *macro,
+               struct psi_plist **arg_tokens_list)
 {
        size_t i;
        struct psi_token *tok;
+       struct psi_plist *tokens = psi_plist_init(NULL);
 
        for (i = 0; psi_plist_get(macro->tokens, i, &tok); ++i) {
                struct psi_plist *arg_tokens = NULL;
@@ -335,21 +405,18 @@ static void psi_cpp_tokiter_expand_call_tokens(struct psi_cpp_data *cpp,
                }
 
                if (arg_tokens) {
-                       size_t tok_count = psi_plist_count(arg_tokens);
-
-                       if (tok_count) {
-                               psi_cpp_tokiter_expand_tokens(cpp, arg_tokens);
-                               psi_cpp_tokiter_seek(cpp, psi_cpp_tokiter_index(cpp) + tok_count);
-                       }
+                       tokens = psi_plist_add_r(tokens, psi_plist_count(arg_tokens), psi_plist_eles(arg_tokens));
                } else {
-                       psi_cpp_tokiter_ins_cur(cpp, psi_token_copy(tok));
-                       psi_cpp_tokiter_next(cpp);
+                       tokens = psi_plist_add(tokens, &tok);
                }
        }
+
+       psi_cpp_tokiter_expand_tokens(cpp, target, tokens);
+       psi_plist_free(tokens);
 }
 
-static bool psi_cpp_tokiter_expand_call(struct psi_cpp_data *cpp,
-               struct psi_cpp_macro_decl *macro)
+static bool psi_cpp_tokiter_expand_call(struct psi_cpp *cpp,
+               struct psi_token *target, struct psi_cpp_macro_decl *macro)
 {
        /* function-like macro
         * #define FOO(a,b) a>b // macro->sig == {a, b}, macro->tokens = {a, >, b}
@@ -370,16 +437,51 @@ static bool psi_cpp_tokiter_expand_call(struct psi_cpp_data *cpp,
        psi_cpp_tokiter_seek(cpp, start);
 
        /* insert and expand macro tokens */
-       psi_cpp_tokiter_expand_call_tokens(cpp, macro, arg_tokens_list);
+       psi_cpp_tokiter_expand_call_tokens(cpp, target, macro, arg_tokens_list);
        psi_cpp_tokiter_free_call_tokens(arg_tokens_list, psi_plist_count(macro->sig), true);
 
        /* back to where we took off */
        psi_cpp_tokiter_seek(cpp, start);
+
+       free(target);
        ++cpp->expanded;
        return true;
 }
 
-bool psi_cpp_tokiter_expand(struct psi_cpp_data *cpp)
+static bool psi_cpp_tokiter_expand_def(struct psi_cpp *cpp,
+               struct psi_token *target, struct psi_cpp_macro_decl *macro)
+{
+       size_t index = psi_cpp_tokiter_index(cpp);
+
+       /* delete current token from stream */
+       psi_cpp_tokiter_del_cur(cpp, false);
+
+       if (index != psi_cpp_tokiter_index(cpp)) {
+               /* might have been last token */
+               psi_cpp_tokiter_next(cpp);
+       }
+       /* replace with tokens from macro */
+       psi_cpp_tokiter_expand_tokens(cpp, target, macro->tokens);
+
+       free(target);
+       ++cpp->expanded;
+       return true;
+}
+
+static inline int psi_cpp_tokiter_expand_cmp(struct psi_token *t,
+               struct psi_cpp_macro_decl *m)
+{
+       if (psi_plist_count(m->tokens) == 1) {
+               struct psi_token *r;
+
+               psi_plist_get(m->tokens, 0, &r);
+
+               return strcmp(r->text, t->text);
+       }
+       return -1;
+}
+
+bool psi_cpp_tokiter_expand(struct psi_cpp *cpp)
 {
        if (psi_cpp_tokiter_valid(cpp)) {
                struct psi_token *current = psi_cpp_tokiter_current(cpp);
@@ -395,22 +497,9 @@ bool psi_cpp_tokiter_expand(struct psi_cpp_data *cpp)
                                psi_token_dump(2, current);
 #endif
                                if (macro->sig) {
-                                       return psi_cpp_tokiter_expand_call(cpp, macro);
-                               } else {
-                                       size_t index = psi_cpp_tokiter_index(cpp);
-
-                                       /* delete current token from stream */
-                                       psi_cpp_tokiter_del_cur(cpp, true);
-
-                                       if (index != psi_cpp_tokiter_index(cpp)) {
-                                               /* might have been last token */
-                                               psi_cpp_tokiter_next(cpp);
-                                       }
-                                       /* replace with tokens from macro */
-                                       psi_cpp_tokiter_expand_tokens(cpp, macro->tokens);
-
-                                       ++cpp->expanded;
-                                       return true;
+                                       return psi_cpp_tokiter_expand_call(cpp, current, macro);
+                               } else if (psi_cpp_tokiter_expand_cmp(current, macro)) {
+                                       return psi_cpp_tokiter_expand_def(cpp, current, macro);
                                }
                        }
                }