Merge in basic unittest for test framework.
[m6w6/libmemcached] / libtest / test.cc
index 2c57d206430ec460f4f794ea9f170e4bfca8961d..d87f1b17733b95e78ae70b0b046a32e0d065971c 100644 (file)
@@ -8,28 +8,60 @@
  */
 
 
-#include <config.h>
+#include <libtest/common.h>
 
-#include <stdint.h>
-#include <assert.h>
-#include <stdlib.h>
-#include <string.h>
+#include <cassert>
+#include <cstdlib>
+#include <cstring>
 #include <sys/time.h>
 #include <sys/types.h>
 #include <sys/stat.h>
 #include <sys/wait.h>
 #include <unistd.h>
-#include <time.h>
+#include <ctime>
 #include <fnmatch.h>
 #include <iostream>
+#include <cerrno>
 
-#include <libtest/test.h>
+#include <signal.h>
+
+#include <libtest/stats.h>
 
 #ifndef __INTEL_COMPILER
 #pragma GCC diagnostic ignored "-Wold-style-cast"
 #endif
 
-static void world_stats_print(world_stats_st *stats)
+static in_port_t global_port= 0;
+static char global_socket[1024];
+
+in_port_t default_port()
+{
+  assert(global_port);
+  return global_port;
+}
+void set_default_port(in_port_t port)
+{
+  global_port= port;
+}
+
+const char *default_socket()
+{
+  assert(global_socket[0]);
+  return global_socket;
+}
+
+bool test_is_local()
+{
+  return (getenv("LIBTEST_LOCAL"));
+}
+
+void set_default_socket(const char *socket)
+{
+  strncpy(global_socket, socket, strlen(socket));
+}
+
+static void stats_print(Stats *stats)
 {
   std::cout << "\tTotal Collections\t\t\t\t" << stats->collection_total << std::endl;
   std::cout << "\tFailed Collections\t\t\t\t" << stats->collection_failed << std::endl;
@@ -58,19 +90,21 @@ const char *test_strerror(test_return_t code)
   switch (code) {
   case TEST_SUCCESS:
     return "ok";
+
   case TEST_FAILURE:
     return "failed";
-  case TEST_FATAL:
-    return "failed";
+
   case TEST_MEMORY_ALLOCATION_FAILURE:
     return "memory allocation";
+
   case TEST_SKIPPED:
     return "skipped";
-  case TEST_MAXIMUM_RETURN:
-  default:
-     std::cerr << "Unknown return value." << std::endl;
-    abort();
+
+  case TEST_FATAL:
+    break;
   }
+
+  return "failed";
 }
 
 void create_core(void)
@@ -90,73 +124,92 @@ void create_core(void)
   }
 }
 
-
-static test_return_t _runner_default(test_callback_fn func, void *p)
-{
-  if (func)
-    return func(p);
-
-  return TEST_SUCCESS;
-}
-
-static world_runner_st defualt_runners= {
-  _runner_default,
-  _runner_default,
-  _runner_default
+enum shutdown_t {
+  SHUTDOWN_RUNNING,
+  SHUTDOWN_GRACEFUL,
+  SHUTDOWN_FORCED
 };
 
-static test_return_t _default_callback(void *p)
-{
-  (void)p;
+static Framework *world= NULL;
+static volatile shutdown_t __shutdown= SHUTDOWN_RUNNING;
 
-  return TEST_SUCCESS;
-}
+static void *sig_thread(void *arg)
+{   
+  sigset_t *set= (sigset_t *) arg;
 
-static collection_st *init_world(world_st *world)
-{
-  if (world->runner == NULL)
+  for (;__shutdown == SHUTDOWN_RUNNING;)
   {
-    world->runner= &defualt_runners;
-  }
+    int sig;
+    int error;
+    while ((error= sigwait(set, &sig)) == EINTR) ;
 
-  if (world->collection_startup == NULL)
-    world->collection_startup= _default_callback;
+    switch (sig)
+    {
+    case SIGSEGV:
+    case SIGINT:
+    case SIGABRT:
+      std::cerr << std::endl << "Signal handling thread got signal " <<  strsignal(sig) << std::endl;
+      __shutdown= SHUTDOWN_FORCED;
+      break;
 
-  if (world->collection_shutdown == NULL)
-    world->collection_shutdown= _default_callback;
+    default:
+      std::cerr << std::endl << "Signal handling thread got unexpected signal " <<  strsignal(sig) << std::endl;
+    case SIGUSR1:
+      break;
+    }
+  }
 
-  return world->collections;
+  return NULL;
 }
 
 
-int main(int argc, char *argv[])
+static void setup_signals(pthread_t& thread)
 {
-  world_st world;
-  void *world_ptr;
+  sigset_t set;
 
-  world_stats_st stats;
+  sigemptyset(&set);
+  sigaddset(&set, SIGSEGV);
+  sigaddset(&set, SIGABRT);
+  sigaddset(&set, SIGINT);
+  sigaddset(&set, SIGUSR1);
 
-  get_world(&world);
+  int error;
+  if ((error= pthread_sigmask(SIG_BLOCK, &set, NULL)) != 0)
+  {
+    std::cerr << __FILE__ << ":" << __LINE__ << " died during pthread_sigmask(" << strerror(error) << ")" << std::endl;
+    exit(EXIT_FAILURE);
+  }
 
-  if (not world.runner)
+  if ((error= pthread_create(&thread, NULL, &sig_thread, (void *) &set)) != 0)
   {
-    world.runner= &defualt_runners;
+    std::cerr << __FILE__ << ":" << __LINE__ << " died during pthread_create(" << strerror(error) << ")" << std::endl;
+    exit(EXIT_FAILURE);
   }
+}
 
-  collection_st *collection= init_world(&world);
 
-  if (world.create)
+int main(int argc, char *argv[])
+{
+  world= new Framework();
+
+  if (not world)
   {
-    test_return_t error;
-    world_ptr= world.create(&error);
-    if (error != TEST_SUCCESS)
-    {
-      return EXIT_FAILURE;
-    }
+    return EXIT_FAILURE;
   }
-  else
+
+  pthread_t thread;
+  setup_signals(thread);
+
+  Stats stats;
+
+  get_world(world);
+
+  test_return_t error;
+  void *creators_ptr= world->create(error);
+  if (test_failed(error))
   {
-    world_ptr= NULL;
+    std::cerr << "create() failed" << std::endl;
+    return EXIT_FAILURE;
   }
 
   char *collection_to_run= NULL;
@@ -180,7 +233,7 @@ int main(int argc, char *argv[])
     wildcard= argv[2];
   }
 
-  for (collection_st *next= collection; next->name; next++)
+  for (collection_st *next= world->collections; next->name and __shutdown == SHUTDOWN_RUNNING; next++)
   {
     test_return_t collection_rc= TEST_SUCCESS;
     bool failed= false;
@@ -191,11 +244,11 @@ int main(int argc, char *argv[])
 
     stats.collection_total++;
 
-    collection_rc= world.collection_startup(world_ptr);
+    collection_rc= world->startup(creators_ptr);
 
     if (collection_rc == TEST_SUCCESS and next->pre)
     {
-      collection_rc= world.runner->pre(next->pre, world_ptr);
+      collection_rc= world->runner->pre(next->pre, creators_ptr);
     }
 
     switch (collection_rc)
@@ -216,10 +269,7 @@ int main(int argc, char *argv[])
       goto cleanup;
 
     case TEST_MEMORY_ALLOCATION_FAILURE:
-    case TEST_MAXIMUM_RETURN:
-    default:
-      assert(0);
-      break;
+      test_assert(0, "Allocation failure, or unknown return");
     }
 
     for (test_st *run= next->tests; run->name; run++)
@@ -234,52 +284,33 @@ int main(int argc, char *argv[])
 
       std::cerr << "\tTesting " << run->name;
 
-      if (world.run_startup)
-      {
-       world.run_startup(world_ptr);
-      }
-
-      if (run->requires_flush && world.flush)
-      {
-       world.flush(world_ptr);
-      }
-
-      if (world.pre_run)
-      {
-       world.pre_run(world_ptr);
-      }
-
-
       test_return_t return_code;
-      { // Runner Code
-#if 0
-       if (next->pre and world.runner->pre)
-       {
-         return_code= world.runner->pre(next->pre, world_ptr);
-
-         if (return_code != TEST_SUCCESS)
-         {
-           goto error;
-         }
-       }
-#endif
-
-       gettimeofday(&start_time, NULL);
-       return_code= world.runner->run(run->test_fn, world_ptr);
-       gettimeofday(&end_time, NULL);
-       load_time= timedif(end_time, start_time);
-
-#if 0
-       if (next->post && world.runner->post)
-       {
-         (void) world.runner->post(next->post, world_ptr);
-       }
-#endif
+      if (test_success(return_code= world->item.startup(creators_ptr)))
+      {
+        if (test_success(return_code= world->item.flush(creators_ptr, run)))
+        {
+          // @note pre will fail is SKIPPED is returned
+          if (test_success(return_code= world->item.pre(creators_ptr)))
+          {
+            { // Runner Code
+              gettimeofday(&start_time, NULL);
+              return_code= world->runner->run(run->test_fn, creators_ptr);
+              gettimeofday(&end_time, NULL);
+              load_time= timedif(end_time, start_time);
+            }
+          }
+
+          // @todo do something if post fails
+          (void)world->item.post(creators_ptr);
+        }
+        else
+        {
+          std::cerr << __FILE__ << ":" << __LINE__ << " item.flush(failure)" << std::endl;
+        }
       }
-
-      if (world.post_run)
+      else
       {
-       world.post_run(world_ptr);
+        std::cerr << __FILE__ << ":" << __LINE__ << " item.startup(failure)" << std::endl;
       }
 
       stats.total++;
@@ -305,27 +336,20 @@ int main(int argc, char *argv[])
        break;
 
       case TEST_MEMORY_ALLOCATION_FAILURE:
-      case TEST_MAXIMUM_RETURN:
-      default:
-       break;
-       abort();
+       test_assert(0, "Memory Allocation Error");
       }
 
       std::cerr << "[ " << test_strerror(return_code) << " ]" << std::endl;
 
-      if (world.on_error)
+      if (test_failed(world->on_error(return_code, creators_ptr)))
       {
-       test_return_t rc= world.on_error(return_code, world_ptr);
-
-       if (rc != TEST_SUCCESS)
-         break;
+        break;
       }
-
     }
 
-    if (next->post && world.runner->post)
+    if (next->post and world->runner->post)
     {
-      (void) world.runner->post(next->post, world_ptr);
+      (void) world->runner->post(next->post, creators_ptr);
     }
 
     if (failed == 0 and skipped == 0)
@@ -334,36 +358,34 @@ int main(int argc, char *argv[])
     }
 cleanup:
 
-    if (world.collection_shutdown)
-    {
-      world.collection_shutdown(world_ptr);
-    }
+    world->shutdown(creators_ptr);
   }
 
-  if (stats.collection_failed || stats.collection_skipped)
+  if (__shutdown == SHUTDOWN_RUNNING)
+  {
+    __shutdown= SHUTDOWN_GRACEFUL;
+  }
+
+  if (__shutdown == SHUTDOWN_FORCED)
+  {
+    std::cerr << std::endl << std::endl <<  "Tests were aborted." << std::endl << std::endl;
+  }
+  else if (stats.collection_failed or stats.collection_skipped)
   {
     std::cerr << std::endl << std::endl <<  "Some test failures and/or skipped test occurred." << std::endl << std::endl;
-#if 0
-    print_failed_test();
-#endif
   }
   else
   {
     std::cout << std::endl << std::endl <<  "All tests completed successfully." << std::endl << std::endl;
   }
 
-  if (world.destroy)
-  {
-    test_return_t error= world.destroy(world_ptr);
+  stats_print(&stats);
 
-    if (error != TEST_SUCCESS)
-    {
-      std::cerr << "Failure during shutdown." << std::endl;
-      stats.failed++; // We do this to make our exit code return EXIT_FAILURE
-    }
-  }
+  void *retval;
+  pthread_kill(thread, SIGUSR1);
+  pthread_join(thread, &retval);
 
-  world_stats_print(&stats);
+  delete world;
 
-  return stats.failed == 0 ? 0 : 1;
+  return stats.failed == 0 and __shutdown == SHUTDOWN_GRACEFUL ? EXIT_SUCCESS : EXIT_FAILURE;
 }