Catch up with Gearman's libtest
[m6w6/libmemcached] / libtest / framework.h
index 69941b1bc8faaf1e62aaf054406b45678b30681d..da1d5b9878ed2b28a4ac5451a10050778fe8b440 100644 (file)
 /*  vim:expandtab:shiftwidth=2:tabstop=2:smarttab:
- * 
- *  libtest
  *
- *  Copyright (C) 2011 Data Differential, http://datadifferential.com/
+ *  Data Differential YATL (i.e. libtest)  library
  *
- *  This library is free software; you can redistribute it and/or
- *  modify it under the terms of the GNU Lesser General Public
- *  License as published by the Free Software Foundation; either
- *  version 3 of the License, or (at your option) any later version.
+ *  Copyright (C) 2012 Data Differential, http://datadifferential.com/
  *
- *  This library is distributed in the hope that it will be useful,
- *  but WITHOUT ANY WARRANTY; without even the implied warranty of
- *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
- *  Lesser General Public License for more details.
+ *  Redistribution and use in source and binary forms, with or without
+ *  modification, are permitted provided that the following conditions are
+ *  met:
+ *
+ *      * Redistributions of source code must retain the above copyright
+ *  notice, this list of conditions and the following disclaimer.
+ *
+ *      * Redistributions in binary form must reproduce the above
+ *  copyright notice, this list of conditions and the following disclaimer
+ *  in the documentation and/or other materials provided with the
+ *  distribution.
+ *
+ *      * The names of its contributors may not be used to endorse or
+ *  promote products derived from this software without specific prior
+ *  written permission.
+ *
+ *  THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
+ *  "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
+ *  LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
+ *  A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
+ *  OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+ *  SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+ *  LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+ *  DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+ *  THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+ *  (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+ *  OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  *
- *  You should have received a copy of the GNU Lesser General Public
- *  License along with this library; if not, write to the Free Software
- *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
  */
 
-
-
 #pragma once
 
+#include <libtest/signal.h>
+
 /**
   Framework is the structure which is passed to the test implementation to be filled.
   This must be implemented in order for the test framework to load the tests. We call
   get_world() in order to fill this structure.
 */
 
+#include <vector>
+
 class Framework {
 public:
-  collection_st *collections;
 
-  /* These methods are called outside of any collection call. */
-  test_callback_create_fn *_create;
-  test_callback_destroy_fn *_destroy;
-
-  /* This is called a the beginning of any collection run. */
-  test_callback_fn *collection_startup;
-
-  /* This is called a the end of any collection run. */
-  test_callback_fn *collection_shutdown;
+public:
+  test_return_t create();
 
-  void set_collection_shutdown(test_callback_error_fn *arg)
+  void create(test_callback_create_fn* arg)
   {
-    _on_error= arg;
+    _create= arg;
   }
 
-public:
-  void* create(test_return_t& arg);
-
-  test_return_t startup(void*);
-
-  test_return_t shutdown(void* arg)
+  void destroy(test_callback_destroy_fn* arg)
   {
-    if (collection_shutdown)
-    {
-      return collection_shutdown(arg);
-    }
-
-    return TEST_SUCCESS;
+    _destroy= arg;
   }
 
-  /**
-    These are run before/after the test. If implemented. Their execution is not controlled
-    by the test.
-  */
-  class Item {
-  public:
-    /* This is called a the beginning of any run. */
-    test_callback_fn *_startup;
-
-    test_return_t startup(void*);
-
-    /* 
-      This called on a test if the test requires a flush call (the bool is
-      from test_st) 
-    */
-    test_callback_fn *_flush;
-
-  private:
-    /*
-       Run before and after the runnner is executed.
-    */
-    test_callback_fn *pre_run;
-    test_callback_fn *post_run;
-
-  public:
-
-    Item() :
-      _startup(NULL),
-      _flush(NULL),
-      pre_run(NULL),
-      post_run(NULL)
-    { }
-
-    void set_startup(test_callback_fn *arg)
-    {
-      _startup= arg;
-    }
-
-    void set_collection(test_callback_fn *arg)
-    {
-      _flush= arg;
-    }
-
-    void set_flush(test_callback_fn *arg)
-    {
-      _flush= arg;
-    }
-
-    void set_pre(test_callback_fn *arg)
-    {
-      pre_run= arg;
-    }
-
-    void set_post(test_callback_fn *arg)
-    {
-      pre_run= arg;
-    }
-
-    test_return_t pre(void *arg);
-    test_return_t flush(void* arg, test_st* run);
-    test_return_t post(void *arg);
-
-  } item;
-
-  /**
-    If an error occurs during the test, this is called.
-  */
-  test_callback_error_fn *_on_error;
+  void collections(collection_st* arg)
+  {
+    _collections= arg;
+  }
 
   void set_on_error(test_callback_error_fn *arg)
   {
@@ -143,12 +78,16 @@ public:
   {
     _servers.set_socket();
   }
-  
-  /**
-    Runner represents the callers for the tests. If not implemented we will use
-    a set of default implementations.
-  */
-  libtest::Runner *_runner;
+
+  void set_sasl(const std::string& username_arg, const std::string& password_arg)
+  {
+    _servers.set_sasl(username_arg, password_arg);
+  }
+
+  libtest::server_startup_st& servers()
+  {
+    return _servers;
+  }
 
   void set_runner(libtest::Runner *arg)
   {
@@ -157,16 +96,91 @@ public:
 
   libtest::Runner *runner();
 
+  void exec();
+
+  libtest::Collection& collection();
 
-  Framework();
+  Framework(libtest::SignalThread&, const std::string&);
 
   virtual ~Framework();
 
-  Framework(const Framework&);
+  Framework(libtest::SignalThread&,
+            const std::string&,
+            const std::string&);
+
+  bool match(const char* arg);
+
+  void *creators_ptr()
+  {
+    return _creators_ptr;
+  }
+
+  libtest::SignalThread& signal()
+  {
+    return _signal;
+  }
+
+  uint32_t sum_total();
+  uint32_t sum_success();
+  uint32_t sum_skipped();
+  uint32_t sum_failed();
+
+  size_t size() 
+  {
+    return _collection.size();
+  }
+
+  uint32_t total() const
+  {
+    return _total;
+  }
+
+  uint32_t success() const
+  {
+    return _success;
+  }
+
+  uint32_t skipped() const
+  {
+    return _skipped;
+  }
+
+  uint32_t failed() const
+  {
+    return _failed;
+  }
 
 private:
   Framework& operator=(const Framework&);
+
+  collection_st *_collections;
+
+  uint32_t _total;
+  uint32_t _success;
+  uint32_t _skipped;
+  uint32_t _failed;
+  
+  /* These methods are called outside of any collection call. */
+  test_callback_create_fn *_create;
+  test_callback_destroy_fn *_destroy;
+
+  /**
+    If an error occurs during the test, this is called.
+  */
+  test_callback_error_fn *_on_error;
+
+  /**
+    Runner represents the callers for the tests. If not implemented we will use
+    a set of default implementations.
+  */
+  libtest::Runner *_runner;
+
   libtest::server_startup_st _servers;
   bool _socket;
   void *_creators_ptr;
+  unsigned long int _servers_to_run;
+  std::vector<libtest::Collection*> _collection;
+  libtest::SignalThread& _signal;
+  std::string _only_run;
+  std::string _wildcard;
 };