First merge of Trond's patches (cherry picking).
[m6w6/libmemcached] / libmemcached / memcached_hash.c
index ff7d0e39dc2732b49b92db7fd42ccf9969169431..395020a39afb2de33616be39633bf4be03cf2c0e 100644 (file)
@@ -1,8 +1,9 @@
 #include "common.h"
 
+
 /* Defines */
-static uint64_t FNV_64_INIT= 0xcbf29ce484222325LL;
-static uint64_t FNV_64_PRIME= 0x100000001b3LL;
+static uint64_t FNV_64_INIT= UINT64_C(0xcbf29ce484222325);
+static uint64_t FNV_64_PRIME= UINT64_C(0x100000001b3);
 
 static uint32_t FNV_32_INIT= 2166136261UL;
 static uint32_t FNV_32_PRIME= 16777619;
@@ -11,7 +12,7 @@ static uint32_t FNV_32_PRIME= 16777619;
 static uint32_t internal_generate_hash(const char *key, size_t key_length);
 static uint32_t internal_generate_md5(const char *key, size_t key_length);
 
-uint32_t generate_hash_value(const char *key, size_t key_length, memcached_hash hash_algorithm)
+uint32_t memcached_generate_hash_value(const char *key, size_t key_length, memcached_hash_t hash_algorithm)
 {
   uint32_t hash= 1; /* Just here to remove compile warning */
   uint32_t x= 0;
@@ -30,53 +31,58 @@ uint32_t generate_hash_value(const char *key, size_t key_length, memcached_hash
       hash= 1;
     break;
     /* FNV hash'es lifted from Dustin Sallings work */
-  case MEMCACHED_HASH_FNV1_64: 
+  case MEMCACHED_HASH_FNV1_64:
     {
       /* Thanks to pierre@demartines.com for the pointer */
       uint64_t temp_hash;
 
       temp_hash= FNV_64_INIT;
-      for (x= 0; x < key_length; x++) 
+      for (x= 0; x < key_length; x++)
       {
         temp_hash *= FNV_64_PRIME;
-        temp_hash ^= key[x];
+        temp_hash ^= (uint64_t)key[x];
       }
       hash= (uint32_t)temp_hash;
     }
     break;
-  case MEMCACHED_HASH_FNV1A_64: 
+  case MEMCACHED_HASH_FNV1A_64:
     {
-      hash= FNV_64_INIT;
-      for (x= 0; x < key_length; x++) 
+      hash= (uint32_t) FNV_64_INIT;
+      for (x= 0; x < key_length; x++)
       {
-        hash ^= key[x];
-        hash *= FNV_64_PRIME;
+        uint32_t val= (uint32_t)key[x];
+        hash ^= val;
+        hash *= (uint32_t) FNV_64_PRIME;
       }
     }
     break;
-  case MEMCACHED_HASH_FNV1_32: 
+  case MEMCACHED_HASH_FNV1_32:
     {
       hash= FNV_32_INIT;
-      for (x= 0; x < key_length; x++) 
+      for (x= 0; x < key_length; x++)
       {
+        uint32_t val= (uint32_t)key[x];
         hash *= FNV_32_PRIME;
-        hash ^= key[x];
+        hash ^= val;
       }
     }
     break;
-  case MEMCACHED_HASH_FNV1A_32: 
+  case MEMCACHED_HASH_FNV1A_32:
     {
       hash= FNV_32_INIT;
-      for (x= 0; x < key_length; x++) 
+      for (x= 0; x < key_length; x++)
       {
-        hash ^= key[x];
+        uint32_t val= (uint32_t)key[x];
+        hash ^= val;
         hash *= FNV_32_PRIME;
       }
     }
     break;
     case MEMCACHED_HASH_HSIEH:
     {
+#ifdef HAVE_HSIEH_HASH
       hash= hsieh_hash(key, key_length);
+#endif
       break;
     }
     case MEMCACHED_HASH_MURMUR:
@@ -89,6 +95,11 @@ uint32_t generate_hash_value(const char *key, size_t key_length, memcached_hash
       hash=jenkins_hash(key, key_length, 13);
       break;
     }
+    default:
+    {
+      WATCHPOINT_ASSERT(hash_algorithm);
+      break;
+    }
   }
   return hash;
 }
@@ -103,17 +114,18 @@ uint32_t generate_hash(memcached_st *ptr, const char *key, size_t key_length)
   if (ptr->number_of_hosts == 1)
     return 0;
 
-  hash= generate_hash_value(key, key_length, ptr->hash);
+  hash= memcached_generate_hash_value(key, key_length, ptr->hash);
   WATCHPOINT_ASSERT(hash);
   return hash;
 }
 
 static uint32_t dispatch_host(memcached_st *ptr, uint32_t hash)
 {
-  switch (ptr->distribution) 
+  switch (ptr->distribution)
   {
   case MEMCACHED_DISTRIBUTION_CONSISTENT:
   case MEMCACHED_DISTRIBUTION_CONSISTENT_KETAMA:
+  case MEMCACHED_DISTRIBUTION_CONSISTENT_KETAMA_SPY:
     {
       uint32_t num= ptr->continuum_points_counter;
       WATCHPOINT_ASSERT(ptr->continuum);
@@ -131,26 +143,24 @@ static uint32_t dispatch_host(memcached_st *ptr, uint32_t hash)
         else
           right= middle;
       }
-      if (right > end)
+      if (right == end)
         right= begin;
       return right->index;
-    } 
-    break;
+    }
   case MEMCACHED_DISTRIBUTION_MODULA:
     return hash % ptr->number_of_hosts;
   case MEMCACHED_DISTRIBUTION_RANDOM:
-    return random() % ptr->number_of_hosts;
+    return (uint32_t) random() % ptr->number_of_hosts;
   default:
     WATCHPOINT_ASSERT(0); /* We have added a distribution without extending the logic */
     return hash % ptr->number_of_hosts;
   }
 
-  WATCHPOINT_ASSERT(0); /* We should never reach here */
-  return 0;
+  /* NOTREACHED */
 }
 
-/* 
-  One day make this public, and have it return the actual memcached_server_st 
+/*
+  One day make this public, and have it return the actual memcached_server_st
   to the calling application.
 */
 uint32_t memcached_generate_hash(memcached_st *ptr, const char *key, size_t key_length)
@@ -162,14 +172,17 @@ uint32_t memcached_generate_hash(memcached_st *ptr, const char *key, size_t key_
   if (ptr->number_of_hosts == 1)
     return 0;
 
-  if (ptr->flags & MEM_HASH_WITH_PREFIX_KEY)
+  if (ptr->flags.hash_with_prefix_key)
   {
-    int temp_len= ptr->prefix_key_length + key_length;
-    char *temp= (char *)malloc(temp_len);
+    size_t temp_length= ptr->prefix_key_length + key_length;
+    char temp[temp_length];
+
+    if (temp_length > MEMCACHED_MAX_KEY -1)
+      return 0;
+
     strncpy(temp, ptr->prefix_key, ptr->prefix_key_length);
     strncpy(temp + ptr->prefix_key_length, key, key_length);
-    hash= generate_hash(ptr, temp, temp_len);
-    free(temp);
+    hash= generate_hash(ptr, temp, temp_length);
   }
   else
   {
@@ -178,6 +191,14 @@ uint32_t memcached_generate_hash(memcached_st *ptr, const char *key, size_t key_
 
   WATCHPOINT_ASSERT(hash);
 
+  if (memcached_behavior_get(ptr, MEMCACHED_BEHAVIOR_AUTO_EJECT_HOSTS) && ptr->next_distribution_rebuild) {
+    struct timeval now;
+
+    if (gettimeofday(&now, NULL) == 0 &&
+        now.tv_sec > ptr->next_distribution_rebuild)
+      run_distribution(ptr);
+  }
+
   return dispatch_host(ptr, hash);
 }
 
@@ -186,17 +207,18 @@ static uint32_t internal_generate_hash(const char *key, size_t key_length)
   const char *ptr= key;
   uint32_t value= 0;
 
-  while (--key_length) 
+  while (key_length--)
   {
-    value += *ptr++;
+    uint32_t val= (uint32_t) *ptr++;
+    value += val;
     value += (value << 10);
     value ^= (value >> 6);
   }
   value += (value << 3);
   value ^= (value >> 11);
-  value += (value << 15); 
+  value += (value << 15);
 
-  return value == 0 ? 1 : value;
+  return value == 0 ? 1 : (uint32_t) value;
 }
 
 static uint32_t internal_generate_md5(const char *key, size_t key_length)