Category: 数据库研究

分布式系统设计之DB类

By 深空, 2009年08月08日 00:40

这可能是个庞大的话题,没有亲自作过相关系统。
可能有几层分布:
1、WEB分布,这个只需LVS支持即可,状态保持不保持无所谓,可以通过PHPSESSID来保持这个会话。因而接入服务器仅作为接入之用,存储转到后端,这里要保持接入机无用户文件还是比较难的,有时候保存一些可能会使系统更简单一些。
2、CACHE分布,接入机统一处理会话,根据规则命中某台特定CACHE机,当然,这里的CACHE机器不仅限于如MEMCACHED、XCACHE等,简单的方法可以直接使用DB代替,如MEMORY表,这样后端数据和CACHE的同步规则就需要自己定制,效率也可能没有自动完成CACHE<->DB双向更新的效率高。
3、DB分布,这里认为CACHE和DB也可用应用程序来控制访问,而不一定需要CACHE本身来完成,至于效率降低多少不清楚,个人觉得可以在后台设置一些定时调度脚本来更新CACHE,和将CACHE中的数据转存到后端DB。当然DB和CACHE的数量不一定是一一对应,如果CACHE多,那么DB存储可能会相应减少,这里需要测试一个平衡。
我在DB里设计了一个简单的路由器,如下:

    public static function &init(& $dsn, $dbKey, $fetchMode = self::DB_FETCH_ASSOC) {
        if (isset(self::$db[$dbKey])) {
            return self::$db;
        }
        $route = Route::init();
        $dbInfo = $route->getDbRoute($dsn, $dbKey);
        //这里要检测DB相同DBINFO的实例是否存在,如果存在则直接返回引用
        if (is_array(self::$db)) {
            foreach (self::$db as $key => $value) {
                if (self::$db[$key]->dsn == $dbInfo) {
                    self::$db[$dbKey] = self::$db[$key];
                    return self::$db;
                }
            }
        }
        $className = 'DB_' . self::$dbType[strtolower($dbInfo['dbType'])];
        self::$db[$dbKey] = new $className($dbInfo, $dbKey, $fetchMode);
        return self::$db;
    }

根据规则获取需要的DSN,然后返回一个DB,貌似这个路由很简单,很雷人:

    public function getDbRoute(& $dsn, $dbKey) {
        global $_configs;
        if ($_configs['route']['db'][$dbKey]) {
            if ($_configs['route']['db'][$dbKey]['routeRule'] == 'rand') {
                return $dsn[$dbKey][array_rand($dsn[$dbKey])];
            }
        } else {
            return $dsn[$dbKey];
        }
    }

当然路由规则是可以写进配置文件的,这里我默认写了个随机进行测试,发现可行,HOHO。一个规则可行,那么取模等规则当然也可行。
改进后的DB类会更为简练,当然最大的特性是支持分布- -!!

VN:F [1.9.3_1094]
Rating: 10.0/10 (3 votes cast)
VN:F [1.9.3_1094]
Rating: +1 (from 1 vote)

使用PHP调用MySQL的存储过程

By 深空, 2007年11月03日 11:59

  MySQL好像从5.0开始才引入存储过程,反正以前做应用的时候从没碰过,不过现在因为主要作内部系统,所以很多应用都用到了存储过程,当然前台有时候也需要调用MySQL存储过程,PHP的MySQL Lib好像支持的不是很好,不过我搜索了些资料,虽然不多,但是还是尝试的使用了,现在介绍一下方法,以便用到的朋友不用再头疼。
  lMySQL扩展也是支持存储过程的,不过只支持无返回结果的存储过程,如果该存储过程存在输出,这个调用就会抛出一个错误,具体错误忘记了。调用方式很简单:

$rs = mysql_query("call func('str')", $conn);

  这个如果有返回结果,比如返回字符串,就会报错,我现在找到的解决方法是使用MySQLi扩展:

$rs = mysqli_query("call func('str')", $conn);

  这样$rs就作为一个普通的MySQL Result来使用了,非常方便。
  在调用存储过程的时候,可能还会碰到一个问题,那就是可能会顺序调用多个存储过程,这样同样会报错,解决方法就是在调用一个存储过程并处理完成后,手动关闭MySQL链接,然后再次connect,再调用另一个存储过程再处理,需要调用多少个存储过程,就重新连接多少次。
  因为我不是很了解MySQL扩展,以上纯属经验总结,如果有哪位高手知道来龙去脉,欢迎指点。

VN:F [1.9.3_1094]
Rating: 9.2/10 (5 votes cast)
VN:F [1.9.3_1094]
Rating: +3 (from 3 votes)

多数据库支持的应用程序设计

By 深空, 2007年10月07日 09:32

  以前做PHP应用,多数是单数据库数据查询和更新,顶多也是主从数据库的支持,实现起来相对简单。主从数据库的问题在于,当会话存储在数据库的时候,同步将可能出现问题,也就是说有可能出现会话的中断。所以我想在主从数据库设计上,应该将所有会话相关表进行特殊对待。即:所有的会话数据表都可以更新和查询,当一个用户访问站点的时候,即将此用户绑定到指定数据库,所有会话访问和查询操作都对此数据库进行。会话表不做同步,其他非会话类更新也从主数据库更新。这样做其实也逃脱不了会话更新时候的数据库切换,所以如果不想麻烦,还是将会话存放在文本中进行的好。
  分数据库设计,将可能从压力性能上会提升几个档次,当然单次执行效率不会比单数据库来的高的,毕竟存在着数据库切换的效率问题。分库以及主从数据库搭配是可以比较好改善数据库并发瓶颈的方案。原则:大数据量,分库;大访问量,主从。很多时候,都是这两者并行(本文不讨论cache)。
  我想,如果要实现分库以及主从关系,那么数据库服务器数量将是非常可观,在应用程序中随时切换到某一台服务器,将是非常头痛的问题,配置更换,变量名称,是不是会有一大堆呢?如何寻找更好的解决方案将是本文谈论的话题。
  首先是分库使得数据库颇多的问题。什么情况下分库?或许有些人还搞不明白为什么要分库,我就简要说一下自己的经验猜测。比如一个博客程序,一般设计是将日志存放在一张日志表中。假设是一个多用户博客,那么将会关联一个uid,如果数据量不大,这样设计是没有问题的,但是当日志量巨大,一天有几十万条日志记录录入的时候,而且访问量也比较可观的时候,我想不可能每个用户来访问日志列表,都去从这包含几千万条日志记录的数据表中去找那么几条,效率可见一斑。这个时候就该考虑到分库的问题。如何分?有一个很简单的分表方法,即,根据uid段,将日志记录在各个数据库中,当然,这个分布还是需要根据以往统计结果做出调整的,因为用户日志分布肯定不是均匀的。设置好uid段,然后根据uid索引到指定数据库配置,创建一个数据库对象即可。配置信息可能如下:

$configs['db_info']['blog'][0] = array(
    'db_host' => '192.168.0.1',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['blog'][1] = array(
    'db_host' => '192.168.0.2',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['blog'][2] = array(
    'db_host' => '192.168.0.2',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
//...还有很多

  至于选择哪一台服务器,只需要根据uid做一个简单的匹配就可以了。
  再谈到的就是主从数据库了。什么情况下使用主从数据库?比如某个名人博客,访问量相当的大,已经没有办法把他的数据再进行拆分了,这个时候就得考虑主从数据库服务器了,使用多台数据库来分流。这样要适用主从和分库,可能上面配置信息得稍微改动一下。

$configs['db_info']['blog'][0]['master'] = array(
    'db_host' => '192.168.0.1',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['blog'][0]['slave'][0] = array(
    'db_host' => '192.168.0.2',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['blog'][0]['slave'][1] = array(
    'db_host' => '192.168.0.3',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['blog'][1]['master'] = array(
    'db_host' => '192.168.0.4',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['blog'][1]['slave'][0] = array(
    'db_host' => '192.168.0.5',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['blog'][1]['slave'][1] = array(
    'db_host' => '192.168.0.6',
    'db_name' => 'blog',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['session'][0]['master'] = array(
    'db_host' => '192.168.0.7',
    'db_name' => 'session',
    'db_user' => 'root',
    'db_pass' => '',
);
$configs['db_info']['session'][1]['master'] = array(
    'db_host' => '192.168.0.8',
    'db_name' => 'session',
    'db_user' => 'root',
    'db_pass' => '',
);

  写到这里,我想都应该知道如何分表和分配你的数据库了吧,接下去我就来说一下如何轻松的读取这样的配置信息,如何将这些配置融入你的数据库驱动中。首先以单例摸式创建DB类:

<?php
if (!defined("DB_FETCH_ASSOC")) {
    define("DB_FETCH_ASSOC", 1);
}

if (!defined("DB_FETCH_ROW")) {
    define("DB_FETCH_ROW", 2);
}

if (!defined("DB_FETCH_ARRAY")) {
    define("DB_FETCH_ARRAY", 3);
}

if (!defined("DB_FETCH_DEFAULT")) {
    define("DB_FETCH_DEFAULT", DB_FETCH_ASSOC);
}
class DB {
    function DB($dsn, $db_key, $p_conn, $fetch_mode) {
        $this->dsn        = $dsn;
        $this->db_key     = $db_key;
        $this->sql        = '';
        $this->sqls       = array();
        $this->u_sqls     = array();
        $this->q_sqls     = array();
        $this->u_conn     = null;
        $this->q_conn     = null;
        $this->p_conn     = $p_conn;
        $this->fecth_mode = $fetch_mode;
        $this->query_num  = 0;
        $this->update_num = 0;
    }

    function &init(& $dsn, $db_key, $p_conn = false, $fetch_mode = DB_FETCH_DEFAULT) {
        static $db;
        $db_key = explode('.', $db_key);
        $db_key = "['" . implode("']['" , $db_key) . "']";
        eval('$flag = isset($db' . $db_key . ');');
        eval("\$db_info = \$dsn['db_info']" . $db_key . ";");
        if (!$flag) {
            $obj = new DB($db_info, $db_key, $p_conn, $fetch_mode);
            eval('$db' . $db_key . ' = $obj;');
            unset($obj);
        }
        return $db;
    }
}
$db = &DB::init($configs, 'blog.0');
print_r($db);
?>

  从上面打印结果可以看出,blog数据库集群的第一组数据库服务器被载入到$this->dsn中了。这个下面就是简单的数据COPY的主从服务器,所以可以使用随机数来指定到某一台服务器。以下是一个简单的随机数实现:

class DB {
    //....

    function connectDB($type = "master") {
        if ($type == "master") {
            $db_host = $this->dsn["master"]["db_host"];
            $db_name = $this->dsn["master"]["db_name"];
            $db_user = $this->dsn["master"]["db_user"];
            $db_pass = $this->dsn["master"]["db_pass"];
            $this->u_conn = mysqli_connect($db_host, $db_user, $db_pass);
            $this->selectDB($db_name, $this->conn);
            if (!$this->u_conn) {
                $message = "Update DataBase Connect False : ($db_host, $db_user, ******) !";
                $this->error($message, 0);
            }
        } else {
            if (empty($_COOKIE[$_configs['cookie_prefix'] . 'db_no'])) {
                $db_no = array_rand($this->dsn["db_info"]["slave"]);
            } else {
                $db_no = $_COOKIE[$_configs['cookie_prefix'] . 'db_no'];
            }
            $db_info = $this->dsn["slave"][$db_no];
            $db_host = $db_info["db_host"];
            $db_name = $db_info["db_name"];
            $db_user = $db_info["db_user"];
            $db_pass = $db_info["db_pass"];
            $this->q_conn = mysqli_connect($db_host, $db_user, $db_pass);

            if (!$this->q_conn) {
                if (!$this->u_conn) {
                    $this->connectDB();
                }
                $this->q_conn = $this->u_conn;
                if (!$this->q_conn) {
                    $message = "Query DataBase Connect False : ($db_host, $db_user, ******) !";
                    $this->error($message, 0);
                }
            } else {
                $this->selectDB($db_name, $this->q_conn);
            }
        }
    }

    function selectDB($db_name, $conn) {
        if ($db_name != null) {
            if(! mysqli_select_db($conn, $db_name)) {
                $code = mysqli_errno($conn);
                $message = mysqli_error($conn);
                $this->error($message, $code);
            }
            return true;
        }
        return false;
    }

    function query($sql, $limit = 1, $quick = false) {
        if ($limit != null) {
            $sql = $sql . " LIMIT " . $limit;
        }
        $this->sqls[] = $sql;
        $this->q_sqls[] = $sql;
        $this->sql = $sql;

        if (empty($this->q_conn)) {
            $this->connectDB("slave");
        }
        $this->qrs = mysqli_query($this->q_conn, $sql, $quick ? MYSQLI_USE_RESULT : MYSQLI_STORE_RESULT);
        if (!$this->qrs) {
            $code = mysqli_errno($this->q_conn);
            $message = mysqli_error($this->q_conn);
            $this->error($message, $code);
        }
        $this->query_num++;
        return $this->qrs;
    }

    function update($sql) {
        $this->sql = $sql;
        $this->sqls[] = $this->sql;
        $this->u_sqls[] = $this->sql;
        if ($this->u_conn == null) {
            $this->connectDB("master");
        }

        $this->urs = mysqli_query($this->u_conn, $sql, MYSQLI_USE_RESULT);
        $this->update_num++;

        if (!$this->urs) {
            return false;
        } else {
            return true;
        }
    }
}

  至此,基本框架已经出来了,来看看调用方法:

<?php
// 连接到第一组会话服务器
$db = &DB::init($configs, 'session.0');
//  执行一次查询
$db['session'][0]->query('SELECT ...');

//  再次连接BLOG服务器
$db = &DB::init($configs, 'blog.1');
//  执行一次更新
$db['blog'][1]->update('UPDATE ...');

//  再次调用会话更新
$db['session'][0]->update('INSERT ...');
?>
VN:F [1.9.3_1094]
Rating: 7.8/10 (4 votes cast)
VN:F [1.9.3_1094]
Rating: +4 (from 4 votes)

京ICP备05002071号 ©2003-2010 深空