BlogJava-都市淘沙者-文章分类-Ecache/Memcached/XCache

redis list应用–大型网站缓冲队列服务器【转】

都市淘沙者 — Tue, 05 Jun 2012 08:47:00 GMT

1. 起因，随着twitter sina微博，腾讯微博的开放平台相继推出, 大部分和互联网相关的公司又多了一个营销的手段：信息同步。也即是用户把自己的新浪微博账号或者腾讯微博账号和你的网站关联起来了，用户在你的网站产生的任何信息都可以同步发送到sina微博，qq微博上去（前提是经过用户的允许，这样用户既可以不需要同样的信息复制到多个网站，又可以相应的推广你的网站的入口曝光率）。目前同步比较好的例子是：微博通，街旁，切客等。

2. 为什么要用缓冲队列服务，我们举个例子。如果你做了一个网站，用户在你的网站上关联了sina微博，QQ微博，开心网，人人网，豆瓣，twitter, facebook（可能还要在国外设置代理）等等第三方平台，用户产生了一个动作后（比如发了一条心情状态），你的网站要同时同步到这些网站去，每个第三方平台都要经过多次外网http请求，所有的这些请求加起来是可能是很长的时间(几秒，甚至几十秒)，这对于前段用户肯定肯定是无法忍受的。所以这个时候同步信息的话必须采取异步的方式，也就是用户在你的网站发表一个状态服务端只是把这条状体对应的信息存储起来，然后就提示用户发表成功，具体的信息同步是后端以脚本的方式异步运行的。用户通俗的话来说就是用户先发表后同步，由于校本执行速度很快，用户几乎感觉不出来同步的时间差。你也许会问我怎么知道哪些信息要同步到第三方平台去呢，这也就是使用redis使用缓冲队列服务器的原因，当用户发表信息后，我们同事把信息写入缓冲队列服务器，后台脚本会不停的去检查缓冲队列服务器是否有数据，如果有数据则取出发送到第三方开放平台。

3. 系统扩展性
a). 如果脚本处理过慢，可能造成缓冲队列拥堵，我们可能通过扩展后台脚本个数来加快同步到第三方平台的处理速度。
b). 如果需要同步的信息量过大, 造成写入队列的并发数极大，肯能通过扩展队列服务来达到分散减压的目的(基本不会出现)。

5. 效率如何假设你的网站每天产生100W条信息需要同步到第三方平台。
redis官方测试数据（SET操作每秒钟 110000 次，GET操作每秒钟 81000 次）。
一个脚本每天的同步量, 86400/2 = 43200, (假设平均每同步一条信息花费时间为2s，) 一个脚本每天大概可以同步4W条数据。
平均每秒同步的数据 100W/86400 < 12个高峰时期扩大十倍也就是每秒 120条信息。由此可见每天100W 甚至 1000W的信息同步量对redis来说都是没有任何压力的。
我们只需要加快脚本处理的速度即可， 100W数据只需要同事25个脚本负责同步即可，（数据量增加了，扩展起来非常方面）。

总结，此方式已经应用于国内某LBS社区，每天的PV大概300W，产生的信息同步量每天大概2W左右。当前是2个脚本负责同步相关操作，队列里面基本没有任何拥堵信息。

都市淘沙者 2012-06-05 16:47 发表评论

将MySQL数据映射到Memcached

都市淘沙者 — Mon, 17 Aug 2009 15:32:00 GMT

作者:张立冰
出处:http://www.libing.name/2009/02/06/mysql-map-data-to-memcachedmysql-map-data-to-memcached.html

差不多在一年前，写过一篇文章介绍将MySQL数据映射到Memcached，当时MySQL和Memcached Functions for MySQL都还不够成熟，时过一年，Memcached Functions for MySQL升级到了0.8版本，而MySQL也发布了GA版本，加上很多朋友反应前一篇文章中的实现他们因种种原因没能成功，于是便有了这篇文章，就当是上一篇文章的升级版本吧。

测试环境在Linux下进行，版本系统为CentOS5.
以下为相关软件，包括其版本和下载地址：

mysql-5.1.30 下载
memcached-1.2.6 下载
libevent-1.4.7-stable 下载
memcached_functions_mysql-0.8 下载
libmemcached-0.26 下载

编译安装MySQL,安装因个人细好而定，省略许多与测试无关的编译细节及参数。

[root@localhost ~]#tar xzf mysql-5.1.30.tar_001.gz
[root@localhost ~]#cd mysql-5.1.30
[root@localhost ~]#./configure --prefix=/usr/local/mysql51
[root@localhost ~]#make
[root@localhost ~]#make install
[root@localhost ~]#./scripts/mysql_install_db --user=mysql --skip-name-resolve
[root@localhost ~]#/usr/local/mysql51/bin/mysqld_safe

省略列出安装memcached和libevent的相关命令，具体可按照实际情况安装，测试时我将libevent默认安装，memcached安装于/usr/local/memcached目录下。
启动memcached.

/usr/local/memcached/bin/memcached -d -m 50 -u root -p 11211

编译安装libmemcache.

[root@localhost ~]#tar xzf libmemcached-0.26.tar.gz
[root@localhost ~]#cd libmemcached-0.26
[root@localhost ~]#./configure --with-memcached=/usr/local/memcached/bin/memcached
[root@localhost ~]# make && make install

编译安装Memcache UDFs for MySQL.

[root@localhost ~]# tar xzf memcached_functions_mysql-0.8.tar.gz
[root@localhost ~]# cd memcached_functions_mysql-0.8
[root@localhost ~]# ./configure --with-mysql-config=/usr/local/mysql51/bin/mysql_config
[root@localhost ~]# make && make install

编译完成后将编译好的库文件复制到mysql的插件目录下，以便于加载使用。

cp /usr/local/lib/libmemcached_functions_mysql* /usr/local/mysql51/lib/mysql/plugin/

进入memcached_functions_mysql的源码目录，在目录下有相关添加UDF的SQL文件用于初始化。

[root@localhost ~]# mysql

注：如果对这些UDFs不熟悉或者不懂，可进行源码目录参看README，里边有相应的说明。

至此，相关软件的编译和安装完成，进行测试，我们要达到的目的是当MySQL有新记录插入时，同时插入到Memcached中，当记录更新时同步更新Memcached中的记录，删除时同时也删除Memcached相关的记录，为此创建三个触发器来实现，如果对MySQL的触发程序不熟悉可以参考MySQL手册第21章，下面SQL中的memcached为需要操作的表名，SQL如下：

#插入数据时插入Memcached
create trigger mysqlmmci after insert on memcached for each row set @tmp = memc_set(NEW.key, NEW.value);
#更新记录时更新Memcached
create trigger mysqlmmcu after update on memcached for each row set @tmp = memc_set(NEW.key, NEW.value);
#删除记录时删除Memcached相应的记录
create trigger mysqlmmcd before delete on memcached for each row set @tmp = memc_delete(OLD.key);

以下为测试记录，在对MySQL操作的同时操作Memcached来查看情况，当然你也可以在启动Memcached的时候带-vv参数来查看相关信息.

MySQL操作相关的记录：

[root@localhost ~]#mysql -S /tmp/mysql51.sock 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.1.30 Source distribution
 
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
 
mysql> use test;
Database changed
 
mysql> create table `memcached` (`key` varchar(10), `value` varchar(100));
Query OK, 0 rows affected (0.00 sec)
 
mysql> create trigger mysqlmmci after insert on memcached for each row set @tmp = memc_set(NEW.key, NEW.value);
Query OK, 0 rows affected (0.00 sec)
 
mysql> create trigger mysqlmmcu after update on memcached for each row set @tmp = memc_set(NEW.key, NEW.value);
Query OK, 0 rows affected (0.00 sec)
 
mysql> create trigger mysqlmmcd before delete on memcached for each row set @tmp = memc_delete(OLD.key);
Query OK, 0 rows affected (0.00 sec)
 
mysql> insert into memcached values("keyi", "valuei"),("keyu","valueu"),("keyd", "valued");
Query OK, 3 rows affected (0.00 sec)
Records: 3  Duplicates: 0  Warnings: 0
 
mysql> update memcached set `value`="update" where `key`="keyu";
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0
 
mysql> delete from memcached where `key`="keyd";
Query OK, 1 row affected (0.00 sec)
 
mysql> quit
Bye

Memcache查看时的记录：

[root@localhost ~]#telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get keyi
VALUE keyi 0 6
valuei
END
get keyu
VALUE keyu 0 6
valueu
END
get keyd
VALUE keyd 0 6
valued
END
get keyu
VALUE keyu 0 6
update
END
get keyd
END
quit
Connection closed by foreign host.

至此，我们基本实现的将MySQL的数据同步到Memcached中，性能暂时还没有测试，当然上面只是简单的实现的数据映射的功能，如果在实现的生产环境中，则需要考虑名字空间，高可靠性的问题，这些都是可以通过数据库名-表名-关键字的方面能达到KEY唯一的目的，而高可靠性则是一个比较大的问题。

都市淘沙者 2009-08-17 23:32 发表评论

memcached 1.2 内存模型图(zhuan)

都市淘沙者 — Wed, 09 Apr 2008 04:47:00 GMT

参考了以下资源和 memcached-1.2.5的源代码，画了一个memcached模型图，作为下面资源的补充。
slab内存模型的优点(减少碎片，速度快)和缺点(有空间浪费)下面的链接里面都有讲，Tim也没有什么新观点，就不重复了。

参考资源：
Current memcached memory management:
http://lists.danga.com/pipermail/memcached/2003-September/000214.html

LRU淘汰算法只是在每个SLAB内部使用，下面文章说将来版本考虑使用一个全局LRU淘汰算法。
New proposal:
http://lists.danga.com/pipermail/memcached/2003-October/000302.html

还有一篇网上流传比较多的中文的文章，写得很详细，包括hash算法都有介绍。Memcached深度分析

3/8补充：
看到另外一个白板图memcache使用小结,具体内容和我的基本类似。

都市淘沙者 2008-04-09 12:47 发表评论