BlogJava-himalayas-随笔分类-database

mysql 5.5.19 主从配置+读写分离

himalayas — Tue, 10 Jan 2012 06:00:00 GMT

master:10.13.120.236

slave:10.13.120.233

步骤一：安装master

下载mysql-5.1.60-linux-x86_64-glibc23.tar.gz 放到/home/a/soft/下

shell>sudo groupadd mysql

shell>sudo useradd -r -g mysql mysql

shell>cd /home/a/soft/

shell>tar zxvf mysql-5.1.60-linux-x86_64-glibc23.tar.gz

shell>cd /usr/local/

shell>sudo ln -s /home/a/soft/mysql-5.1.60-linux-x86_64-glibc23 mysql

shell> cd mysql

shell>sudo chown -R mysql .

shell>sudo chgrp -R mysql .

shell>sudo scripts/mysql_install_db --user=mysql

shell>sudo chown -R root .

shell>sudo chown -R mysql data

# Next command is optional

shell>sudo cp support-files/my-medium.cnf /etc/my.cnf

shell>sudo bin/mysqld_safe --user=mysql &

# Next command is optional

shell>sudo cp support-files/mysql.server /etc/init.d/mysql.server

#配置my.cnf

####################################

binlog-do-db=phpdb

binlog-ignore-db=mysql

log-bin=/usr/local/mysql/log/updatelog

log-slave-updates

slave-skip-errors=all

#####################################

$sudo service mysql.server start

$mysql -uroot -p

改变当前数据库为mysql：

mysql>use mysql

设置从本地主机登录的root帐号密码：

mysql>set password for root@localhost=password('root');

删除匿名帐号：

mysql>delete from user where user='';

删除密码为空的帐号：

mysql>delete from user where password='';

删除允许非localhost主机登录的帐号：

mysql>delete from user where host<>'localhost';

执行下面的命令使更改生效：

mysql>flush privileges;

mysql>update user set host = '%' where user = 'root';

mysql>create database phpdb;

mysql>use phpdb;

mysql>create table person(id int(10) primary key auto_increment,name varchar(100) not null);

#dump主库数据

mysql>flush tables with read lock;

$mysqldump -h127.0.0.1 -p3306 -uroot -p phpdb > /mnt/phpdb.sql

（/mnt目录是我自己做的NFS，就是方便不同机器间使用文件，不用nfs也可以）

mysql> unlock tables;

mysql>use mysql

mysql>GRANT REPLICATION SLAVE ON *.* TO 'slave1_user'@'10.13.120.233' IDENTIFIED BY 'root';

$sudo service mysql.server restart

mysql> show master status;

+------------------+----------+--------------+------------------+

+------------------+----------+--------------+------------------+

+------------------+----------+--------------+------------------+

1 row in set (0.00 sec)

步骤二：安装slave

下载mysql-5.1.60-linux-x86_64-glibc23.tar.gz 放到/home/a/soft/下

shell>sudo groupadd mysql

shell>sudo useradd -r -g mysql mysql

shell>cd /home/a/soft/

shell>tar zxvf mysql-5.1.60-linux-x86_64-glibc23.tar.gz

shell>cd /usr/local/

shell>sudo ln -s /home/a/soft/mysql-5.1.60-linux-x86_64-glibc23 mysql

shell> cd mysql

shell>sudo chown -R mysql .

shell>sudo chgrp -R mysql .

shell>sudo scripts/mysql_install_db --user=mysql

shell>sudo chown -R root .

shell>sudo chown -R mysql data

# Next command is optional

shell>sudo cp support-files/my-medium.cnf /etc/my.cnf

shell>sudo bin/mysqld_safe --user=mysql &

# Next command is optional

shell>sudo cp support-files/mysql.server /etc/init.d/mysql.server

#配置my.cnf

#####################################################

server-id = 2

#master-host = mysql_master

#master-user = slave1_user

#master-password = root

#master-port = 3306

#master-connect-retry=60

replicate-ignore-db=mysql

replicate-do-db=phpdb

log-slave-update

slave-skip-errors=all

#####################################################

$sudo service mysql.server start

$mysql -uroot -p

改变当前数据库为mysql：

mysql>use mysql

设置从本地主机登录的root帐号密码：

mysql>set password for root@localhost=password('root');

删除匿名帐号：

mysql>delete from user where user='';

删除密码为空的帐号：

mysql>delete from user where password='';

删除允许非localhost主机登录的帐号：

mysql>delete from user where host<>'localhost';

执行下面的命令使更改生效：

mysql>flush privileges;

mysql>update user set host = '%' where user = 'root';

mysql>create database phpdb;

mysql>use phpdb;

$mysqldump -h127.0.0.1 -p3306 -uroot -p phpdb < /mnt/phpdb.sql
（mysql>source /mnt/phpdb.sql）

mysql>change master to master_host='10.13.120.236',

mysql>master_user='slave1_user',

mysql>master_password='root',

mysql>master_port=3306,

mysql>master_connect_retry=60,

mysql>MASTER_LOG_FILE='mysql-bin.000006',

mysql>MASTER_LOG_POS=107;

mysql>slave start;

mysql> show slave status\G;

*************************** 1. row ***************************

Slave_IO_State: Waiting for master to send event

Master_Host: 10.13.120.236

Master_User: slave1_user

Master_Port: 3306

Connect_Retry: 60

Master_Log_File: mysql-bin.000006

Read_Master_Log_Pos: 2366

Relay_Log_File: canggu-OptiPlex-760-relay-bin.000002

Relay_Log_Pos: 2512

Relay_Master_Log_File: mysql-bin.000006

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

Replicate_Do_DB: phpdb

Replicate_Ignore_DB: mysql

Replicate_Do_Table:

Replicate_Ignore_Table:

Replicate_Wild_Do_Table:

Replicate_Wild_Ignore_Table:

Last_Errno: 0

Last_Error:

Skip_Counter: 0

Exec_Master_Log_Pos: 2366

Relay_Log_Space: 2682

Until_Condition: None

Until_Log_File:

Until_Log_Pos: 0

Master_SSL_Allowed: No

Master_SSL_CA_File:

Master_SSL_CA_Path:

Master_SSL_Cert:

Master_SSL_Cipher:

Master_SSL_Key:

Seconds_Behind_Master: 0

Master_SSL_Verify_Server_Cert: No

Last_IO_Errno: 0

Last_IO_Error:

Last_SQL_Errno: 0

Last_SQL_Error:

Replicate_Ignore_Server_Ids:

Master_Server_Id: 1

1 row in set (0.00 sec)

ERROR:

No query specified

mysql>slave stop;

mysql>change master to master_host='10.13.120.236',

master_user='slave1_user',
master_password='root',
master_port=3306,
master_connect_retry=60,
MASTER_LOG_FILE='mysql-bin.000006',
MASTER_LOG_POS=107;

配置读写分离

下载mysql-proxy-0.8.2-linux-glibc2.3-x86-32bit.tar.gz
解压并cp到/usr/local/mysql-proxy
在/usr/local/mysql-proxy/bin下创建文件mysql-proxy.cnf添加如下内容：
[mysql-proxy]

daemon=true

admin-address=127.0.0.1:4041

proxy-address=:3306

admin-username=admin

admin-password=admin

admin-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/admin-sql.lua

proxy-read-only-backend-addresses=10.13.120.233:3306

proxy-backend-addresses=10.13.120.236:3306

proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua

log-file=/usr/local/mysql-proxy/logs/log-debug.log

log-level=debug

启动代理：
/usr/local/mysql-proxy/bin/mysql-proxy --daemon --defaults-file=mysql-proxy.cnf

himalayas 2012-01-10 14:00 发表评论

mysql-5.1.60-linux-x86_64-glibc23 安装

himalayas — Sun, 01 Jan 2012 08:02:00 GMT

下载mysql-5.1.60-linux-x86_64-glibc23.tar.gz放到/home/a/soft/下
shell>sudo groupadd mysql 
shell>sudo useradd -r -g mysql mysql 
shell>cd /home/a/soft/ 
shell>tar zxvf mysql-5.1.60-linux-x86_64-glibc23.tar.gz
shell>cd /usr/local/ 
shell>sudo ln -s /home/a/soft/mysql-5.1.60-linux-x86_64-glibc23 mysql 
shell> cd mysql 
shell>sudo chown -R mysql . 
shell>sudo chgrp -R mysql . 
shell>sudo scripts/mysql_install_db --user=mysql 
shell>sudo chown -R root . 
shell>sudo chown -R mysql data 
shell>sudo cp support-files/my-medium.cnf /etc/my.cnf 
#配置/etc/my.cnf
     ......
shell>sudo ./scripts/mysql_install_db --user=mysql
shell>sudo cp support-files/mysql.server /etc/init.d/mysql.server
$sudo service mysql.server start
$mysql -uroot -p
改变当前数据库为mysql：
mysql>use mysql
设置从本地主机登录的root帐号密码：
mysql>set password for root@localhost=password('root');
删除匿名帐号： 
mysql>delete from user where user='';
删除密码为空的帐号：
mysql>delete from user where password='';
删除允许非localhost主机登录的帐号：
mysql>delete from user where host<>'localhost';
执行下面的命令使更改生效：
mysql>flush privileges; 
mysql>update user set host = '%' where user = 'root';

himalayas 2012-01-01 16:02 发表评论

MYSQL字段int/bigint类型查询返回的结果不同（bug）

himalayas — Wed, 30 Nov 2011 01:49:00 GMT

项目组的同学进来在使用mysql的时候发现了一个问题，具体内容如下：
MYSQL 版本： Server version: 5.1.48-log Source distribution

咨询了DBA，我们发现在mysql进行值比较的时候

int：使用decimal类型比较（支持浮点数的比较）

Arg_comparator::compare_decimal

Arg_comparator::compare_decimal (this=0x121cc2b8) at item_cmpfunc.cc:1378

1378 int Arg_comparator::compare_decimal()

bigint：使用int类型比较

Arg_comparator::compare_int_signed

Arg_comparator::compare_int_signed (this=0x121cc2b8) at item_cmpfunc.cc:1457

1457 int Arg_comparator::compare_int_signed()

himalayas 2011-11-30 09:49 发表评论

Oracle分页导致数据总条数不变而出现重复记录的问题的解决办法

himalayas — Tue, 18 Jan 2011 11:04:00 GMT

今天在开发的时候用了oracle的分页，语句如下（ibatis）

SELECT *

FROM (SELECT t1.*,rownum as linenum

FROM (SELECT

A.MEMBERID memberID,

A.LOGNAME logName,

A.STATUS status,

A.UPDATETIME updateTime,

A.OPERATORNAME operatorName

FROM BD_BAOYANG_LIST A

WHERE

A.TYPE='BUY'

]]>

A.STATUS=1

A.STATUS<>1

]]>

A.MEMBERID = #memberID#

A.LOGNAME = #logName#

A.UPDATETIME >= cast(#startTime# as DATE)

]]>

A.UPDATETIME < cast(#endTime# as DATE)+1

]]>

ORDER BY A.UPDATETIME DESC) t1

WHERE ROWNUM <= #endRow#) t2

WHERE linenum >= #startRow#

]]>

在运行后发现查询出来的结果总条数和数据库里的记录数量是一致的，但是出现了数据重复现象，也就是说有些数据被重复的记录替换了。

一开始以为是Java程序逻辑问题，经过认真的排查，排除了程序的问题。

仔细看了一下数据库里的数据，发现UPDATETIME这一列的数据格式是yyyy-MM-dd没有小时-分-秒的。这样该列的数据就出现了重复现象，这时我产生了疑问：难道oracle在对数据进行排序的时候对重复的排序条件是不能保证顺序的不变性？

带着这个问题我查询了oarcle的相关资料。

经过查询资料发现，oracle在对小量数据查询的时候会将数据放到缓存内进行排序，当数据量达到一定程度时会将数据在磁盘排序，而磁盘排序时当遇到排序条件相同的情况下，会根据该条记录的更新时间进行排序（我想可能是ROWID），但是如果放到内存排序的话如果不指定排序条件就不会走更新时间，因此我在上面的程序ORDER BY A.UPDATETIME DESC 修改成ORDER BY A.UPDATETIME DESC，A.ROWID DESC这样就解决了问题，但是这样解决的方式十分的不优雅，第一：这样UPDATETIME上建立的索引就不再起作用，第二：当该表数据量很大的时候，就会导致查询非常耗时，但是业务要求又必须按照UPDATETIME来进行排序，因此建议如果表的数据量很大就应该将该时间字段提供小时/分钟/秒钟

OVER!!!!!!!!!!!!

himalayas 2011-01-18 19:04 发表评论

ORACLE 物理分页

himalayas — Tue, 11 Jan 2011 06:54:00 GMT

himalayas 2011-01-11 14:54 发表评论

ORACLE 分页过程

himalayas — Tue, 11 Jan 2011 06:41:00 GMT

--创建保存查询结果集的 cursor

create or replace package pkg_query as type cur_query is ref cursor; end pkg_query;

--插件存储过程

create or replace procedure Pagers(

v_cur out pkg_query.cur_query,--查询结果

numCount out number,--总记录数

page in number,--数据页数，从1开始

pageSize in number,--每页大小

tableName varchar2,--表名

strWhere varchar2,--where条件

Orderby varchar2

) is

strSql varchar2(2000);--获取数据的sql语句

pageCount number;--该条件下记录页数

startIndex number;--开始记录

endIndex number;--结束记录

begin

strSql:='select count(*) from '||tableName;

if strWhere is not null or strWhere<>'' then

strSql:=strSql||' where '||strWhere;

end if;

EXECUTE IMMEDIATE strSql INTO numCount;

--计算数据记录开始和结束

pageCount:=numCount/pageSize+1;

startIndex:=(page-1)*pageSize+1;

endIndex:=page*pageSize;

strSql:='select rownum ro, t.* from '||tableName||' t';

strSql:=strSql||' where rownum<='||endIndex;

if strWhere is not null or strWhere<>'' then

strSql:=strSql||' and '||strWhere;

end if;

if Orderby is not null or Orderby<>'' then

strSql:=strSql||' order by '||Orderby;

end if;

strSql:='select * from ('||strSql||') where ro >='||startIndex;

DBMS_OUTPUT.put_line(strSql);

OPEN v_cur FOR strSql;

end Pagers;

himalayas 2011-01-11 14:41 发表评论

BlogJava-himalayas-随笔分类-database

mysql 5.5.19 主从配置+读写分离

mysql-5.1.60-linux-x86_64-glibc23 安装

MYSQL字段int/bigint类型查询返回的结果不同（bug）

Oracle分页 导致数据总条数不变 而 出现重复记录的问题的解决办法

ORACLE 物理分页

ORACLE 分页过程

Oracle分页导致数据总条数不变而出现重复记录的问题的解决办法