BlogJava-陈于喆的技术博客-随笔分类-mysql

安装配置整理之 mysql

陈于喆 — Tue, 30 Nov 2010 07:21:00 GMT

mysql的官方网站是 http://www.mysql.com

tar zxvf mysql-5.1.50.tar.gz

cd mysql-5.1.50

./configure --prefix=/usr/local/mysql --with-charset=gbk --with-extra-charset=all --enable-hread-safe-client
--enable-local-infile --with-low-memory

make && make install

chmod +w /usr/local/mysql

chown -R mysql:mysql /usr/local/mysql

cp support-files/my-medium.cnf /etc/my.cnf

/usr/local/mysql/bin/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --user=mysql

/bin/sh /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf

陈于喆 2010-11-30 15:21 发表评论

MySQL定期分析检查与优化表

陈于喆 — Sun, 10 Oct 2010 06:55:00 GMT

听DBA的人说，相比oracle，MySQL就是一个玩具级别的数据库，在网易门户中，DBA基本很少去管理到MySQL的东西，所以我们产品使用到的MySQL的一些配置和优化还是需要我们开发人员自己动手，下面就简单介绍一下实用的定期优化方法

定期分析表

ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name]

本语句用于分析和存储表的关键字分布。在分析期间，使用一个读取锁定对表进行锁定。这对于MyISAM, BDB和InnoDB表有作用。对于MyISAM表，本语句与使用myisamchk -a相当。

MySQL使用已存储的关键字分布来决定，当您对除常数以外的对象执行联合时，表按什么顺序进行联合。

定期检查表

CHECK TABLE tbl_name [, tbl_name] [option]

option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}

检查一个或多个表是否有错误。CHECK TABLE对MyISAM和InnoDB表有作用。对于MyISAM表，关键字统计数据被更新。

CHECK TABLE也可以检查视图是否有错误，比如在视图定义中被引用的表已不存在。
我们为上面的表a创建一个视图

mysql> create view a_view as select * from a;
Query OK, 0 rows affected (0.02 sec)

然后CHECK一下该视图，发现没有问题

现在删掉视图依赖的表

mysql> drop table a;
Query OK, 0 rows affected (0.01 sec)

再CHECK一下刚才的视图，发现报错了

mysql> check table a_view\G;
*************************** 1. row ***************************
   Table: test.a_view
      Op: check
Msg_type: Error
Msg_text: Table 'test.a' doesn't exist
*************************** 2. row ***************************
   Table: test.a_view
      Op: check
Msg_type: Error
Msg_text: View 'test.a_view' references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them
*************************** 3. row ***************************
   Table: test.a_view
      Op: check
Msg_type: error
Msg_text: Corrupt
3 rows in set (0.00 sec)

ERROR:
No query specified

定期优化表

OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name]

如果您已经删除了表的一大部分，或者如果您已经对含有可变长度行的表（含有VARCHAR, BLOB或TEXT列的表）进行了很多更改，则应使用OPTIMIZE TABLE。被删除的记录被保持在链接清单中，后续的INSERT操作会重新使用旧的记录位置。您可以使用OPTIMIZE TABLE来重新利用未使用的空间，并整理数据文件的碎片。
在多数的设置中，您根本不需要运行OPTIMIZE TABLE。即使您对可变长度的行进行了大量的更新，您也不需要经常运行，每周一次或每月一次即可，只对特定的表运行。
OPTIMIZE TABLE只对MyISAM, BDB和InnoDB表起作用。
对于MyISAM表，OPTIMIZE TABLE按如下方式操作：
如果表已经删除或分解了行，则修复表。
如果未对索引页进行分类，则进行分类。
如果表的统计数据没有更新（并且通过对索引进行分类不能实现修复），则进行更新。

****
以上某些的段落是直接摘自MySQL的中文手册，详细可以直接查看MySQL的帮助手册，这里只是简单指出几种定期优化的方式，需要注意的是无论是ANALYZE，CHECK还是OPTIMIZE在执行期间将对表进行锁定，因此请注意这些操作要在数据库不繁忙的时候执行

****
参考
《MySQL 5.1参考手册》

----------------------------------------

by 陈于喆
QQ:34174409
Mail: chenyz@corp.netease.com

陈于喆 2010-10-10 14:55 发表评论

对MyIsam存储引擎表损坏的处理

陈于喆 — Sun, 10 Oct 2010 06:11:00 GMT

如果你的MyIsam表存在大量高并发的读写，那么就可能出现坏表的现象，这是因为MyIsam存储引擎所决定的，一张损坏的表的症状可能是以前某些错误

*.frm 被锁定不能更改
找不到*.MYI
文件意外结束
记录文件损坏

处理1
使用MySQL自带的myisamchk的工具进行修复，myisamchk不仅可以检查和修复MyIsam表，还可以进行优化和分析表，实际上，它集成了mysql中的check,repair,analyze,optimize的功能，下面是用myisamchk进行修复

myisamchk -r tablename

其中-r参数的含义是recover，在以往的应用，这语句几乎可以解决上面所述碰到的问题，如果还不行，可以使用

myisamchk -o tablename

其中-o参数的含义是--safe-recover，可以进行更安全的修复

处理2
使用MySql的CHECK TABLE和REPAIR TABLE命令来进行修复，CHECK TABLE检查表是否损坏，REPAIR TABLE用来对表坏进行修复

CHECK TABLE tablename [option]

REPAIR [option] tablename

具体的参数可以参看MySQL的帮助文档

一般来说第一种方法可以解决大多数的问题，如果采用这两种方法依然无法解决可以与我联系，QQ是34174409

----------------------------------------

by 陈于喆
QQ:34174409
Mail: chenyz@corp.netease.com

陈于喆 2010-10-10 14:11 发表评论

浅析MySql二进制日志的应用

陈于喆 — Sat, 04 Sep 2010 10:55:00 GMT

mysql有4种不同的日志，分别是二进制日志，查询日志，慢查询日志和错误日志，这些日记记录着数据库工作的方方面面，可以帮助我们了解数据库的不同方面的踪迹，下面先介绍二进制日志的作用和使用方法，并利用二进制日志对数据库进行各种维护和优化,其他日志也会在后面陆续会做详细的介绍。

二进制日志（bin-log日志）
在上一篇介绍mysql主从配置的blog中，已经提过bin-log日志的作用和使用，bin-log日志记录了所有的DDL和DML的语句，但不包括查询的语句，语句以事件的方式保存，描述了数据的更改过程，此日志对发生灾难时数据恢复起到了极为重要的作用。

开启
mysql默认是没有开发bin-log日志，首先我们需要开启bin-log日志，在my.cnf中修改

指定了bin-log日志的路径，开启日志后需要myssqladmin flush log才生效,重启后我们发现在刚才设定的路径新增了log文件，这就是我们需要的二进制日志

由于日志是以二进制方式存储的，不能直接读取，需要使用mysql自带的mysqlbinlog工具来进行查看
语法如下：

#mysqlbinlog mysql-bin.000002

现在我们尝试向test1表插入数据

然后使用mysqlbinlog工具进行日志查看

#mysqlbinlog mysql-bin.000002 -d test

清理

如果每天都会生成大量的二进制日志，这些日志长时间不清理的话，将会对磁盘空间带来很大的浪费，所以定期清理日志是DBA维护mysql的一个重要工作

1)RESET MASTER
在上面查看日志存放的文件夹中，二进制日志命名的格式是以mysql-bin.*，*代表日志的序号,序号是递增的,其中还有mysql-bin.index是日志的索引文件,记录了日志的最大序号
我们执行RESET MASTER命名删除全部日志

查看删除后的日志

可以看到,以前的日志全部被清空,新的日志从00001开始

2)PURGE MASTER LOGS TO & PURGE MASTER LOGS BEFORE
执行PURGE MASTER LOGS TO 'mysql-bin.******'命令，是将'******'编号之前的所有日志进行删除
执行PURGE MASTER LOGS BEFORE 'yyyy-mm-dd hh:mm:ss'命令，是将在'yyyy-mm-dd hh:mm:ss'时间之前的所有日志进行删除

3)-EXPIRE_LOGS_DAYS
此参数是设置日志的过期天数，过期的日志将会被自动删除，这有利于减少我们管理日志的工作量，需要修改my.cnf

这里我们设定保存日志为3天，3天之后过期的日志将被自动删除

恢复

bin-log是记录着mysql所有事件的操作，当mysql发生灾难性错误时，可以通过bin-log做完整恢复，基于时间点的恢复，和基于位置的恢复

完整恢复，假定我们每天凌晨2点都会使用mysqldump备份数据库，但在第二天早上9点由于数据库出现了故障，数据无法访问，需要恢复数据，先使用昨天凌晨备份的文件进行恢复到凌晨2点的状态，在使用mysqlbinlog恢复自mysqldump备份以来的binlog
mysql localhost mysql-bin.000001 | mysql -uroot -p
这样数据库就可以完全的恢复到崩溃前的完全状态

基于时间点的恢复，由于误操作，比如说删除了一张表，这时使用上面讲的完全恢复是没有用的，因为日志里面还存在误操作的语句，，我们需要的是恢复到误操作前的状态，然后跳过误操作的语句，再恢复后面操作的语句，假定我们删除了一张表的误操作发生在10:00这个时间点，我们可以使用下面的语句用备份和binlog将数据恢复到故障前

mysqlbinlog --stop-date='2010-09-04 9:59:59' /var/log/mysql-bin.000001 | mysql -uroot -p

然后跳过误操作的时间点，继续执行后面的binlog

mysqlbinlog --start-date='2010-09-04 10:01:00' /var/log/mysql-bin.000001 | mysql -uroot -p

其中--stop-date='2010-09-04 9:59:59' 和 --start-date='2010-09-04 10:01:00' 其中的时间是你误操作的时间点，当然了，这个时间点你需要你自己计算的，而且这个时间点还可以涉及到的不只是误操作，还可以有正确的操作也被跳过去了。

基于位置恢复，由于上面提到的，使用基于时间点的恢复可能出现，在一个时间点里面可能存在误操作和其他正确的操作，所以我们需要一种更为精确的恢复方式
使用mysqlbinlog查看二进制，可看到

其中drop tables test1这个误操作的end_log_pos为8879917，几下这个id,得出它前后操作的id分别为8879916,8879918
我们将进行位置恢复操作

mysqlbinlog --stop-position='8879916' /var/log/mysql-bin.000001 | mysql -uroot -p

mysqlbinlog --start-position='8879918' /var/log/mysql-bin.000001 | mysql -uroot -p

第一行是恢复到停止位置位置的所以事务，第二性是恢复从给定的起始位置知道二进制日志结束所有事物。

主从复制
mysql的复制是指将主数据库的DDL和DML操作通过二进制日志传到从服务器上，然后在从服务器上对这些日志做重新执行的操作，从而使得从服务器和主服务器保持数据的同步，通过二进制日志进行主从复制的可以看前一篇《MySQL 主从复制配置》

----------------------------------------

by 陈于喆
Mail: chenyz@corp.netease.com

陈于喆 2010-09-04 18:55 发表评论

MySQL主从复制的一些错误处理和日常维护

陈于喆 — Mon, 23 Aug 2010 13:35:00 GMT

检查从服务器一般使用show slave status命令来检查

mysql> SHOW SLAVE STATUS\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.0.100
Master_User: root
Master_Port: 3306
Connect_Retry: 3
Master_Log_File: mysql-bin.003
Read_Master_Log_Pos: 79
Relay_Log_File: mysql -relay-bin. 003
Relay_Log_Pos: 548
Relay_Master_Log_File: mysql -bin. 003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Last_Errno: 0
…..

在上面这些信息中我们主要关注的是Slave_IO_Running和Slave_SQL_Running
Slave_IO_Running:从服务器正从主服务器上读取BINLOG日志,并写入从服务器的中继日志
Slave_SQL_Running:进程正在读取从服务器的BINLOG中继日志，并转化为SQL执行
以前有一个进程是no状态，表示复制的进程停止，在Last_Errno会看到是什么情况

有时候因为主服务器的更新过于频繁,造成了从服务器更新速度较慢,当然问题是多种多样,有可能是网络搭建的结构不好或者硬件的性能较差,从而使得主从服务器之间的差距越来越大,最终对某些应用产生了影响,在这种情况下,我们需要定期进行主从服务器的数据同步,具体步骤如下
在主服务器上

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.03 sec)
mysql> show master status\G;
*************************** 1. row ***************************
File: mysql-bin.000004
Position: 102
Binlog_Do_DB:
Binlog_Ignore_DB:
1 row in set (0.00 sec)

记录出日志的名字和偏移量,这些是从服务器复制的目的目标

在从服务器上,使用MASTER_POS_WAIT()函数得到复制坐标值

mysql> select master_pos_wait('mysql-bin.000004','102');
+-------------------------------------------+
| master_pos_wait('mysql-bin.000004','102') |
+-------------------------------------------+
| 0 |
+-------------------------------------------+
1 row in set (0.00 sec)

这个select 语句会阻塞直到从服务器达到指定日志文件和偏移量后,返回0,如果是-1,则表示超时推出,查询是0时,表示从服务器与主服务器已经同步

在某些情况下,会出现从服务器更新失败,首先需要确定是否从服务器的表与主服务器的不同造成的,如果是表结构造成的,则需要修改从服务器的表和主服务器一致,然后重新运行start slave
如果不是表结构不同造成的更新失败，则需要确认手动更新是否安全，然后忽视来自主服务器的更新失败语句，跳过来来自主服务器的语句，命令为SET GLOBAL SQL_SLAVE_SKIP_COUNTER=n,其中,n=1表示来自主服务器的更新语句不使用AUTO_INCREMENT或LAST_INSERT_ID(),n=2时则反之,原因是使用AUTO_INCREMENT或LAST_INSERT_ID的语句需要从二进制日志中取得两个事件.
----------------------------------------

by 陈于喆
Mail: chenyz@corp.netease.com

陈于喆 2010-08-23 21:35 发表评论

mysql4.0迁移到5.0的passowd()函数问题

陈于喆 — Mon, 23 Aug 2010 02:41:00 GMT

前天迁移了一个老系统,用的mysql是4.0要迁移到5.0的环境下,发现了一个问题,在password()函数上发生错误,查一查原来password()函数在mysql5.0已经发生了变换
在mysql4.0下

mysql> select password('abc');
+------------------+
| password('abc') |
+------------------+
| 7cd2b5942be28759 |
+------------------+

而在mysql5.0下

select password('abc');
+-------------------------------------------+
| password('abc')                           |
+-------------------------------------------+
| *0D3CED9BEC10A777AEC23CCC353A8C08A633045E |
+-------------------------------------------+

经查资料,在mysql5.0下使用old_passord()函数就可以得到与4.0一样的效果

select old_password('abc');
+---------------------+
| old_password('abc') |
+---------------------+
| 7cd2b5942be28759    |
+---------------------+

但只要需要改动到程序,再进行查资料

两个函数都可以用password() 函数调用，
控制开关由/etc/mysql/my.cnf中的old_passwords变量设定：
设置为“0” ,调用新的password函数，
设置为”1″，就调用旧的password函数。

问题最终解决,不用修改程序

----------------------------------------

陈于喆
Mail: chenyz@corp.netease.com

陈于喆 2010-08-23 10:41 发表评论

MySQL主从复制几个重要的启动选项

陈于喆 — Sun, 22 Aug 2010 15:30:00 GMT

在上一篇MySQL主从复制配置已经介绍过几个启动时的复制参数,下面再介绍几个常用的启动选项,

(1) log-slave-updates

log-slave-updates这个参数用来配置从服务器的更新是否写入二进制日志，这个选项默认是不打开的，但是，如果这个从服务器B是服务器A的从服务器，同时还作为服务器C的主服务器，那么就需要开发这个选项，这样它的从服务器C才能获得它的二进制日志进行同步操作

(2) master-connect-retry

master-connect-retry这个参数是用来设置在和主服务器连接丢失的时候，重试的时间间隔，默认是60秒

(3) read-only

read-only是用来限制普通用户对从数据库的更新操作，以确保从数据库的安全性，不过如果是超级用户依然可以对从数据库进行更新操作

(4) slave-skip-errors

在复制过程中，由于各种的原因，从服务器可能会遇到执行BINLOG中的SQL出错的情况，在默认情况下，服务器会停止复制进程，不再进行同步，等到用户自行来处理。

Slave-skip-errors的作用就是用来定义复制过程中从服务器可以自动跳过的错误号，当复制过程中遇到定义的错误号，就可以自动跳过，直接执行后面的SQL语句。

--slave-skip-errors=[err1,err2,…….|ALL]

但必须注意的是，启动这个参数，如果处理不当，很可能造成主从数据库的数据不同步，在应用中需要根据实际情况，如果对数据完整性要求不是很严格，那么这个选项确实可以减轻维护的成本

陈于喆 2010-08-22 23:30 发表评论

MySQL主从复制配置

陈于喆 — Sun, 22 Aug 2010 15:28:00 GMT

Mysql的主从复制至少是需要两个Mysql的服务，当然Mysql的服务是可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。

(1)首先确保主从服务器上的Mysql版本相同

(2)在主服务器上,设置一个从数据库的账户,使用REPLICATION SLAVE赋予权限,如:

mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave001'@'192.168.0.99' IDENTIFIED BY

'123456';

Query OK, 0 rows affected (0.13 sec)

(3)修改主数据库的配置文件my.cnf,开启BINLOG，并设置server-id的值，修改之后必须重启Mysql服务

[mysqld]

log-bin = /home/mysql/log/mysql-bin.log

server-id=1

(4)之后可以得到主服务器当前二进制日志名和偏移量，这个操作的目的是为了在从数据库启动后，从这个点开始进行数据的恢复

mysql> show master status\G;

*************************** 1. row ***************************

File: mysql-bin.000003

Position: 243

Binlog_Do_DB:

Binlog_Ignore_DB:

1 row in set (0.00 sec)

(5)好了，现在可以停止主数据的的更新操作，并生成主数据库的备份，我们可以通过mysqldump到处数据到从数据库，当然了，你也可以直接用cp命令将数据文件复制到从数据库去

注意在导出数据之前先对主数据库进行READ LOCK，以保证数据的一致性

mysql> flush tables with read lock;

Query OK, 0 rows affected (0.19 sec)

之后是mysqldump

mysqldump -h127.0.0.1 -p3306 -uroot -p test > /home/chenyz/test.sql

最好在主数据库备份完毕，恢复写操作

mysql> unlock tables;

Query OK, 0 rows affected (0.28 sec)

(6)将刚才主数据备份的test.sql复制到从数据库，进行导入

(7)接着修改从数据库的my.cnf,增加server-id参数,指定复制使用的用户,主数据库服务器的ip,端口以及开始执行复制日志的文件和位置

[mysqld]

server-id=2

log_bin = /var/log/mysql/mysql-bin.log

master-host =192.168.1.100

master-user=test

master-pass=123456

master-port =3306

master-connect-retry=60

replicate-do-db =test

(8)在从服务器上,启动slave进程

mysql> start slave;

(9)在从服务器进行show salve status验证

mysql> SHOW SLAVE STATUS\G

*************************** 1. row ***************************

Slave_IO_State: Waiting for master to send event

Master_Host: localhost

Master_User: root

Master_Port: 3306

Connect_Retry: 3

Master_Log_File: mysql-bin.003

Read_Master_Log_Pos: 79

Relay_Log_File: gbichot-relay-bin.003

Relay_Log_Pos: 548

Relay_Master_Log_File: mysql-bin .003

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

(10)好了,现在可以在我们的主服务器做一些更新的操作,然后在从服务器查看是否已经更新

----------------------------------------

陈于喆
Mail: chenyz@corp.netease.com

陈于喆 2010-08-22 23:28 发表评论