关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

这篇文章主要介绍了关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍,Anemometer 是一个图形化显示MySQL慢日志的工具,Anemometer可以很轻松的帮你去分析慢查询日志,让你很容易就能找到哪些SQL需要优化。感兴趣可以来

介绍:anemometer 是一个图形化显示mysql慢日志的工具。结合pt-query-digest,anemometer可以很轻松的帮你去分析慢查询日志,让你很容易就能找到哪些sql需要优化

this is the box anemometer, the mysql slow query monitor. this tool is used to analyze slow query logs collected from mysql instances to identify problematic queries

官方网站:https://github.com/box/anemometer

环境概况

以写此文章时 percona-toolkit最新的版本3.0.10为例
mysql数据库对应版本为5.7.21,二进制安装
http和php均是系统centos linux release 7.4.1708 (core)自带版本

需要安装的步骤如下:

1.percona-toolkit工具的安装

2.php web环境的搭建安装

3.anemometer并配置

4.导入慢查询日志

5.访问界面,查看慢查询

6.其他相关和问题解决

0. 整体的架构

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

1. percona-toolkit工具的安装

安装目的:pt-query-digest是percona-toolkit里面一个工具,其作用就是分析慢查询日志,将mysql慢查询日志进行统计并友好的显示出来

下载地址:https://www.percona.com/downloads/percona-toolkit/

安装方式(rpm):

1、下载包,wget https://www.percona.com/downloads/percona-toolkit/3.0.10/binary/redhat/7/x86_64/percona-toolkit-3.0.10-1.el7.x86_64.rpm

2、安装依赖,yum install perl-dbi perl-dbd-mysql perl-io-socket-ssl perl-digest-md5 -y

3、正式安装,rpm -ivh percona-toolkit-3.0.10-1.el7.x86_64.rpm

4、安装完毕验证,pt-query-digest –version pt-query-digest 3.0.10

安装方式(tar二进制)

1、下载包,wget https://www.percona.com/downloads/percona-toolkit/3.0.10/binary/tarball/percona-toolkit-3.0.10_x86_64.tar.gz

2、安装依赖,yum install perl-dbi perl-dbd-mysql perl-io-socket-ssl perl-digest-md5 -y

3、解压包,tar xf percona-toolkit-3.0.10_x86_64.tar.gz

4、直接使用工具, ./percona-toolkit-3.0.10/bin/pt-query-digest –version
pt-query-digest 3.0.10

2. php web环境的搭建

安装目的:anemometer需要依赖
lamp环境lamp环境的安装:
1、安装apache,yum install httpd httpd-devel -y
2、安装php,yum install php php-mysql php-common php-bcmath php-dba php-cli php-gd php-mbstring php-mcrypt php-devel php-xml php-pdo -y
3、修改时区,vim /etc/php.ini,修改为 date.timezone = prc

lamp环境的启动:
1、启动,systemctl start httpd
2、关闭,systemctl stop httpd
3、重启,systemctl restart httpd
4、查看,systemctl status httpd

3. 安装anemometer并配置

1、下载安装:
安装目的:安装anemometer应用
下载地址:https://github.com/box/anemometer
下载包:git clone https://github.com/box/anemometer.git
移动到对应路径:mv anemometer /var/www/html/anemometer
2、目标慢查询数据库上需要授予anemometer主机对应的权限
1、目的,用于分析目标慢查询数据库explain执行计划
2、授权,grant select on *.* to 'anemometer'@'$ip' identified by '123456';flush privileges;($ip为anemometer主机对应ip地址)
3、修改配置文件增加explain读取用户密码信息 cp conf/sample.config.inc.php conf/config.inc.php vim conf/config.inc.php\\\\

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

4、修改配置文件指向数据源文件,vim conf/datasource_localhost.inc.php,当然也可以直接vim conf/config.inc.php

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

5、初始化数据源的数据库表的配置,mysql -uroot -p123456 -h127.0.0.1 -p5700 < install.sql,每个datasource源头可以对应不同的数据库database(修改install.sql的内容)

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

4. 导入慢查询日志

1、慢查询主机推送格式

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

for pt-query-digest version < 2.2

$ pt-query-digest –user=anemometer –password=supersecurepass \\

–review h=db.example.com,d=slow_query_log,t=global_query_review \\

–review-history h=db.example.com,d=slow_query_log,t=global_query_review_history \\

–no-report –limit=0% \\

–filter=" \\$event->{bytes} = length(\\$event->{arg}) and \\$event->{hostname}=\\"$hostname\\"" \\

/var/lib/mysql/db.example.com-slow.log

for pt-query-digest version >= 2.2

$ pt-query-digest –user=anemometer –password=supersecurepass \\

–review h=db.example.com,d=slow_query_log,t=global_query_review \\

–history h=db.example.com,d=slow_query_log,t=global_query_review_history \\

–no-report –limit=0% \\

–filter=" \\$event->{bytes} = length(\\$event->{arg}) and \\$event->{hostname}=\\"$hostname\\"" \\

/var/lib/mysql/db.example.com-slow.log

2、慢查询主机推动脚本示例

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

#config anemometer server, the purpose is to push slow query to the remote anemometer server and store it.

anemometer_host="127.0.0.1"

anemometer_user="root"

anemometer_password="123456"

anemometer_port=5700

anemometer_db="slow_query_log"

#config mysql server, the purpose is to get the path of the slow query log.

mysql_client="/usr/local/mysql-5.7.21/bin/mysql"

mysql_user="root"

mysql_password="123456"

mysql_socket="/tmp/mysql_5700.sock"

mysql_port=5700

#config slowqury dir to cd, and then delete the expired slow query file.

slowquery_dir="/data/mysql_$mysql_port/"

#get the path of the slow query log.

slowquery_file=`$mysql_client -u$mysql_user -p$mysql_password -s $mysql_socket -e "show variables like 'slow_query_log_file'"|grep log|awk '{print $2}'`

pt_query_digest="/data/percona-toolkit-3.0.10/bin/pt-query-digest"

#collect mysql slowquery log into lepus database.

$pt_query_digest –user=$anemometer_user –password=$anemometer_password –port=$anemometer_port –review h=$anemometer_host,d=$anemometer_db,t=global_query_review –history h=$anemometer_host,d=$anemometer_db,t=global_query_review_history –no-report –limit=0% –filter=" \\$event->{bytes} = length(\\$event->{arg}) and \\$event->{hostname}=\\"$hostname:$mysql_port\\"" $slowquery_file

#generate a new slow query log, the below is generate a new slow file per hour.

tmp_log=`$mysql_client -u$mysql_user -p$mysql_password -s $mysql_socket -e "select concat('$slowquery_dir','slowquery_',date_format(now(),'%y%m%d%h'),'.log');"|grep log|sed -n -e '2p'`

#use new slow file to config mysql slowquery

$mysql_client -u$mysql_user -p$mysql_password -s $mysql_socket -e "set global slow_query_log = 0;set global slow_query_log_file = '$tmp_log';"

$mysql_client -u$mysql_user -p$mysql_password -s $mysql_socket -e "set global slow_query_log = 1; "

#delete slow query file before 2 days

cd $slowquery_dir

/usr/bin/find ./ -name 'slowquery_*.log' -mtime +2|xargs rm -rf ;

####end####

5. 访问界面,查看慢查询

http://$ip/anemometer/ ($ip为anemometer主机对应ip地址)

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

6、其他相关和问题解决

1、对于anemometer的主机上,需要进行慢查询主机hostname和ip的映射(修改/etc/hosts进行配置),目的在于慢查询explain执行计划的目标主机解析
#collect mysql slowquery log into lepus database步骤中,$hostname:$mysql_port
数据库存取的格式,hostname_max类似这种,cnwangdawei:5700
2、中文乱码的问题,在#collect mysql slowquery log into lepus database步骤中添加 –charset=utf8
3、慢查询主机数据库是5.7版本的数据库,可能出现界面ts_cnt不显示,替换percona toolkit为新版本,2.x.x —–> 3.x.x
4、表结构和状态字符集显示乱码,添加mysqli的字符集设定,vim /var/www/html/anemometer/lib/queryexplain.php
新增(194行后增加),$this->mysqli->query("set names utf8");

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

以上就是关于anemometer图形化显示mysql慢日志的工具搭建及使用的详细介绍的详细内容,更多关于anemometer图形化显示mysql慢日志的工具搭建的资料请关注钦钦技术栈其它相关文章!

原文链接:https://blog.51cto.com/11257187/2119534

版权声明:本文(即:原文链接:https://www.qin1qin.com/catagory/5411/)内容由互联网用户自发投稿贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 630367839@qq.com 举报,一经查实,本站将立刻删除。

(0)
上一篇 2022年7月25日 下午6:27
下一篇 2022年7月25日 下午6:28
软件定制开发公司

相关阅读

发表回复

登录后才能评论
通知:禁止投稿所有关于虚拟货币,币圈类相关文章,发现立即永久封锁账户ID!