一、预研任务介绍和预研目标
任务介绍:
Apache Tomcat是目前较为流行的web服务器,以其技术先进、性能稳定著称,其次它还是一个免费开源的项目。
Tomcat性能分析的意义在于能为日常工作中的一些内存泄露和tomcat crash问题提供参考,本文主要通过一些工具的使用和一些参数的讲解,穿插分析tomcat性能。
预研目标:
通过压力测试以及性能检测工具监控,分析tomcat的性能,并做相应的调优操作。
二、操作步骤
(0)假如测试的并发数过大,请预先对tomcat的maxThreads选项进行设置;
(1)部署测试对象
以供电局需求侧分析项目作为web压力测试对象,在其web.xml中将spring security的过滤器模块注释掉,并将其部署上tomcat7.0。
测试是否成功去除spring security拦截,在页面输入http://localhost:8080/DSM/index.jsp,如图1则表示操作成功。
图1 去除拦截后直接越过登录检测登入系统
在dosh下输入JVisualVM [1],开启tomcat性能监控。
至此测试对象已经部署完毕。
(2)使用http_load [2]进行压力测试
http://localhost:8080/DSM/index.jsp http://localhost:8080/DSM/rest/CommunicatManagement/NoticeboardManagement/NoticeboardViewer?_dc=1376059585323&searchString=&datetimeArray=&page=1&start=0&limit=20 http://localhost:8080/DSM/rest/CommunicatManagement/WorkflowManagement/WorkflowViewer/WorkflowViewer?_dc=1376059701735&searchString=&page=1&start=0&limit=20 http://localhost:8080/DSM/rest/CommunicatManagement/GuestbookManagement/GuestbookViewer?_dc=1376059728941&searchString=&datetimeArray=&page=1&start=0&limit=12 http://localhost:8080/DSM/rest/CommunicatManagement/PowerCutManagement/PowerCutViewerService?_dc=1376059750417&searchString=&datetimeArray=&page=1&start=0&limit=20
在当前目录建立url.txt,内容如上面所示。url.txt内容的意义在于模仿用户进入主界面然后对‘通信管理’模块的所有功能进行并行访问。至于这些url如何获取出来用于测试,你可以用Chrome的Developer Tools或者Firefox的FireBug进行获取。
http_load -p 50 -s 600 url.txt
在dosh下输入如上所示的命令,该命令使用http_load对url.txt中包含的所有url进行并发数为50、为期600秒的压力测试,承受这个压力的即是我们部署的在tomcat上的项目,所以文章虽然叫tomcat分析,但实质也是在对我们的程序进行性能分析。这个时候你可以泡杯茶、散散步静待10分钟的结束,JVisualVM已经在后台默默的工作中了。
(3)数据分析
8559 fetches, 50 max parallel, 2.95904e+07 bytes, in 600 seconds 3457.23 mean bytes/connection 14.265 fetches/sec, 49317.4 bytes/sec msecs/connect: 0.0851023 mean, 0.341 max, 0.015 min msecs/first-response: 3458.08 mean, 26924.7 max, 0.225 min 991 bad byte counts HTTP response codes: code 200 -- 7568 code 500 -- 991
10分钟到了,在dosh下截获如上所示的压力测试报告。第1行关注其产生了8559个请求,最大并发数为50;第3行关注其每秒处理的请求数为14;第4行关注到每次连接(url里面的内容被处理一次称为一次连接)的平均毫秒为0.0851023(效率高的可怕,这是hibernate的缓存在发挥作用);最后一行我们看到有991条请求当掉了,说明我们的程序性能还是有一定的问题。后台报的错误主要是oracle数据库连接错误,这表明我们的数据库连接池存在一定的问题,需要进一步进行优化。
然而仅凭这些数据,我们还得不出什么直观的性能分析结果,照目前来说,只能算还正常。进一步地,我们需要配合jvisualvm进行分析。
(4)jvisualvm分析
图2 CPU变化图
由图片可以得出,简单的压力测试中CPU的最大占有率达到19%左右,测试环境是在我的个人PC机(I5CPU)上,可见并发对CPU的压力还是很大的。峰值之后的曲线还是比较平缓的,这是CPU的调度能力发挥了作用。假如是对服务器做并发测试的话,这个数据就显得非常重要了。
图3 占用CPU最大的三个方法
Tomcat服务器自带的任务调度和oracle数据库连接占据了最大的CPU,可见我们的主要压力都作用在了oracle和tomcat上了。
图4 堆内存变化图
堆内存中,最大的使用内存才达到414M左右,可见并发对内存的要求不高。曲线非常秘密的那一块说明发生了频繁的产生对象和垃圾回收,JVM的GC还是非常强大的,它一直在背后默默的回收垃圾。除了峰值参考,曲线的另一个意义在于,观察上升和下降的幅度是否大抵一致,如若一直上涨,就有可能是程序出了问题,例如某个for循环写错了,这个时候就会报java.lang.OutOfMemoryError: Java heap space错误。
图5 持久代内存变化图
持久代的内存完全没有波动,说明我们没有发生内存溢出(一般内存溢出都是这里发生的)。为什么一般的内存溢出会发生在这里?PermGen [3]意为permanent generation,即持久代(年老代),程序频繁的读/写数据库将会对这一层造成极大压力,溢出后会报java.lang.OutOfMemoryError: PermGen space错误。
图6 占用内存最大的三个类
这里我们可以得出,字符串类型的操作以及IO读写在压力测试中是发生得最平凡的。
(5)参数调优 [4]和数据库连接池调优
假如你是window 32/64bit,请在tomcat_home/bin下新建setenv.bat并输入以下内容:
set JAVA_OPTS=%JAVA_OPTS% -Xms1024m -Xmx2048m -XX:PermSize=32m -XX:MaxPermSize=512m -Xss2m -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled
假如你是linux 32/64bit,请在tomcat_home/bin下新建setenv.sh并输入以下内容:
export JAVA_OPTS="$JAVA_OPTS -Xms1024m -Xmx2048m -XX:PermSize=32m
-XX:MaxPermSize=512m -Xss2m -XX:+UseConcMarkSweepGC
-XX:+CMSClassUnloadingEnabled
-Djava.awt.headless=true"
假如你是以eclipse启动tomcat,请在其vm arguments添加如下内容:
-Xms1024m -Xmx2048m -XX:PermSize=32m -XX:MaxPermSize=512m -Xss2m -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -Djava.awt.headless=true
下面对所有参数进行一一解释:
- -Xms1024m 初始化堆的大小
- -Xmx2048m 堆的最大值(最大设置为内存值的80%)
- -XX:PermSize=32m 初始化持久代内存大小
- -XX:MaxPermSize=512m 最大持久代内存大小
- -Xss2m 方法栈内存大小
- -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled 启用并行垃圾收集器
- -Djava.awt.headless=true 为了不影响linux图形化效果,我们可以添加这个参数
另外,如果你要为你的orcale数据库添加unicode默认支持,则加入如下参数:
-Doracle.jdbc.defaultNChar=true
下一步,我们需要对数据库连接池进行调优:
<!--配置apache dbcp数据源 --> <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close"> <property name="driverClassName" value="oracle.jdbc.driver.OracleDriver" /> <property name="url" value="jdbc:oracle:thin:@192.168.0.3:1520:NIKEY" /> <property name="username" value="PHOENIX" /> <property name="password" value="123456" /> <!-- 连接池启动时的初始值 --> <property name="initialSize" value="50" /> <!-- 连接池的最大值 --> <property name="maxActive" value="100" /> <!-- 最大空闲值.当经过一个高峰时间后,连接池可以慢慢将已经用不到的连接慢慢释放一部分,一直减少到maxIdle为止 --> <property name="maxIdle" value="10" /> <!-- 最小空闲值.当空闲的连接数少于阀值时,连接池就会预申请去一些连接,以免洪峰来时来不及申请 --> <property name="minIdle" value="5" /> </bean>
备注:所需jar包:commons-dbcp.jar & commons-pool.jar & commons-logging.jar
(6)再测试
使用上面同样的压力测试语句http_load -p 50 -s 600 url.txt,静待10分钟结束。
54995 fetches, 50 max parallel, 1.32363e+08 bytes, in 600 seconds 2406.83 mean bytes/connection 91.6583 fetches/sec, 220606 bytes/sec msecs/connect: 0.0579369 mean, 0.308 max, 0.013 min msecs/first-response: 544.293 mean, 6322.84 max, 0.111 min HTTP response codes: code 200 -- 54995
54995多个请求全部成功,一秒处理91个请求,每个连接的平均时间为0.05豪秒,效率立即体现出来了。
再看CPU/内存使用图如下:
图6 堆内存变化图
图7 CPU变化图
CPU的变化最大不超过20%,然而调优后需要考虑到由于程序能处理更多的并发,那么也会拉长GC的回收时间,那你所需要注意的是就是这么长的时间里峰值会达到多少,应该在参数配置中予以考虑。
(7)总结
Tomcat的性能足以承受我们日常工作的并发操作,但是需要配置调优参数以防止撑爆,并且为了提高数据库交互的效率我们最好使用连接池技术。
三、参考文献
[1] Java自带的GUI性能监控工具Jconsole以及JisualVM简介
[2] Linux下http_load使用简介
[3] JVM调优总结(十)-调优方法
[4] JVM 几个重要的参数 & Java HotSpot VM Options & Java 6 JVM参数选项大全(中文版)
一、预研任务介绍和预研目标
任务介绍:
Apache Tomcat是目前较为流行的web服务器,以其技术先进、性能稳定著称,其次它还是一个免费开源的项目。
Tomcat性能分析的意义在于能为日常工作中的一些内存泄露和tomcat crash问题提供参考,本文主要通过一些工具的使用和一些参数的讲解,穿插分析tomcat性能。
预研目标:
通过压力测试以及性能检测工具监控,分析tomcat的性能,并做相应的调优操作。
二、操作步骤
(0)假如测试的并发数过大,请预先对tomcat的maxThreads选项进行设置;
(1)部署测试对象
以供电局需求侧分析项目作为web压力测试对象,在其web.xml中将spring security的过滤器模块注释掉,并将其部署上tomcat7.0。
测试是否成功去除spring security拦截,在页面输入http://localhost:8080/DSM/index.jsp,如图1则表示操作成功。
图1 去除拦截后直接越过登录检测登入系统
在dosh下输入JVisualVM [1],开启tomcat性能监控。
至此测试对象已经部署完毕。
(2)使用http_load [2]进行压力测试
http://localhost:8080/DSM/index.jsp http://localhost:8080/DSM/rest/CommunicatManagement/NoticeboardManagement/NoticeboardViewer?_dc=1376059585323&searchString=&datetimeArray=&page=1&start=0&limit=20 http://localhost:8080/DSM/rest/CommunicatManagement/WorkflowManagement/WorkflowViewer/WorkflowViewer?_dc=1376059701735&searchString=&page=1&start=0&limit=20 http://localhost:8080/DSM/rest/CommunicatManagement/GuestbookManagement/GuestbookViewer?_dc=1376059728941&searchString=&datetimeArray=&page=1&start=0&limit=12 http://localhost:8080/DSM/rest/CommunicatManagement/PowerCutManagement/PowerCutViewerService?_dc=1376059750417&searchString=&datetimeArray=&page=1&start=0&limit=20
在当前目录建立url.txt,内容如上面所示。url.txt内容的意义在于模仿用户进入主界面然后对‘通信管理’模块的所有功能进行并行访问。至于这些url如何获取出来用于测试,你可以用Chrome的Developer Tools或者Firefox的FireBug进行获取。
http_load -p 50 -s 600 url.txt
在dosh下输入如上所示的命令,该命令使用http_load对url.txt中包含的所有url进行并发数为50、为期600秒的压力测试,承受这个压力的即是我们部署的在tomcat上的项目,所以文章虽然叫tomcat分析,但实质也是在对我们的程序进行性能分析。这个时候你可以泡杯茶、散散步静待10分钟的结束,JVisualVM已经在后台默默的工作中了。
(3)数据分析
8559 fetches, 50 max parallel, 2.95904e+07 bytes, in 600 seconds 3457.23 mean bytes/connection 14.265 fetches/sec, 49317.4 bytes/sec msecs/connect: 0.0851023 mean, 0.341 max, 0.015 min msecs/first-response: 3458.08 mean, 26924.7 max, 0.225 min 991 bad byte counts HTTP response codes: code 200 -- 7568 code 500 -- 991
10分钟到了,在dosh下截获如上所示的压力测试报告。第1行关注其产生了8559个请求,最大并发数为50;第3行关注其每秒处理的请求数为14;第4行关注到每次连接(url里面的内容被处理一次称为一次连接)的平均毫秒为0.0851023(效率高的可怕,这是hibernate的缓存在发挥作用);最后一行我们看到有991条请求当掉了,说明我们的程序性能还是有一定的问题。后台报的错误主要是oracle数据库连接错误,这表明我们的数据库连接池存在一定的问题,需要进一步进行优化。
然而仅凭这些数据,我们还得不出什么直观的性能分析结果,照目前来说,只能算还正常。进一步地,我们需要配合jvisualvm进行分析。
(4)jvisualvm分析
图2 CPU变化图
由图片可以得出,简单的压力测试中CPU的最大占有率达到19%左右,测试环境是在我的个人PC机(I5CPU)上,可见并发对CPU的压力还是很大的。峰值之后的曲线还是比较平缓的,这是CPU的调度能力发挥了作用。假如是对服务器做并发测试的话,这个数据就显得非常重要了。
图3 占用CPU最大的三个方法
Tomcat服务器自带的任务调度和oracle数据库连接占据了最大的CPU,可见我们的主要压力都作用在了oracle和tomcat上了。
图4 堆内存变化图
堆内存中,最大的使用内存才达到414M左右,可见并发对内存的要求不高。曲线非常秘密的那一块说明发生了频繁的产生对象和垃圾回收,JVM的GC还是非常强大的,它一直在背后默默的回收垃圾。除了峰值参考,曲线的另一个意义在于,观察上升和下降的幅度是否大抵一致,如若一直上涨,就有可能是程序出了问题,例如某个for循环写错了,这个时候就会报java.lang.OutOfMemoryError: Java heap space错误。
图5 持久代内存变化图
持久代的内存完全没有波动,说明我们没有发生内存溢出(一般内存溢出都是这里发生的)。为什么一般的内存溢出会发生在这里?PermGen [3]意为permanent generation,即持久代(年老代),程序频繁的读/写数据库将会对这一层造成极大压力,溢出后会报java.lang.OutOfMemoryError: PermGen space错误。
图6 占用内存最大的三个类
这里我们可以得出,字符串类型的操作以及IO读写在压力测试中是发生得最平凡的。
(5)参数调优 [4]和数据库连接池调优
假如你是window 32/64bit,请在tomcat_home/bin下新建setenv.bat并输入以下内容:
set JAVA_OPTS=%JAVA_OPTS% -Xms1024m -Xmx2048m -XX:PermSize=32m -XX:MaxPermSize=512m -Xss2m -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled
假如你是linux 32/64bit,请在tomcat_home/bin下新建setenv.sh并输入以下内容:
export JAVA_OPTS="$JAVA_OPTS -Xms1024m -Xmx2048m -XX:PermSize=32m
-XX:MaxPermSize=512m -Xss2m -XX:+UseConcMarkSweepGC
-XX:+CMSClassUnloadingEnabled
-Djava.awt.headless=true"
假如你是以eclipse启动tomcat,请在其vm arguments添加如下内容:
-Xms1024m -Xmx2048m -XX:PermSize=32m -XX:MaxPermSize=512m -Xss2m -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -Djava.awt.headless=true
下面对所有参数进行一一解释:
- -Xms1024m 初始化堆的大小
- -Xmx2048m 堆的最大值(最大设置为内存值的80%)
- -XX:PermSize=32m 初始化持久代内存大小
- -XX:MaxPermSize=512m 最大持久代内存大小
- -Xss2m 方法栈内存大小
- -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled 启用并行垃圾收集器
- -Djava.awt.headless=true 为了不影响linux图形化效果,我们可以添加这个参数
另外,如果你要为你的orcale数据库添加unicode默认支持,则加入如下参数:
-Doracle.jdbc.defaultNChar=true
下一步,我们需要对数据库连接池进行调优:
<!--配置apache dbcp数据源 --> <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close"> <property name="driverClassName" value="oracle.jdbc.driver.OracleDriver" /> <property name="url" value="jdbc:oracle:thin:@192.168.0.3:1520:NIKEY" /> <property name="username" value="PHOENIX" /> <property name="password" value="123456" /> <!-- 连接池启动时的初始值 --> <property name="initialSize" value="50" /> <!-- 连接池的最大值 --> <property name="maxActive" value="100" /> <!-- 最大空闲值.当经过一个高峰时间后,连接池可以慢慢将已经用不到的连接慢慢释放一部分,一直减少到maxIdle为止 --> <property name="maxIdle" value="10" /> <!-- 最小空闲值.当空闲的连接数少于阀值时,连接池就会预申请去一些连接,以免洪峰来时来不及申请 --> <property name="minIdle" value="5" /> </bean>
备注:所需jar包:commons-dbcp.jar & commons-pool.jar & commons-logging.jar
(6)再测试
使用上面同样的压力测试语句http_load -p 50 -s 600 url.txt,静待10分钟结束。
54995 fetches, 50 max parallel, 1.32363e+08 bytes, in 600 seconds 2406.83 mean bytes/connection 91.6583 fetches/sec, 220606 bytes/sec msecs/connect: 0.0579369 mean, 0.308 max, 0.013 min msecs/first-response: 544.293 mean, 6322.84 max, 0.111 min HTTP response codes: code 200 -- 54995
54995多个请求全部成功,一秒处理91个请求,每个连接的平均时间为0.05豪秒,效率立即体现出来了。
再看CPU/内存使用图如下:
图6 堆内存变化图
图7 CPU变化图
CPU的变化最大不超过20%,然而调优后需要考虑到由于程序能处理更多的并发,那么也会拉长GC的回收时间,那你所需要注意的是就是这么长的时间里峰值会达到多少,应该在参数配置中予以考虑。
(7)总结
Tomcat的性能足以承受我们日常工作的并发操作,但是需要配置调优参数以防止撑爆,并且为了提高数据库交互的效率我们最好使用连接池技术。
三、参考文献
[1] Java自带的GUI性能监控工具Jconsole以及JisualVM简介
[2] Linux下http_load使用简介
[3] JVM调优总结(十)-调优方法
[4] JVM 几个重要的参数 & Java HotSpot VM Options & Java 6 JVM参数选项大全(中文版)