Min's Engineer Story

자바의 신 Vol.1이 인터넷 서점에 등록되었습니다.

Yes24

알라딘

교보문고

인터파크

강컴

반디앤루니스

http://jiprof.sourceforge.net/
http://www.ibm.com/developerworks/java/library/j-jip/

자바기반 오픈 프로파일러 + 분석 프로그램들이 있는 사이트가 있어 링크를 ...

지난주에 회사에서 "GC 튜닝의 이해"라는 과정을 개설해서,
강의를 했다. 

강의 자료를 만들고 있는데,
도대체 자바의 Permanent 영역에는 정확히 어떤 놈들이 있는 것일까?
라는 의문이 생겨서 여기저기 찾아 보다가, 가장 정리가 잘 되어 있는 놈을 발견했다.

궁금하신 분들은 아래 글을 읽어보기 바란다.
http://blogs.sun.com/jonthecollector/entry/presenting_the_permanent_generation

netstat라는 명령어를 리눅스에서 사용하면,
네트워크의 상태를 볼 수 있다.

네트워크 상태를 진단할 때 매우 유용하게 사용할 수 있는데,
다음과 같이 사용하면 TIME_WAIT 상태인 연결들의 개수를 확인할 수 있다.
만약 연결된 개수를 확인하려면 grep 뒤에 CONNECTED로 바꾸면 된다.

netstat -n | grep TIME_WAIT | wc

여기서 netstat의 -n은 연결된 장비 이름이 IP 주소로 나타난다.
여기에 a 옵션을 추가하여 -an 이나 -na로 지정해 주면,
연결된 IP나 연결을 기다리는 장비의 IP와 함께 목록을 제공해준다.

추가로 wc 는 라인 및 단어의 개수를 제공하는 옵션이다.
wc만 쓸 경우
3 6 9
와 같이 3개의 숫자가 나타나는데,
가장 앞의 숫자는 라인수(여기서는 관련 연결 개수가 될 것이다.)
두번째는 단어 수,
세번째는 바이트 수를 의미한다.

라인수만 보고 싶을 때에는 -l
단어수만 보고 싶을 때에는 -w
바이트수만 보고 싶을 때에는 -c
옵션을 wc 뒤에 붙여주면 된다.

http://www.btoclub.co.kr/

오늘 우연히 알게 되었지만,
HP Software user 를 위한 클럽이 있다는 걸 알았다.

뭐 일반 개발자 분들에게는 별 관인이 가진 않겠지만,
로드러너를 사용하는 분들을 모아서 간담회도 가지고,
세미나도 주기적으로 하는 것 같다.

개인적으로는 로드러너가 좋은 툴이긴 하지만,
금전적으로 너무 사용하기 힘들게 되어 있는 툴이기 때문에,
그리 좋아하진 않지만,
만약 쉽게 사용할 수 있는 환경에 있다면,
성능 테스터들에게는 매우 편리한 툴이다.

누군가에게는 불가능한 테스트라 할지라도,
그 불가능함을 해결한 사람도 분명히 있을 수 있기 때문에,
저런 간담회는 가끔 가주면 좋을 듯...

요즘은 LR 쓸 일이 없어서...

내가 한, 두번 Tomcat 5.5와 6성능 비교를 해 본 결과
동일한 Application을 수행할 때 Tomcat 6에는 성능 문제가 존재한다.
아직 정확한 성능 저하의 원인을 밝히진 못했지만,
TPS 상으로 적어도 10~20% 정도 저하된다.

어느정도 Tomcat 6의 성능이 안정화 될 때까지는 쓰지 않는 것을 권장한다.

참고로 아래 링크를 활용하면, 어떻게 Tomcat의 성능을 최적화 할 수 있는지 알 수 있다.

http://www.solutionhacker.com/?p=147

다시 또 한번 이야기 하지만, 이 이야기는 지극히 개인적인 의견을 정리한 것이다.

출판사마다 작업의 방식이 다를 수 있고,
집필자마다 순서가 다를 수 있다.
절대적인 방법이 아니라는 것을 알아두기 바란다.
그리고, 순서대로 읽어주기 바란다.

 

그럼 세번째... 어떻게 시작해야 할 지에 대해서 알아보자.
집필을 하기 위해서 먼저 해야 하는 것은 "목차"를 만드는 것이다.
다른 것이 우선 아니냐고?

아니다.

먼저 목차를 만들어야 한다.
물론 목차를 만들기 전에는 앞에서도 이야기 했지만, 무엇에 대해서 책을 쓸 지에 "주제"를 선정하고, 자료를 모으는 작업은 선행되어야 한다.
하지만, 이 작업은 책을 쓰지 않는다고 하더라도 누구나 본인이 하는 작업을 정리 할 때 필요한 작업이다.

그래서, 본격적인 집필 시작은 목차를 만드는 작업이라는 것이다.

목차는 뭐 상세 목차까지 적어주면 되겠지만, 그럴 필요는 없이 그냥
대분류 목차로 적어도 15~20개 정도 적어 두면 된다.
(되도록이면 엑셀로)
만약 처음 집필하는 분이시라면, 상세 목차도 적어두면 좋을 것이다.

목차가 이쁘게 잘 선정 되었다면, 그 다음에는 출판사에 Contact 하는 것이다.
-주변에 아는 사람이나 친구, 친구의 친구가 출판사와 아는 사람이거나,
-친구중 저자가 있을 경우에는
그 아는 사람 통해서 Contact하는게 좋다.

만약 지인이 없어도 그냥 출판사에 Contact 해도 뭐라고 할 사람 아무도 없다.

메일로 연락해도 되고, 전화로 해도 되고, 만나도 된다.
아마도 여러분이 제시한 주제, 목차, 구성이 마음에 든다면 직접 만나서 이야기 하자고 할 것이다.

참고로 Blog2Book 자바 성능을 결정짓는... 책의 경우에는
A모 출판사에서 두명의 리뷰어에게 목차 리뷰를 받은 후 빠꾸를 먹었다.
(이런책은 아무도 필요 없다는 어떤 리뷰어의 리뷰와 함께...
논란의 여지가 있을 수 있어 말씀드리지만, 다른 한분은 목차가 괜찮다고 하셨지만,
책의 주제를 다른방향(Advanced Java ? 뭐 그런 방향...)으로 바꾸어 보라는 의견을 주셨다.)

하지만 운 좋게도, 그 빠꾸를 먹은날 한빛미디어에 책을 서너권 집필한 저자와 만났는데,
그분이 직접 출판사와 연결 시켜 주셨다.
그때 그 지인이 이야기한 중요한 이야기는
"책을 쓰려고 할때, 자신이 원하는 방향의 책이 아니면 쓰지 않는 것이 나아요.
이책임(그땐 직급이 책임(과장)이었다.)님은 튜닝 책을 쓰려고 한거지 다른 책을 쓰려고 한게 아니잖아요..."
라는 말이다. 그 말에 용기를 얻고 한빛 담당자분과 만나서, 목차를 약간 수정하고 집필하기로 했다.
안 그랬으면, 아마도 그 책은 세상에 나오지도 못했을 것이다.


이 이야기를 왜 하냐면,
여러분들이 직접 쓰고 싶은 책이 있다면, 출판사 하나에서 빠꾸 먹었다고 포기하지 말라는 것이다.

그런데, 어느 출판사나 이익을 내야하기 때문에, 1000부도 팔릴 것 같지 않은
그런 책을 내지는 않는다.
다시 말하면, 여러분들도 사지 않을 그런 책은, 다른 사람도 안산다는 것이다.

필자는 이번에 테스트 책을 썼지만, 원래는 테스트 책을 쓸 생각도 없었다.
그냥 Rex Black 아저씨 책 중 기본이 되는 몇권중 한권을 번역하려고 했었다.
하지만, 그 결과는 4개 출판사에서 그러한 번역서는 시장성이 없다는 이유로 빠꾸 먹었다. - -;
그 4개 출판사와 Contact하는 중에 심심해서 적어 놓은 것이 이번에 나올 Blog2Book Test책의 목차다.

그것도 그냥 책 쓸려고 한 것도 아니고, 그냥 목차만 만들어 놓고 한번 정리해 보면 좋겠다고 생각하고,
출판사 담당자에게 그냥 함 보라고 보여 줬던 것이 화근(?)이 되었다.
(그 담당자가 윗분에게 보여드리고, 그분이 한번 진행해 보라는 지시가 떨어져서리...)

여하튼,
출판사에서 OK하면,
책을 누가 보고, 누가 사고, 어떤 내용인지에 대한 소개서를 쓰고,
샘플챕터 하나 써서 내라고 한다.(아무리 목차가 좋아도 글이 맘에 안들면 안되니까...)
그리고 나서 마음에 들 경우,
계약금 받고 (보통 신사임당 10장에서 세금 좀 띄고) 계약서를 쓴다.

그런데, 여기서 한가지 유의할 점은,
"뭐 그럴 필요 있나? 다 쓰고 나서 가져가지"
라는 생각을 할 수도 있을 것이다.
그런데, 샘플 챕터를 제출하는 이유는 필자의 어떤 점들을 고쳐야 할지를 확인하는 데에도 의의가 있다.

그렇게 다듬고, 나머지 부분을 작성하는 것과
모두 작성해 놓고 문체나 책의 방식을 수정하는 것은
엄청난 차이가 있을 것이다.
(뭐 "난 상관 없어~~" 라는 분들은 그냥 다 써놓고 출판사를 만나도 된다.)

다음에는 본격적인 집필을 하기 위한 또 다른 준비작업에 대해서 알아보자.

http://www.ibm.com/developerworks/kr/library/au-aixperformancetuning/index.html

http://jensor.sourceforge.net/

http://developers.sun.com/learning/javaoneonline/j1online.jsp?track=javase&yr=2009

http://www.devx.com/Java/Article/33943

Solaris OS를 사용한다면, DTrace라는 프로파일러를 사용할 수 있다.
만약 해당 OS를 사용하는 담당자가 자바 시스템의 성능에 문제가 있다면, 한번 사용해보기 바란다.

자바의 GC 방식에는 여러가지가 있지만,
최근에 나온 기술에는 G1이라는 것이 있다.
최근에 나온 JDK 6.0 update 14에는 early access 로 G1을 사용할 수 있도록 했다.
G1을 적용하기 위해서는 java start option에
-XX:+UnlockExperimentalVMOptions -XX:+UseG1GC
라고 명시해 주면 된다.

추가로 G1을 사용할 때 GC로 인한 최대 대기시간을 지정하기 위한
-XX:MaxGCPauseMillis=<X>
옵션을 추가할 수 있으며,
-XX:GCPauseIntervalMillis=<X>
옵션을 통해서 GC 대기 사이의 간격을 지정할 수 있다.
그런데 여기서 중요한 것은
이 옵션은 Goal 이다. Promise나 guarantee 가 아니라는 것이다.
(목표일 뿐이고, 이건 약속이나 보장한다는 것이 아닐 뿐이고~~)

G1이 다른 GC와 다른 것은 GC를 담당하는 New와 Old의 장벽이 사라졌다는 것~~~
자세한건 아래 링크의 비됴나 문서를 함 보시길~~~

Sun Tech Days 2008-2009 자료 보기
http://developers.sun.com/learning/javaoneonline/j1sessn.jsp?sessn=TS-5419&yr=2008&track=javase

블로그의 유입경로를 심심해서 쳐다보던중,
아래와 같은 검색어가 있어 눌러보니...
이제는 태교서적으로 분류되는구나~~~



지난번에는 창작동화로 분류되더니~~~

http://www.tuning-java.com/169

먼저 자바 성능을 결정짓는 코딩 습관과 튜닝 이야기를 구매하고, 읽어주신, 그리고, 읽고 계신 독자 여러분께 감사하다는 말씀을 드립니다.

GC가 뭔지 잘 모르시는 분들은 제 블로그의 다른 글을 찾아보시거나,
"자바 성능을 결정 짓는 코딩 습관과 튜닝 이야기"를 참조하시길...

자바의 메모리 구조는 다음과 같이 되어 있다.

Code Cache: contains memory used for compilation and storage of native code

Eden Space: pool from which memory is initially allocated for most objects

Survivor Space: pool containing objects that have survived Eden space garbage collection

Tenured Gen: pool containing long-lived objects

Perm Gen: contains reflective data of the JVM itself, including class and memory objects

Perm Gen [shared-ro]: read-only reflective data

Perm Gen [shared-rw]: read-write reflective data

아래는 GC를 어떻게 튜닝하는지에 대한 자세한 설명이 있는 사이트 링크다.
http://java-monitor.com/forum/showthread.php?t=30

이것도 귀찮은 분을 위해서 더 간단한 튜닝 정보
http://developer.amd.com/documentation/articles/pages/4EasyWaystodoJavaGarbageCollectionTuning.aspx

완벽한 GC의 방식과 처리에 대한 자세한 정보를 보려면 아래 링크에 있는 PDF 파일을 참조하는 것도 좋다.
http://www.cecmg.de/doc/tagung_2007/agenda07/24-mai/2b3-peter-johnson/index.html

한글로 된 설명을 보고자 하신다면
다시한번 말씀드리지만,
"자바 성능을 결정 짓는 코딩 습관과 튜닝 이야기"를 참조하시길...
지금 생각해보면 이 책에 이 부분에 대한 설명을 좀 약하게 적었다는 생각이 많이 들긴 한다.
다음책에선 자세히 적어놔야지...

추가로 Java 6 GC 튜닝 방법에 대한 Sun의 자료는 아래와 같다.
http://java.sun.com/javase/technologies/hotspot/gc/gc_tuning_6.html

자바 힙 덤프 분석기는 jhat등 여러가지 툴이 있지만,
최근에 발견한 Eclipse Memory Analyzer 라는 프로그램이 있다.

http://www.eclipse.org/mat/

다운로드하여 압축을 해제하고, 이클립스만 수행하면 된다.
단, 기본 자바 VM을 사용할 때 발생한 HPROF 덤프 파일의 확장자는 반드시 hprof 여야만 읽을 수 있다.

작성된 힙 덤프 파일을 이 프로그램에서 읽으면 다음과 같은 화면을 제공한다.

요즘 iBATIS를 사용하는 프로젝트가 많이 있다.
예전 회사에서도 이런 경우가 발생한 것으로 생각되는데,
iBATIS를 사용하면 WAS의 CPU 사용량이 어느 정도 이상 증가하지 않고,
TPS도 증가하지 않는 현상이 발생하는 경우가 간혹 있었다.

최근에도 이런 문제를 확인했는데,
그 이유는 iBATIS의 com.ibatis.common.beans.ClassInfo 클래스에 있었다.
뭐 내가 잡은건 아니고 내 옆자리에 있는 박박사님께서 ^^;

만약 쿼리들이 느린 경우에는 이런 문제가 야기 되지 않겠지만,
쿼리들이 엄청 빠를 경우 WAS에 병목이 생긴다. 아래의 링크를 보자.
https://issues.apache.org/jira/browse/IBATIS-508?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=12683961

이중으로 Lock을 잡은 것이 문제였으며,
우연찮게도, 미쿡 애들도 비슷한 시기에 문제를 확인한 것 같다.
http://www.kaigrabfelder.de/en/2009/05/01/concurrency_vs_synchronization.html

가장 좋은 해법은 ConcurrentHashMap 을 사용하는 것이다.

해당 버젼이 release (2.3.5)되면 성능을 위해서 update 하는 것이 좋을 듯 하다.

https://visualvm.dev.java.net/

VisualVM이라는 무료 툴이 있다.
이 툴이 JDK 6.0의 update 7 부터는 JDK의 bin 디렉토리에 jvisualvm.exe 라는 파일로 추가되어 있다.

한번 사용해 보면 알겠지만, 정말 대단한 툴이다.

jconsole은 JMX를 데이터를 보기 위한 툴이라면,
이 툴은 메모리 상태 파악 및 성능 및 메모리 프로파일링까지 가능하기 때문에 성능상 문제가 있는 분들에게
많은 도움이 될 것이라 생각된다.

하지만, 아직까지 안정화 되지는 않아서 모니터링 대상 JVM이 죽는 현상이 발생할 수 있으므로,
조심해서 사용하기 바란다.

운영서버보다는 테스트 서버에서...

추가로 이 툴을 사용한 후기를 "영어"로 작성할 능력이 있다면
500불을 받을 수 있는 기회를 놓치지 말기 바란다.

나도 함 시간 있으면, 해보려고~~
자세한 내용은 아래 링크 참조.
http://java.sun.com/community/javavisualvm/

http://highscalability.com/

팀장님의 강력 추천 사이트이다.

오늘 팀장님께서 복사한 문서를 한번 읽어 보라고 주셨다.
9개의 자바 성능 팁에 대해서 아~주 간단하게 정리되어 있는 문서다. (2페이지에 걸친...)

그 장의 첫번째 구문에는 Michael A. Jackson 이라는 할아버지가 쓴 글귀가 있다.

The First Rule of Optimization : Don't do it
The Second Rule of Optimization (for experts only) : Don't do it yet.

이 문서가 언제 쓴 문서인지는 모르겠지만.... 이 글귀는 약간 이해는 안된다. ^^;

Tip #1 : Object creation is bad
Tip #2 : static is good  ==> I don't think so 다.
Tip #3 : Table switch good, lookup switch bad
Tip #4 : Small methods are good methods
Tip #5 : Exceptions are exceptional
Tip #6 : Use decorator patterns with care
Tip #7 : instanceof is faster on classes
Tip #8 : Use synchronized minimally
Tip #9 : Beware external libraries

기본적으로 자바는 Process와 Thread로 구성되어 있다.

이게 뭔지는 Java 성능을 결정짓는 코딩 습관과 튜닝 이야기라는 책에 잘 나와 있고...

여하튼.. 어떤 Thread가 뭔 짓을 하고 있는지를 보려면 Thread dump를 보면 된다.

자바는 기본적으로 Thread dump를 제공하기 위해서 jstack이라는 명령어(프로그램)을 제공하며 자세한 설명이 필요한 분은 아래의 설명을 보기 바란다.

http://java.sun.com/j2se/1.5.0/docs/tooldocs/share/jstack.html

http://java.sun.com/javase/6/docs/technotes/tools/share/jstack.html

 

만약 JDK 버전이 5.0이면

Jstack pid

JDK 버전이 6.0 이면

jstack -l pid

명령을 수행하면 된다.

만약 솔라리스나 리눅스에서 이 명령으로 수행이 안되면

jstack -F pid

로 수행하면된다.

여기서 pid 는 프로세스의 id다.

만약 jstack이 수행하는데 너무 오래 걸리고, 서버에 부하가 된다면 kill -3으로 쓰레드 덤프를 뜨는 것도 도움이 된다.

분석하는 방법은 쉽지 않지만 다음과 같은 툴들이 있다.
TDA라는 툴
https://tda.dev.java.net/

IBM의 JCA라는 툴

http://www.alphaworks.ibm.com/tech/jca

http://www.ibm.com/developerworks/library/j-rtm1/index.html

http://java.sun.com/javaone/sf/2008/articles/rockstar_tonyprintezis.jsp

먼저 위의 인터뷰 내용을 읽어보자.
Garbage First Collector가 뭔지 대충 감을 잡을 것이다.

분명 대부분 안읽어 보시겠지만....적어도 아래 줄들은 일어 주기 바란다.
G1=next-generation low-pause garbage collector
G1 will ultimately replace the Concurrent Mark-Sweep (CMS) garbage collector
G1, even though it is generational, there is no physical separation between the two generations.

Three Objectives of G1
The first objective is consistent low pauses over time.
The second objective is to avoid, as much as possible, having a full GC.
The final objective is good throughput.


if you care about getting the job done as quickly as possible, and don't care much for how long your application is going to be stopped by the garbage collector, the throughput collector is the best choice.

if you have a batch job that is going to take a few minutes or a few hours and you want it to be done as quickly as possible, then a throughput collector is clearly the best choice.

But, if you are working on a very interactive job that needs to interact with people, other applications, or users through web pages, then a low latency garbage collector is the best choice.


Why does garbage collection take so long? ==> Garbage collection is very memory-bound. And memory speeds these days are quite slow compared to CPU speeds

글 중간에는 다음의 내용을 읽어보라고 이야기한다.
GC와 친해지는 코딩 방법
http://developers.sun.com/learning/javaoneonline/2007/pdf/TS-2906.pdf

그리고, 저 이너뷰 한 사람이 사진을 잘 찍는가본데, 사진과 개발과의 상관관계를 아래와 같이 이야기 했다.
You need to be committed and to be patient and try out things again and again, to make sure that you get it just right. I see some parallels between photography and development.

마지막엔 그가 이야기하는 아름다운 코드란....
Beautiful code is code that is simple, easy to understand, and efficient
란다.

더 자세한 내용을 보시려면 아래의 영어지만, 쉽지 않은 용어로 되어 있는 문서를 참조하기 바란다.
http://research.sun.com/jtech/pubs/04-g1-paper-ismm.pdf

참고로 G1은 JDK 7 부터 추가된단다.
그리고, early access 로 JDK 1.6.1에서 추가 되었다.
http://www.tuning-java.com/272

http://performance.netbeans.org/

근데 이 글들은 NetBeans를 보다 빨리 사용하기 위한 설명들인감?

http://java.sun.com/performance/reference/whitepapers/tuning.html

썬에서 제공하는 자바 튜닝 whitepaper

물론 JVM 옵션 튜닝만 한다고 해서 답은 안나오겠지만,
튜닝할게 더이상 없다면, JVM 버젼 upgrade 및 옵션 튜닝을 해야 할 것이다.

아래는 이 글의 목차다.

뭐 다 읽기 귀찮으신 분들은 4.2 부터 적용해 보시면 된다.

1   Introduction

1.1   Goals
1.2   This is a Living Document
1.3   How to Use this White Paper

2   Best Practices

2.1   Use the most recent Java™ release
2.2   Get the latest Java™ update release
2.3   Insure your operating system patches are up-to-date
2.4   Eliminate variability

3   Making Decisions from Data

3.1   Beware of Microbenchmarks!
3.2   Use Statistics
3.3   Use a benchmark harness

4   Tuning Ideas

4.1   General Tuning Guidelines

4.1.1   Be Aware of Ergonomics Settings
4.1.2   Heap Sizing
4.1.3   Garbage Collector Policy
4.1.4   Other Tuning Parameters

4.2   Tuning Examples

4.2.1   Tuning Example 1: Tuning for Throughput
4.2.2   Tuning Example 2: Try the parallel old generation collector
4.2.3   Tuning Example 3: Try 256 MB pages
4.2.4   Tuning Example 4: Try -XX:+AggressiveOpts
4.2.5   Tuning Example 5: Try Biased Locking
4.2.6   Tuning Example 6: Tuning for low pause times and high throughput
4.2.7   Tuning Example 7: Try AggressiveOpts for low pause times and high throughput

5   Monitoring and Profiling

5.1   Monitoring
5.2   Profiling

6   Coding for Performance
7   Pointers
8   Feedback and the Java Performance Community

8.1   Feedback
8.2   Java Performance Community

http://www.atlassian.com/software/jira/docs/latest/performance.html

지라 자체적으로 성능 튜닝이 가능한 환경이 마련되어 있다.

이렇게 링크까지 만들어 정리해 놓은것을 보면 성능 이슈가 많긴 많은가 부다.

 

http://dlc.sun.com/pdf/819-3681/819-3681.pdf

문서의 제목은 Sun Java SystemApplication Server 9.1 PerformanceTuning Guide라고 되어 있다.

하지만, 실제 내용은 특정 Application 서버에 한정된 내용이 아닌 범용적이고, 기본적인 이야기가 많이 정리되어 있다.

세부적인 내용은 아니더라도, 제목만이라도 읽어 놓으면 많은 도움이 될 듯 하다.

바로 다운로드 받기 귀찮은 분들은 아래의 내용을 펼쳐서 제목만이라도 읽어보기 바란다.

목차보기

http://2005elc.elancer.co.kr/eTimes/page/eTimes_list.html?cstr=Q0FURUNPREU9QTEwMDAxNTAw

자바 성능 튜닝은 JVM 옵션만 튜닝한다고 해서 되는 것은 아니다.

하지만, Application 단에서 튜닝을 모두 마쳤을 경우 가장 마지막에 해야 하는 것이
JVM의 GC 옵션 및 메모리 부분의 튜닝이다.

물론 사람에 따라 방식이 틀려서 GC 옵션을 처음부터 할 수도 있다.

kenu님 미투데이에 놀러갔다가 ehcache 를 발견했다.

간단히 사용법을 정리한 블로그는 영어지만,
http://blog.cherouvim.com/caching-pages-using-ehcache