淺談java線程池

jopen 9年前發布 | 12K 次閱讀 線程池 Java開發

熟悉java多線程的朋友一定十分了解java的線程池，jdk中的核心實現類為java.util.concurrent.ThreadPoolExecutor。大家可能了解到它的原理，甚至看過它的源碼；但是就像我一樣，大家可能對它的作用存在誤解。。。現在問題來了，jdk為什么要提供java線程池？使用java線程池對于每次都創建一個新Thread有什么優勢？

對線程池的誤解

很長一段時間里我一直以為java線程池是為了提高多線程下創建線程的效率。創建好一些線程并緩存在線程池里，后面來了請求（Runnable）就從連接池中取出一個線程處理請求；這樣就避免了每次創建一個新Thread對象。直到前段時間我看到一篇Neal Gafter（和Joshua Bloch合著了《Java Puzzlers》，現任職于微軟，主要從事.NET語言方面的工作）的訪談，里面有這么一段談話（http://www.infoq.com/cn/articles/neal-gafter-on-java）：

乍一看，大神的思路就是不一樣：java線程池是為了防止java線程占用太多資源？

雖然是java大神的訪談，但是也不能什么都信，你說占資源就占資源？還是得寫測試用例測一下。

首先驗證下我的理解：

java線程池和創建java線程哪個效率高？

直接上測試用例： 

public class ThreadPoolTest extends TestCase {
    private static final int COUNT = 10000;


    public void testThreadPool() throws InterruptedException {
        CountDownLatch countDownLatch = new CountDownLatch(COUNT);
        ExecutorService executorService = Executors.newFixedThreadPool(100);
        long bg = System.currentTimeMillis();
        for (int i = 0; i < COUNT; i++) {
        Runnable command = new TestRunnable(countDownLatch);
        executorService.execute(command);
        }
        countDownLatch.await();
        System.out.println("testThreadPool:" + (System.currentTimeMillis() - bg));
    }


    public void testNewThread() throws InterruptedException {
        CountDownLatch countDownLatch = new CountDownLatch(COUNT);
        long bg = System.currentTimeMillis();
        for (int i = 0; i < COUNT; i++) {
        Runnable command = new TestRunnable(countDownLatch);
        Thread thread = new Thread(command);
        thread.start();
        }
        countDownLatch.await();
        System.out.println("testNewThread:" + (System.currentTimeMillis() - bg));
    }


    private static class TestRunnable implements Runnable {
        private final CountDownLatch countDownLatch;


        TestRunnable(CountDownLatch countDownLatch) {
        this.countDownLatch = countDownLatch;
        }


        @Override
        public void run() {
        countDownLatch.countDown();
        }
    }
}</pre> 
這里使用Executors.newFixedThreadPool(100)是為了控制線程池的核心連接數和最大連接數一樣大，都為100。 


我的機子上的測試結果： 


testThreadPool:31
testNewThread:624
 
可以看到，使用線程池處理10000個請求的處理時間為31ms，而每次啟用新線程的處理時間為624ms。




好了，使用線程池確實要比每次都創建新線程要快一些；但是testNewThread一共耗時624ms，算下平均每次請求的耗時為： 


624ms/10000=62.4us
 
每次創建并啟動線程的時間為62.4微秒。根據80/20原理，這點兒時間根本可以忽略不計。所以線程池并不是為了效率設計的。 

 
java線程池是為了節約資源？ 


再上測試用例： 


public class ThreadPoolTest extends TestCase {
    public void testThread() throws InterruptedException {
        int i = 1;
        while (true) {
        Runnable command = new TestRunnable();
        Thread thread = new Thread(command);
        thread.start();
        System.out.println(i++);
        }
    }


    private static class TestRunnable implements Runnable {
        @Override
        public void run() {
        try {
            Thread.sleep(1000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        }
    }
}</pre> 
以上用例模擬每次請求都創建一個新線程處理請求，然后默認每個請求的處理時間為1000ms。而在我的機子上當請求數達到1096時會內存溢出： 


java.lang.OutOfMemoryError: unable to create new native thread
 
為什么會拋OOM Error呢？因為jvm會為每個線程分配一定內存（JDK5.0以后每個線程堆棧大小為1M,以前每個線程堆棧大小為256K，也可以通過jvm參數-Xss來設置），所以當線程數達到一定數量時就報了該error。 


設想如果不使用java線程池，而為每個請求都創建一個新線程來處理該請求，當請求量達到一定數量時一定會內存溢出的；而我們使用java線程池的話，線程數量一定會<=maximumPoolSize（線程池的最大線程數），所以設置合理的話就不會造成內存溢出。 


現在問題明朗了：java線程池是為了防止內存溢出，而不是為了加快效率。 

 
淺談java線程池 


上文介紹了java線程池啟動太多會造成OOM，使用java線程池也應該設置合理的線程數數量；否則應用可能十分不穩定。然而該如何設置這個數量呢？我們可以通過這個公式來計算： 


(MaxProcessMemory - JVMMemory - ReservedOsMemory) / (ThreadStackSize) = Max number of threads 


    

  • 

    MaxProcessMemory     進程最大的內存
    

    
</li>
    

  • 

    JVMMemory                 JVM內存 
    
</li>
    

  • 

    ReservedOsMemory     JVM的本地內存
    

    
</li>
    

  • 

    ThreadStackSize            線程棧的大小 
    
</li>
</ul>
 
    MaxProcessMemory
    

    

    MaxProcessMemory：進程最大的尋址空間，當然也不能超過虛擬內存和物理內存的總和。關于不同系統的進程可尋址的最大空間，可參考下面表格： 
    

    

    
</tr>
    
</tr>
    
</tr>
    
</tr>
    
</tr>
    
</tr>
    
</tr>
    
</tr>
</tbody>
</table>
 
    JVMMemory 
    JVMMemory: Heap + PermGen，即堆內存和永久代內存和（注意，不包括本地內存）。 
    ReservedOsMemory 
    ReservedOSMemory：Native heap，即JNI調用方法所占用的內存。 
    ThreadStackSize 
    ThreadStackSize：線程棧的大小，JDK5.0以后每個線程堆棧大小默認為1M,以前每個線程堆棧大小為256K；可以通過jvm參數-Xss來設置；注意-Xss是jvm的非標準參數，不強制所有平臺的jvm都支持。 
    如何調大線程數？
    

    如果程序需要大量的線程，現有的設置不能達到要求，那么可以通過修改MaxProcessMemory，JVMMemory，ThreadStackSize這三個因素，來增加能創建的線程數： 
    


    
Maximum Address Space Per Process 

    
    		

    
Operating System 
Maximum Address Space Per Process 

    
Redhat Linux 32 bit 
2 GB 

    
Redhat Linux 64 bit 
3 GB 

    
Windows 98/2000/NT/Me/XP 
2 GB 

    
Solaris x86 (32 bit) 
4 GB 

    
Solaris 32 bit 
4 GB 

    
Solaris 64 bit 
Terabytes 

 

 




  • 

  • 

    • 

    •
sesese色