如何设置线程池的大小

参考答案

使用利特尔法则（Little’s law）来判定线程池大小。

一个系统请求数等于请求的到达率与平均每个单独请求花费的时间之乘积

假设服务器单核的，对应业务需要保证请求量（QPS）：10 ，真正处理一个请求需要 1 秒，那么服务器每个时刻都有 10 个请求在处理，即需要 10 个线程。

使用利特尔法则（Little’s law）来判定线程池大小，我们只需计算请求到达率和请求处理的平均时间。然后，将上述值放到利特尔法则（Little’s law）就可以算出系统平均请求数。估算公式如下：

线程池大小 = （（线程 IO time + 线程 CPU time ）/线程 CPU time ） CPU数目*

1.   具体实践，需要 3 个具体数值

• 一个请求所消耗的时间 (线程 IO time + 线程 CPU time)
• 该请求计算时间 （线程 CPU time）
• CPU 数目

2.   请求消耗时间

Web 服务容器中，可通过 Filter 来拦截获取该请求前后消耗的时间：

public class MoniterFilter implements Filter {

    private static final Logger logger = LoggerFactory.getLogger(MoniterFilter.class);

    @Override
    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException,
            ServletException {
        long start = System.currentTimeMillis();

        HttpServletRequest httpRequest = (HttpServletRequest) request;
        HttpServletResponse httpResponse = (HttpServletResponse) response;
        String uri = httpRequest.getRequestURI();
        String params = getQueryString(httpRequest);

        try {
            chain.doFilter(httpRequest, httpResponse);
        } finally {
            long cost = System.currentTimeMillis() - start;
            logger.info("access url [{}{}], cost time [{}] ms )", uri, params, cost);
        }
  
    private String getQueryString(HttpServletRequest req) {
        StringBuilder buffer = new StringBuilder("?");
        Enumeration<String> emParams = req.getParameterNames();
        try {
            while (emParams.hasMoreElements()) {
                String sParam = emParams.nextElement();
                String sValues = req.getParameter(sParam);
                buffer.append(sParam).append("=").append(sValues).append("&");
            }
            return buffer.substring(0, buffer.length() - 1);
        } catch (Exception e) {
            logger.error("get post arguments error", buffer.toString());
        }
        return "";
    }
}

3.  CPU 计算时间

CPU 计算时间 = 请求总耗时 - CPU IO time

假设该请求有一个查询 DB 的操作，只要知道这个查询 DB 的耗时（CPU IO time），计算的时间就出来了。

我们来看下如何才能更简洁明了的记录 DB 查询的耗时。通过（JDK 动态代理/ CGLIB）的方式添加 AOP 切面，来获取线程 IO 耗时。

参考实例：

public class DaoInterceptor implements MethodInterceptor {

    private static final Logger logger = LoggerFactory.getLogger(DaoInterceptor.class);

    @Override
    public Object invoke(MethodInvocation invocation) throws Throwable {
        StopWatch watch = new StopWatch();
        watch.start();
        Object result = null;
        Throwable t = null;
        try {
            result = invocation.proceed();
        } catch (Throwable e) {
            t = e == null ? null : e.getCause();
            throw e;
        } finally {
            watch.stop();
            logger.info("({}ms)", watch.getTotalTimeMillis());

        }

        return result;
    }

}

4.  CPU 数目

逻辑 CPU 个数 ，设置线程池大小的时候参考的 CPU 个数：

cat /proc/cpuinfo| grep "processor"| wc -l

最后，还需要通过压力测试来进行微调，只有经过压测测试的检验，才能最终保证的配置大小是准确的。

合适配置线程池的大小，实现起来不容易。但是，通过上述的公式和具体代码，就能快速、落地的算出这个线程池该设置的大小。

以上，是Java面试题【如何设置线程池的大小】的参考答案。

输出，是最好的学习方法。

欢迎在评论区留下你的问题、笔记或知识点补充~

—end—