WebMagic是一个开源的java爬虫框架。WebMagic框架的使用并不是本文的重点，具体如何使用请参考官方文档：http://webmagic.io/docs/。 本文是对spring boot+WebMagic+MyBatis做了整合，使用WebMagic爬取数据，然后通过MyBatis持久化爬取的数据到mysql数据库。本文提供的源代码可以作为java爬虫项目的脚手架。 1.添加ma

Oracle 于 2014 发布了 Java8（jdk1.8），诸多原因使它成为目前市场上使用最多的 jdk 版本。虽然发布距今已将近 7 年，但很多程序员对其新特性还是不够了解，尤其是用惯了 java8 之前版本的老程序员，比如我。 为了不脱离队伍太远，还是有必要对这些新特性做一些总结梳理。它较 jdk.7 有很多变化或者说是优化，比如 interface 里可以有静态方法，并且可以有方法体，这

有很多小伙伴在写代码的时候，有一些比较基础的问题没有考虑到，导致项目 Code Review 的时候被 diss。 上周五 Code Review 的时候，团队有个工作1年多的小伙伴使用 Java 集合的时候就出现了一个非常基础的问题。 这篇文章我根据《阿里巴巴 Java 开发手册》总结了关于集合使用常见的注意事项以及其具体原理。 强烈建议小伙伴们多多阅读几遍，避免自己写代码的时候出现这些低级的问

导读：阿里云 RDS 专家服务团队帮助云上客户解决过很多紧急问题。现将《ApsaraDB专家诊断报告》中出现的部分常见 SQL 问题总结如下，供大家参考。 MySQL 在近几年仍然保持强劲的数据库流行度增长趋势。越来越多的客户将自己的应用建立在 MySQL 数据库之上，甚至是从 Oracle 迁移到 MySQL上来。但也存在部分客户在使用 MySQL 数据库的过程中遇到一些比如响应时间慢，CP

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在 千万级以下，字符串为主的表在 五百万 以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用 TINYINT

知识这个东西，看来真的要温故而知新，一直不用，都要忘记了 业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入 那么问题来了，是不是每次插入之前都要查一遍，看看重不重复，在代码里筛选一下数据，重复的就过滤掉呢？ 向大数据数据库中插入值时，还要判断插入是否重复，然后插入。如何提高效率 看来这个问题不止我一个人苦恼过。 解决的办法有很多种，不同的场景解决方

本文介绍Java中数组转为List三种情况的优劣对比，以及应用场景的对比，以及程序员常犯的类型转换错误原因解析。 一.最常见方式（未必最佳） 通过 Arrays.asList(strArray) 方式,将数组转换List后，不能对List增删，只能查改，否则抛异常。 关键代码：List list = Arrays.asList(strArray); private void testArrayCa

Part1引言 某个忙（mo）碌（yu）的下午，旁边的刘哥（老江湖，从业5年+）突然发出了一声叹息:“哎，mysql 出bug了，有索引不走”。 作为一个热心的人，我立即说到：“是不是，对索引字段做了函数操作”。 刘哥沉思了2秒，略有玩味的小眼神看了看我,慢慢说道：“常规的情况，对索引字段做函数操作，或者 字符串与数字比较造成的隐式转换，这次的SQL都不涉及”。 我一听顿时来了兴趣，略带兴奋的跟刘

在使用SpringMVC进行项目的时候用到了权限验证。 表分为/用户表/角色表/资源表。 用户-角色-资源都是多对多的关系，验证无非就是收到请求后，在拦截器循环判断用户是否有权限执行操作。 方法一：通过request获得用户的URI，再逐一循环判断是否可以操作。只是这种方法很让人难受。 方法二：通过用户要访问的方法来判断是否有权限： preHandle方法中handler实际为Hand

一、介绍 Java由Sun Microsystems发明并在1995年发布，是世界上使用最广泛的编程语言之一。Java是一个通用编程语言。由于它拥有功能强大的库、运行时、简单的语法、平台无关（Write Once, Run Anywhere - WORA）以及令人敬畏的社区从而吸引了很多的开发者。 本系列文章我们我们将会覆盖一些高级的Java概念，我们假设你对Java语言已经有一些基础知识。本系列

从 Java 8 引入的一个很有趣的特性是 Optional 类。Optional 类主要解决的问题是臭名昭著的空指针异常（NullPointerException） —— 每个 Java 程序员都非常了解的异常。本质上，这是一个包含有可选值的包装类，这意味着 Optional 类既可以含有对象也可以为空。 Optional 是 Java 实现函数式编程的强劲一步，并且帮助在范式中实现。但是 O

消息中间件是分布式系统常用的组件，无论是异步化、解耦、削峰等都有广泛的应用价值。我们通常会认为，消息中间件是一个可靠的组件——这里所谓的可靠是指，只要我把消息成功投递到了消息中间件，消息就不会丢失，即消息肯定会至少保证消息能被消费者成功消费一次，这是消息中间件最基本的特性之一，也就是我们常说的“AT LEAST ONCE”，即消息至少会被“成功消费一遍”。 举个例子，一个消息M发送到了消息中间件，

文章介绍了spring-boot中实现通用auth的四种方式，包括 传统AOP、拦截器、参数解析器和过滤器，并提供了对应的实例代码，最后简单总结了下他们的执行顺序。 前言 最近一直被无尽的业务需求淹没，没时间喘息，终于接到一个能让我突破代码舒适区的活儿，解决它的过程非常曲折，一度让我怀疑人生，不过收获也很大，代码方面不明显，但感觉自己抹掉了 java、Tomcat、Spring 一直挡在我眼前的一