BlogJava-JAVA-文章分类-spring cloud 微服务

大厂链路追踪架构图(鹰眼)

为自己代言 — Fri, 04 Jun 2021 07:36:00 GMT

整体架构

从日志生成到抓取、存储、分析、展现的多个系统间交互过程。

EagleEye 的核心

TraceId

在复杂的分布式系统环境下，EagleEye是一个有广泛用途的调用分析和问题排查工具。与一般的调用信息埋点日志相比，EagleEye埋点的一个显著的不同点在于它的每条日志都有与每次请求关联的上下文ID，我们称为TraceId。通过TraceId，后期的日志处理时可以把一次前端请求在不同服务器记录的调用日志关联起来，重新组合成当时这个请求的调用链。因此，EagleEye不仅可以分析到应用之间的直接调用关系，还可以得到他们的间接调用关系、以及上下游的业务处理信息；对于调用链的底层系统，可以追溯到它的最上层请求来源以及中间经过的所有节点；对于调用链的上层入口，可以收集到它的整棵调用树，从而定位下游系统的处理瓶颈，当下游某个应用有异常发生时，能迅速定位到问题发生的位置。

如上图所示，应用A是接受到来自用户浏览器的Web请求的前端服务器，它是一条调用链的开始端，在TBSession和EagleEyeFilter中都做了EagleEye上下文埋点。请求收到后它会先调用EagleEye StartTrace生成TraceId并放置在当前线程的ThreadLocal，日志埋点请求信息（如URL、SessionId、UserId等）。在请求处理完毕提交相应时，再调用EndTrace清理线程中的EagleEye信息。在应用A调用应用B、C的HSF服务，或者发送Notify消息时，TraceId被包含在EagleEye上下文中，随网络请求到达应用B、C、D、E之中，并放置在线程ThreadLocal内，因此后续调用到的这些系统都会有EagleEye这次请求的上下文。这些系统再发起网络请求时，也类似的携带了上下文信息的。

RpcId

为了区别同一个调用链下多个网络调用的顺序和嵌套层次，EagleEye还需要传输和记录RpcId。 RpcId用0.X1.X2.X3.....Xi来表示，Xi都是非负整数，根节点的RpcId固定从0开始，第一层网络调用的RpcId是0.X1，第二层的则为0.X1.X2，依次类推。*例如，从根节点发出的调用的RpcId是0.1、0.2、0.3，RpcId是0.1的节点发出的RpcId则为0.1.1、0.1.2、0.1.3。如下图所示

通过RpcId，可以准确的还原出调用链上每次调用的层次关系和兄弟调用之间的先后顺序。例如上图应用 G 的两次调用0.2.1.1和0.1.2.1，可以看出对 DB 的访问0.2.1.1源于 C 到 G 的调用0.2.1，对 Tair 的访问0.1.2.1源于B 到 G 的调用0.1.2。很多调用场景会比上面说的完全同步的调用更为复杂，比如会遇到异步、单向、广播、并发、批处理等等，这时候需要妥善处理好ThreadLocal上的调用上下文，避免调用上下文混乱和无法正确释放。另外，采用多级序号的RpcId设计方案会比单级序号递增更容易准确还原当时的调用情况。

为自己代言 2021-06-04 15:36 发表评论

SpringBoot异步及线程池配置(jdk8新增加线程支持CompletableFuture)

为自己代言 — Wed, 25 Mar 2020 12:19:00 GMT

摘要: 如何在 Spring 使用@Async,@EnableAsync注释进行异步处理:异步处理适用那些与业务逻辑（横切关注点）不直接相关或者不作为其他业务逻辑输入的部分，也可在分布式系统中解耦。*译注：横切关注点（cross-cutting concerns）指一些具有横越多个模块的行为，使用传统的软件开发方法不能够达到有效模块化的一类特殊关注点。*Spring 中，`@Async`注解可以标记异步操... 阅读全文

为自己代言 2020-03-25 20:19 发表评论

spring boot redis 配置

为自己代言 — Mon, 07 Aug 2017 09:38:00 GMT

1：pom.xml 找自己spring boot 对应的版本

redis.clients

jedis

2.8.1

org.springframework.data

spring-data-redis

1.7.2.RELEASE

2：在spring boot *.properties 配置文件中增加连接配置：

spring.redis.hostName=127.0.0.1

spring.redis.port=6379

spring.redis.password=

spring.redis.pool.maxActive=8

spring.redis.pool.maxWait=-1

spring.redis.pool.maxIdle=8

spring.redis.pool.minIdle=0

spring.redis.timeout=0

3： spring boot 中增加redis 配置连接
/**

* Created by Administrator on 2017/2/27.
*/
@Configuration
@EnableAutoConfiguration
public class RedisConfig {

    private static Logger logger = LoggerFactory.getLogger(RedisConfig.class);

    @Bean
    @ConfigurationProperties(prefix="spring.redis")
    public JedisPoolConfig getRedisConfig(){
        JedisPoolConfig config = new JedisPoolConfig();
        return config;
    }

@Bean
    @ConfigurationProperties(prefix="spring.redis")
    public RedisConnectionFactory jedisConnectionFactory(){
        return new JedisConnectionFactory(getRedisConfig());
    }
    @Bean
    public RedisTemplate redisTemplate(){
        RedisTemplate template = new RedisTemplate();
        //这个缓存key的序列化方式
        template.setKeySerializer(new StringRedisSerializer());
        //设置redis 转换 value 通过jdk序列化方法，GenericJackson2JsonRedisSerializer 这个是json形式
        template.setValueSerializer(new GenericJackson2JsonRedisSerializer());
        template.setConnectionFactory(jedisConnectionFactory());
        return template;
    }

    /**
     * 这个是redis 多值操作返回模版对象。比如：map,set ,list 等
     * @return
     */  @Bean

    public ValueOperations valueOperations(){
        RedisTemplate redisTemplate = new RedisTemplate();
        //这个缓存key的序列化方式
        redisTemplate.setKeySerializer(new StringRedisSerializer());
        //这个缓存value的序列化方式,通过有jdk序列化，这个是json 序列化
        redisTemplate.setValueSerializer(new GenericJackson2JsonRedisSerializer());
        redisTemplate.setExposeConnection(true);
        redisTemplate.setConnectionFactory(jedisConnectionFactory());
        redisTemplate.afterPropertiesSet();
        return redisTemplate.opsForValue();
    }
}

4: RedisTemplate 使用
@Service

public class RedisServiceImpl implements RedisService{

@Autowired

private RedisTemplate redisTemplate;

public boolean expire(final String key, long expire,final TimeUnit unit) {

return redisTemplate.expire(key, expire, unit);

}

@Override

public void setList(String key, List list, long expire, TimeUnit unit) throws Exception {

redisTemplate.delete(key);

redisTemplate.opsForValue().set(key,list,expire,unit);

}

public List getList(String key) {

return (List)redisTemplate.opsForValue().get(key);

}

public void remove(String key){

redisTemplate.delete(key);

}

@Override

public void setKey(String key, String s, long expire, TimeUnit unit) {

redisTemplate.opsForValue().set(key,s,expire,unit);

}

@Override

public String getKey(String key) {

return (String) redisTemplate.opsForValue().get(key);

}

@Override

public Object getKeyForObject(String key) {

return redisTemplate.opsForValue().get(key);

}

@Override

public void setMap(String key, Map map, long expire, TimeUnit unit) throws Exception {

this.expire(key,expire,unit);

redisTemplate.opsForHash().putAll(key,map);

}

@Override

public void removeKeyForMap(String key, String mapKey) {

redisTemplate.opsForHash().delete(key,mapKey);

}

@Override

public void putMapKey(String key, String mapKey, String mapValue) {

redisTemplate.opsForHash().put(key,mapKey,mapValue);

}

public Set keys(String o ){

return redisTemplate.keys(o);

}

5：单元测试类

RunWith(SpringRunner.class)

@SpringBootTest(classes = MyApplication.class)// 指定spring-boot的启动类

//相当于 --spring.profiles.active=dev

@ActiveProfiles(value = "dev")

public class RedisCacheTest {

protected final Logger logger = Logger.getLogger(this.getClass());

@Autowired

private RedisService redisService;

@Autowired

private RedisTemplate redisTemplate;

@Test

public void CacheTest() throws Exception {

redisService.setKey("111111","222222",100, TimeUnit.SECONDS);

redisService.getKey("111111");

}

@Test

public void SaveObjectForCacheTest()throws Exception{

TargetDB targetDB=new TargetDB();

targetDB.setDbType("111");

targetDB.setPort("22");

targetDB.setUserName("zzzlyr");

redisTemplate.opsForValue().set("key111",targetDB);

TargetDB targetDB12= (TargetDB) redisTemplate.opsForValue().get("key111");

System.out.println(targetDB12.toString());

}

@Test

public void SaveMapForCacheTest()throws Exception {

TargetDB targetDB = new TargetDB();

targetDB.setDbType("111");

targetDB.setPort("22");

targetDB.setUserName("zzzlyr");

List list = new LinkedList();

list.add(targetDB);

Map> map = new LinkedHashMap>();

map.put("111111111111", list);

//向缓存中放入map

redisTemplate.opsForHash().putAll("zzzzz", map);

//从缓存中获取map

Map> cacheMap = redisTemplate.opsForHash().entries("zzzzz");

//Map> cacheMap= (Map>) redisTemplate.opsForValue().get("platform-app_AppOperation");

System.out.println(cacheMap.toString());

}

为自己代言 2017-08-07 17:38 发表评论

spring cloud eureka 使用问题

为自己代言 — Tue, 04 Jul 2017 10:30:00 GMT

1: spring cloud eureka 如果出现某个应用实例 down(1), 说明 spring admin 健康检测没有通过导致 eureka 注册中心不会把这个实例从列表中删除掉。这样所有使用这个实例的服务都会现404（前提是在应用中配置过spring admin）； 2：spring admin 健康检测会检测*.properties里的所有连能性的配置(mysql,redis,短信服务，邮件服务)，如果这些URL中有一个不通，则会导致eureka中出现，这个实例down(1) 并且不会从列表中删除掉。例：应用中不使用reides，但是在pom.xml中引用reides的配置（只限于spring-boot redis配置）这样spring admin 健康检测发现*.properties没配置redis,但是spring-boot-starter-data-redis 有默认配置(是localhost), 会导致检测不通过，eureka 显示状态为 down(1). 处理这样问题可以使用：http://eureakIP:port/health 如果没有问题会返回：{"description":"Spring Cloud Eureka Discovery Client","status":"UP"} 如果有问题会返回那个实例的检测什么配置项没有通过，只要修改后重启应用实例，这样eureka应用会显示UP(1);

为自己代言 2017-07-04 18:30 发表评论

spring boot 注解@Transactional事务类内调用不生效问题及解决办法

为自己代言 — Tue, 20 Jun 2017 09:03:00 GMT

1: Java注解@Transactional事务类内调用不生效问题及解决办法
在 Spring 的 AOP 代理下，只有目标方法由外部调用，目标方法才由 Spring 生成的代理对象来管理，这会造成自调用问题。
若同一类中的其他没有@Transactional 注解的方法内部调用有@Transactional 注解的方法，有@Transactional 注解的方法的事务被忽略，不会发生回滚

2:场景问题：

比如：一个class A类 中有三个方法 a(),b(),c(),d()
@Transactional
a();
@Transactional
b();

@Transactional
c(){
 this.a();
 this.b();
}

如果同一个类中：
@Transactional
d(){
 this.c();
}

这样d() @Transactional 会失效，如果出现异常，事物不会回滚，原因是 @Transactional 使用了spring proxy 代理对象 会被AOP拦截，
this.c(),这样调用是本地对象调用，细心同学发现只有 最外层使用代理对象就可以使 @Transactional生效。

解决方法：
1：最简单的一种在自己实现类中注入自己 例：
@Autowired
private Class  class;

这样就可以走spring IOC 容器，出来就是proxy 对象;

2:第二咱方式是通过AopContext.currentProxy()方式

  增加maven依赖：
    
      org.aspectj
      aspectjweaver
      1.9.5
     如果存在忽略这个

 如果是springboot工程在main 方法上增加 @EnableAspectJAutoProxy(exposeProxy = true,proxyTargetClass = true)
 例：
 @SpringBootApplication
 @EnableAspectJAutoProxy(exposeProxy = true,proxyTargetClass = true)
 public class CommonComponentStartApplication {
   public static void main(String[] args) {
      SpringApplication.run(CommonComponentStartApplication.class, args);
   }
 }

 然后就可以在上面的例子中d()中这样使用：
 @Transactional
 d(){
  Class class= ((Class)AopContext.currentProxy());
  class.c();
 }

3:第三种 是通过 applicationcontext  获取 bean

总之这几种方法都是为了得到spring proxy对象,看个人喜好选择。

为自己代言 2017-06-20 17:03 发表评论