Dubbo 泛化调用、阿里的好舒服的泛化调用都是类似的功能。最近给同事排查一个dubbo-admin 控制台调用报错的问题的小研究，为此还给社区提了一个issue，具体可以查看链接 dubbo-admin 泛型参数测试 ClassNotFoundException 看了最新版本好像自动去掉了出现泛型<这样的信息通通干掉，不过没有发布release版本。 参考文档：使用泛化调用

---

1、泛化调用

1.1 概念

泛化接口调用方式主要用于客户端没有 API 接口(泛化调用是指不需要依赖服务的二方包)及模型类元的情况，参数及返回值中的所有 POJO 均用 Map 表示，通常用于框架集成，API网关比如：实现一个通用的服务测试框架，可通过 GenericService 调用所有服务实现。泛化调用的方式可以有效减少平台型产品的二方包依赖，实现系统的轻量级运行。对于服务提供方新增的接口不需要修改二方包的版本，即可调用，不方便的就是对于数据入参、返回值由于没有二方包很难理解，全部都是org.apache.dubbo.common.utils.PojoUtils#generalize(java.lang.Object) 转换为基本类型或者Map等等。

特点

• 没有二方、三方的 接口的类信息、class 字节码
• 直接通过基本的类型参数表示复杂的对象
  

1.2 PojoUtils 说明

PojoUtils. Travel object deeply, and convert complex type to simple type. (深度遍历对象，并将复杂类型转换为简单类型),同时也提供了反向转换。
Simple type below will be remained:

• Primitive Type, also include String, Number(Integer, Long), Date
• Array of Primitive Type
• Collection, eg: List, Map, Set etc.
• Other type will be covert to a map which contains the attributes and value pair of object.

PojoUtils 提供了讲复杂对象转换为简单的对象，通过简单对象转换为复杂对象。有点像序列化和反序列话，你要说它是不是，感觉也没错哈！官方的测试例子不错，可以去了解一下

 List<User> users = new ArrayList<>();
 User user = new User();
 user.setName("other");
 user.setAge(31);
 users.add(user);

 Object generalize = PojoUtils.generalize(users);
 System.out.println(generalize);
 
 //[{name=other, class=org.apache.dubbo.samples.Dto.User, age=31}]

2、泛化例子

基于官方demo 中 dubbo-samples-zookeper，本地安装一个zk 即可启动
https://github.com/apache/dubbo-samples/tree/master/java/dubbo-samples-zookeeper

2.1 实践指南

泛化调用最好的一个参考例子就是dubbo-admin 中 ，通过泛化进行控制台的调用实践，泛化没有二方包，服务提供方的方法参数类型无法直接使用强类型表示，传递的参数也无法直接使用强类型只能通过 参考 ：PojoUtils 序列化 Object generalize = PojoUtils.generalize(data) 例子传递 Map、List 、Array 等基本类型的参数
eg List -> [{name=other, age=31, class=org.apache.dubbo.samples.Dto.User}] 就是List<HashMap<String,String> 这样的结构**，中增加 class 字段信息，反序列化时候使用表征对应的泛型的信息，或者类class的信息**。

泛化必须参数

• 服务的名称、版本、分组 唯一限定符
• 方法名称、方法泛型参数类型
• 传递的 PojoUtils.generalize(data) 序列化后的基本参数

为啥需要这些，就是为了找到具体的接口的提供者、接口的具体的方法是哪个？调用传递的参数是啥，即可享受正常的调用逻辑。如下是dubbo-admin 控制台实践指南，Dubbo API 网关也是类似的概念哦！只要通过配置或者传递参数中有如下的概念即可搞定问题。


泛化泛化的结果：也是基本类型的数据，根据 PojoUtils.generalize(result) 根据result 进行Pojo作为泛化的结果。如下是 dubbo-admin 控制台测试的代码
https://github.com/apache/dubbo-admin/blob/develop/dubbo-admin-server/src/main/java/org/apache/dubbo/admin/service/impl/GenericServiceImpl.java

public Object invoke(String service, String method, String[] parameterTypes, Object[] params) {
    

        ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
        String group = Tool.getGroup(service);
        String version = Tool.getVersion(service);
        String intf = Tool.getInterface(service);
        reference.setGeneric(true);
        reference.setApplication(applicationConfig);
        reference.setInterface(intf);
        reference.setVersion(version);
        reference.setGroup(group);

        try {
    
            removeGenericSymbol(parameterTypes);
            GenericService genericService = reference.get();
            return genericService.$invoke(method, parameterTypes, params);
        } finally {
    
            reference.destroy();
        }
    }

    /**
     * remove generic from parameterTypes 排除掉泛型信息
     *
     * @param parameterTypes
     */
    private void removeGenericSymbol(String[] parameterTypes){
    
        for (int i = 0; i < parameterTypes.length; i++) {
    
            int index = parameterTypes[i].indexOf("<");
            if (index > -1) {
    
                parameterTypes[i] = parameterTypes[i].substring(0, index);
            }
        }
    }

2.2 简单的泛化调用

Provider 接口

针对官方的版本 添加了一个泛化的对象的接口

import java.util.List;

import org.apache.dubbo.config.annotation.Service;
import org.apache.dubbo.samples.Dto.User;
import org.apache.dubbo.samples.api.GreetingService;

@Service(version = "1.0.0.daily", group = "dubbo")
public class AnnotatedGreetingService implements GreetingService {
    

    /**
     * 简单测试
     * 
     * @param name
     * @return
     */
    @Override
    public String sayHello(String name) {
    
        System.out.println("greeting service received: " + name);
        return "hello, " + name;
    }

    /**
     * 测试泛型接口
     * 
     * @param users
     * @return
     */
    @Override
    public List<User> getListUserIncludeMe(List<User> users) {
    
        if (users == null) {
    
            return null;
        }
        User user = new User();
        user.setName("wangji");
        user.setAge(28);
        users.add(user);
        return users;
    }
}


/**
 * @author wangji
 * @date 2020/6/2 7:12 PM
 */
public class User {
    
    private String name;

    private Integer age;

    public String getName() {
    
        return name;
    }

    public void setName(String name) {
    
        this.name = name;
    }

    public Integer getAge() {
    
        return age;
    }

    public void setAge(Integer age) {
    
        this.age = age;
    }
}

泛化调用

最最关键的地方在于 genericService.$invoke，调用这个泛化接口的几个最主要的参数信息。最好自己动手实践一下子。

public static void main(String[] args) {
    

    ApplicationConfig application = new ApplicationConfig();
    application.setName("Test-" + UUID.randomUUID().toString());
    RegistryConfig registryConfig = new RegistryConfig();
    registryConfig.setAddress("zookeeper://127.0.0.1:2181");
    application.setRegistry(registryConfig);
    application.setQosEnable(false);

    ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
    String group = "dubbo";
    String version = "1.0.0.daily";
    String interfaceName = "org.apache.dubbo.samples.api.GreetingService";
    reference.setGeneric(true);
    reference.setApplication(application);
    reference.setInterface(interfaceName);
    reference.setVersion(version);
    reference.setGroup(group);
    GenericService genericService = reference.get();

    Object data = genericService.$invoke("sayHello", new String[] {
     "java.lang.String" },
                                         new Object[] {
     "wangji" });

    System.out.println("result：" + data);

 }
// result：hello, wangji

2.3 含有泛型对象的泛化调用

如果你不知道怎么编写这个参数，可以 PojoUtils.generalize(data) 通过这个接口来生成对象，来看一下生成的数据的结构是咋样的。

注意泛型参数传递的参数类型不包含 java.util.List<org.apache.dubbo.samples.Dto.User> 后面的泛型的信息，只需要传递 java.util.List 即可。

 public static void main(String[] args) {
    

     ApplicationConfig application = new ApplicationConfig();
     application.setName("Test-" + UUID.randomUUID().toString());
     RegistryConfig registryConfig = new RegistryConfig();
     registryConfig.setAddress("zookeeper://127.0.0.1:2181");
     application.setRegistry(registryConfig);
     application.setQosEnable(false);

     ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
     String group = "dubbo";
     String version = "1.0.0.daily";
     String interfaceName = "org.apache.dubbo.samples.api.GreetingService";
     reference.setGeneric(true);
     reference.setApplication(application);
     reference.setInterface(interfaceName);
     reference.setVersion(version);
     reference.setGroup(group);
     GenericService genericService = reference.get();

     List<User> users = new ArrayList<>();
     User user = new User();
     user.setName("other");
     user.setAge(31);
     users.add(user);

     Object generalize = PojoUtils.generalize(users);
     System.out.println(generalize);

     Object getListUserIncludeMe = genericService.$invoke("getListUserIncludeMe", new String[] {
     "java.util.List" },
                                                          new Object[] {
     generalize });

     System.out.println(getListUserIncludeMe);

    }

// [{name=other, class=org.apache.dubbo.samples.Dto.User, age=31}]
// [{name=other, class=org.apache.dubbo.samples.Dto.User, age=31}, {name=wangji, class=org.apache.dubbo.samples.Dto.User, age=28}]

2.4 指定IP调用Provider

测试环境中相同的服务会存在多台，如果你想调用具体的某台机子咋办呢？指定具体的IP进行调用，没有看到官方的文档、问了一下小杰子的实践，参考试了一下泛化调用直接ip 也是ok的，只需要找到具体的服务提供者即可。
不过不同的版本好像不一样，没有仔细尝试


设置服务的url 即可满足，能够定位一个服务即可

dubbo 版本 2.7.2

reference.setUrl("dubbo://192.168.1.3:20880/org.apache.dubbo.samples.api.GreetingService");

dubbo 版本 2.7.0

需要添加分组的信息才行

reference.setUrl("dubbo://192.168.1.3:20880/分组/org.apache.dubbo.samples.api.GreetingService");

指定ip调用完整的例子

基于 2.7.2 版本

public static void main(String[] args) {
    
    ApplicationConfig application = new ApplicationConfig();
    application.setName("Test-" + UUID.randomUUID().toString());
    RegistryConfig registryConfig = new RegistryConfig();
    registryConfig.setAddress("zookeeper://127.0.0.1:2181");
    application.setRegistry(registryConfig);
    application.setQosEnable(false);

    ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
    String group = "dubbo";
    String version = "1.0.0.daily";
    String interfaceName = "org.apache.dubbo.samples.api.GreetingService";
    reference.setGeneric(true);
    reference.setApplication(application);
    reference.setInterface(interfaceName);
    reference.setVersion(version);
    reference.setGroup(group);

    reference.setUrl("dubbo://192.168.1.3:20880/org.apache.dubbo.samples.api.GreetingService");
    GenericService genericService = reference.get();

    Object data = genericService.$invoke("sayHello", new String[] {
     "java.lang.String" },
                                         new Object[] {
     "wangji" });

    System.out.println("result：" + data);

 }

issue 中错误的调用

java.util.List<org.apache.dubbo.samples.Dto.User> 这个是由于PojoUtils的实现问题，导致这样的写法是有问题的。

Object getListUserIncludeMe = genericService.$invoke("getListUserIncludeMe", new String[] { "java.util.List<org.apache.dubbo.samples.Dto.User>" },
                                                             new Object[] { generalize });
    
// at org.apache.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:82)
// at org.apache.dubbo.rpc.filter.EchoFilter.invoke(EchoFilter.java:41)
// at org.apache.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:82)
// at org.apache.dubbo.rpc.protocol.ProtocolFilterWrapper$CallbackRegistrationInvoker.invoke(ProtocolFilterWrapper.java:150)
// at org.apache.dubbo.rpc.protocol.dubbo.DubboProtocol$1.reply(DubboProtocol.java:152)
// at org.apache.dubbo.remoting.exchange.support.header.HeaderExchangeHandler.handleRequest(HeaderExchangeHandler.java:102)
// at org.apache.dubbo.remoting.exchange.support.header.HeaderExchangeHandler.received(HeaderExchangeHandler.java:193)
// at org.apache.dubbo.remoting.transport.DecodeHandler.received(DecodeHandler.java:51)
// at org.apache.dubbo.remoting.transport.dispatcher.ChannelEventRunnable.run(ChannelEventRunnable.java:57)
// at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
// at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
// at java.lang.Thread.run(Thread.java:748)
// Caused by: java.lang.ClassNotFoundException: java.util.List<org.apache.dubbo.samples.Dto.User>
// at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
// at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
// at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
// at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
// at java.lang.Class.forName0(Native Method)
// at java.lang.Class.forName(Class.java:348)
// at org.apache.dubbo.common.utils.ReflectUtils.name2class(ReflectUtils.java:743)
// at org.apache.dubbo.common.utils.ReflectUtils.name2class(ReflectUtils.java:670)
// at org.apache.dubbo.common.utils.ReflectUtils.findMethodByMethodSignature(ReflectUtils.java:885)

3、实现原理

dubbo泛化调用原理 画的这个图不错十分的形象生动，可以总结一下 泛化的原理

原理简介

+-------------------------------------------+               +-------------------------------------------+
|  consumer 端                               |               | provider 端                                |
|                                           |               |                                           |
|                                           |               |                                           |
|                                           |               |                                           |
|                                           |               |                                           |
|                    +------------------+   |               |       +--------------+                    |
|                    |GenericImplFilter |   |  Invocation   |       |GenericFilter |                    |
|             +----> |                  +-------------------------> |              |                    |
|             |      +------------------+   |               |       +--------------+                    |
| +-----------+                             |               |                      |    +-----------+   |
| |           |                             |               |                      |    |           |   |
| |Client     |                             |               |                      +--> | Service   |   |
| |           |                             |               |                           |           |   |
| +-----------+                             |               |                           +-------+---+   |
|                                           |               |                                   |       |
|      ^             +------------------+   |               |       +--------------+            |       |
|      |             |GenericImplFilter |   |               |       |GenericFilter | <----------+       |
|      +-------------+                  | <-------------------------+              |                    |
|                    +------------------+   |               |       +--------------+                    |
|                                           |               |                                           |
|                                           |               |                                           |
|                                           |               |                                           |
|                                           |               |                                           |
+-------------------------------------------+               +-------------------------------------------+

• 基于PojoUtils 简化复杂对象，不用引入二方包。
• 针对 com.alibaba.dubbo.rpc.service.GenericService.$invoke(String method, String[] parameterTypes, Object[] args) 这个接口进行特殊判断，基于拦截器处理特殊拦截。
• 基于拦截器，消费者端 GenericImplFilter 处理(不考虑dubbo 其他的复杂序列化的需求很简单，基本上啥都不做)
• 基于拦截器，服务提供者端 GenericFilter处理，>1 基于接口、方法名称、方法参数类型查询具体的服务、服务的方法名称; 2> 基于PojoUtils 、方法参数类型、方法参数 反序列化为复杂的参数对象PojoUtils.realize(args, params, method.getGenericParameterTypes()) ；3、基于PojoUtils.generalize(appResponse.getValue()) 序列化返回值。

简单实现泛化的过滤器

消费者端

/**
 * GenericImplInvokerFilter 基于官方的class 2.7.2 删掉不要的东西，简化理解
 */
@Activate(group = CommonConstants.CONSUMER, value = GENERIC_KEY, order = 20000)
public class GenericImplFilter extends ListenableFilter {
    

    private static final Logger logger = LoggerFactory.getLogger(GenericImplFilter.class);

    private static final Class<?>[] GENERIC_PARAMETER_TYPES = new Class<?>[]{
    String.class, String[].class, Object[].class};

    public GenericImplFilter() {
    
        super.listener = new GenericImplListener();
    }

    @Override
    public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
    
        String generic = invoker.getUrl().getParameter(GENERIC_KEY);
        if ((invocation.getMethodName().equals($INVOKE) || invocation.getMethodName().equals($INVOKE_ASYNC))
                && invocation.getArguments() != null
                && invocation.getArguments().length == 3
                && ProtocolUtils.isGeneric(generic)) {
    

            invocation.setAttachment(
                    GENERIC_KEY, invoker.getUrl().getParameter(GENERIC_KEY));
        }
        return invoker.invoke(invocation);
    }

    static class GenericImplListener implements Listener {
    
        @Override
        public void onResponse(Result appResponse, Invoker<?> invoker, Invocation invocation) {
    
            
        }

        @Override
        public void onError(Throwable t, Invoker<?> invoker, Invocation invocation) {
    

        }
    }

}

生产者端

/**
 * GenericInvokerFilter. 基于官方的class 2.7.2 删掉不要的东西，简化理解
 */
@Activate(group = CommonConstants.PROVIDER, order = -20000)
public class GenericFilter extends ListenableFilter {
    

    public GenericFilter() {
    
        super.listener = new GenericListener();
    }

    @Override
    public Result invoke(Invoker<?> invoker, Invocation inv) throws RpcException {
    
        if ((inv.getMethodName().equals($INVOKE) || inv.getMethodName().equals($INVOKE_ASYNC))
                && inv.getArguments() != null
                && inv.getArguments().length == 3
                && !GenericService.class.isAssignableFrom(invoker.getInterface())) {
    
            String name = ((String) inv.getArguments()[0]).trim();
            String[] types = (String[]) inv.getArguments()[1];
            Object[] args = (Object[]) inv.getArguments()[2];
            try {
    
                // 找到调用的接口
                Method method = ReflectUtils.findMethodByMethodSignature(invoker.getInterface(), name, types);
                Class<?>[] params = method.getParameterTypes();
                if (args == null) {
    
                    args = new Object[params.length];
                }
                String generic = inv.getAttachment(GENERIC_KEY);

                if (StringUtils.isBlank(generic)) {
    
                    generic = RpcContext.getContext().getAttachment(GENERIC_KEY);
                }

                if (StringUtils.isEmpty(generic)
                        || ProtocolUtils.isDefaultGenericSerialization(generic)) {
    
                    // 将PojoUtils 转换的简单对象 转换为复杂的对象 
                    args = PojoUtils.realize(args, params, method.getGenericParameterTypes());
                }
                return invoker.invoke(new RpcInvocation(method, args, inv.getAttachments()));
            } catch (NoSuchMethodException e) {
    
                throw new RpcException(e.getMessage(), e);
            } catch (ClassNotFoundException e) {
    
                throw new RpcException(e.getMessage(), e);
            }
        }
        return invoker.invoke(inv);
    }

    static class GenericListener implements Listener {
    

        @Override
        public void onResponse(Result appResponse, Invoker<?> invoker, Invocation inv) {
    
            if ((inv.getMethodName().equals($INVOKE) || inv.getMethodName().equals($INVOKE_ASYNC))
                    && inv.getArguments() != null
                    && inv.getArguments().length == 3
                    && !GenericService.class.isAssignableFrom(invoker.getInterface())) {
    

                String generic = inv.getAttachment(GENERIC_KEY);
                if (StringUtils.isBlank(generic)) {
    
                    generic = RpcContext.getContext().getAttachment(GENERIC_KEY);
                }

                if (appResponse.hasException() && !(appResponse.getException() instanceof GenericException)) {
    
                    appResponse.setException(new GenericException(appResponse.getException()));
                }
                // 设置反序列化 讲复杂对象转换为简单的基础对象
                appResponse.setValue(PojoUtils.generalize(appResponse.getValue()));
                
            }
        }

        @Override
        public void onError(Throwable t, Invoker<?> invoker, Invocation invocation) {
    

        }
    }
}

基于真实数据观察 过滤器的值的传递

org.apache.dubbo.rpc.RpcInvocation 打印的效果，方便理解。

public String toString() {
    
        return "RpcInvocation [methodName=" + methodName + ", parameterTypes="
                + Arrays.toString(parameterTypes) + ", arguments=" + Arrays.toString(arguments)
                + ", attachments=" + attachments + "]";
    }

消费者端GenericImplFilter观察

org.apache.dubbo.rpc.filter.GenericImplFilter

GenericImplFilter 消费者 invoker.getUrl()的值

dubbo://192.168.1.3:20880/org.apache.dubbo.samples.api.GreetingService?application=Test-0519fed7-71d4-494b-b225-15f153bb79db&dubbo=2.0.2&generic=true&group=dubbo&interface=org.apache.dubbo.samples.api.GreetingService&lazy=false&pid=12632&qos-enable=false&register.ip=192.168.1.3&side=consumer&sticky=false&timestamp=1591110891800&version=1.0.0.daily

GenericImplFilter 消费者 invocation.toString()的值

RpcInvocation 
[methodName=$invoke,//调用的方法
parameterTypes=[class java.lang.String, class [Ljava.lang.String;,
class [Ljava.lang.Object;],//通用泛型的参数类型
arguments=[sayHello, [Ljava.lang.String;@68b32e3e, [Ljava.lang.Object;@bcef303],
attachments={}
]

生产者端GenericFilter 观察

org.apache.dubbo.rpc.filter.GenericFilter

GenericFilter RpcInvocation的toString的值

RpcInvocation 
[methodName=$invoke, 
parameterTypes=[class java.lang.String, class [Ljava.lang.String;, class [Ljava.lang.Object;],
arguments=[sayHello, [Ljava.lang.String;@4174acb6, [Ljava.lang.Object;@5486085f],
attachments={path=org.apache.dubbo.samples.api.GreetingService, 
input=351, dubbo=2.0.2, 
interface=org.apache.dubbo.samples.api.GreetingService, 
version=1.0.0.daily, generic=true, 
group=dubbo}]

GenericFilter invoker.getUrl()

dubbo://192.168.1.3:20880/org.apache.dubbo.samples.api.GreetingService?anyhost=true&application=zookeeper-demo-provider&bean.name=ServiceBean:org.apache.dubbo.samples.api.GreetingService:1.0.0.daily:dubbo&bind.ip=192.168.1.3&bind.port=20880&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&group=dubbo&interface=org.apache.dubbo.samples.api.GreetingService&methods=sayHello,getListUserIncludeMe&pid=12595&qos-accept-foreign-ip=false&register=true&release=2.7.2&revision=1.0.0.daily&side=provider&timestamp=1591110149299&version=1.0.0.daily

4、总结

对于dubbo的泛化调用的文章一直想记录一篇，一直苦于没有思路，不知道怎么找到合适的切入角来描述这个问题，正好最近协助同事排查问题，正好有所收获，因此记录一篇博客，在了解过程中不断的进化，加深了对于dubbo的认知。6-2 号，特殊的日子，好像是我阳历的生日 happy ~~