博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
二进制序列化
阅读量:4034 次
发布时间:2019-05-24

本文共 5469 字,大约阅读时间需要 18 分钟。

在计算机世界,万物皆01二进制,包括各种各样的文件格式和网络协议,二进制格式最为常见!NewLife.Core 内置了完整的二进制序列化框架 Binary,经过十多年洗礼,发展到了第三代支持Handler处理器扩展。Binary的同类框架有 Protobuf、Thrift、MessagePack。

Nuget包:NewLife.Core

源码地址:https://github.com/NewLifeX/X/tree/master/NewLife.Core/Serialization/Binary

主要特性

Binary主要功能特性:

  1. 体积极小。Binary是Schemaless架构,不包含字段名和序号,用最少的字节去保存数据

  2. 压缩整数。大多数时候Int32字段保存的数字很小,采用七位压缩编码整数保存可以减少体积

  3. 格式简单。尽管Binary只有.NET版,但其格式非常简单,可以很容易在其它语言上实现

  4. 支持性很广。Binary设计初衷,就是用于实现各种已知文件格式和通信协议,例如ZipFile

  5. 支持动态特性。可根据某些字段值,生成不同消息类型,例如MQTT和DNS协议

  6. 可读性较差。二进制格式且没有Schema,可读性较差

  7. 无版本支持。需要读写双方约定好多版本格式的兼容

Binary设计理念,就是用最小的体积去保存数据,且能够灵活实现各种文件格式和通信协议的序列化。

直接序列化对象,在没有使用额外压缩算法的条件下,Binary几乎是结果体积最小的序列化框架。

快速用法

想要序列化一个对象,或者反序列化一个数据流到对象,最直接的想法就是这样

// 快速读取public static T FastRead
(Stream stream, Boolean encodeInt = true);// 快速写入public static Packet FastWrite(Object value, Boolean encodeInt = true);public static void FastWrite(Object value, Stream stream, Boolean encodeInt = true);

Binary.FastWrite 可以直接把一个对象序列化为数据包Packet,可以理解为字节数组Byte[]的包装。

Binary.FastRead 从数据流中反序列化得到目标类型的对象,这里必须指定目标类型,否则Binary不知道应该如何解析。

例子

[Fact]public void Fast(){    var model = new MyModel { Code = 1234, Name = "Stone" };    var pk = Binary.FastWrite(model);    Assert.Equal(8, pk.Total);    Assert.Equal("D2090553746F6E65", pk.ToHex());    Assert.Equal("0gkFU3RvbmU=", pk.ToArray().ToBase64());    var model2 = Binary.FastRead
(pk.GetStream()); Assert.Equal(model.Code, model2.Code); Assert.Equal(model.Name, model2.Name); var ms = new MemoryStream(); Binary.FastWrite(model, ms); Assert.Equal("D2090553746F6E65", ms.ToArray().ToHex());}private class MyModel{ public Int32 Code { get; set; } public String Name { get; set; }}

序列化带有一个整型和一个字符串的对象,结果只有8个字节!

Packet用法可参考

此处为语雀文档,点击链接查看:https://www.yuque.com/go/doc/31527106

标准读写

Binary主要成员

/// 使用7位编码整数。默认false不使用public Boolean EncodeInt { get; set; }/// 小端字节序。默认false大端public Boolean IsLittleEndian { get; set; }/// 使用指定大小的FieldSizeAttribute特性,默认falsepublic Boolean UseFieldSize { get; set; }/// 使用对象引用,默认truepublic Boolean UseRef { get; set; } = true;/// 大小宽度。可选0/1/2/4,默认0表示压缩编码整数public Int32 SizeWidth { get; set; }/// 要忽略的成员public ICollection
IgnoreMembers { get; set; }///
处理器列表public IList
Handlers { get; private set; }///
数据流。默认实例化一个内存数据流public virtual Stream Stream { get; set; }///
主对象public Stack
Hosts { get; private set; }/// 成员public MemberInfo Member { get; set; }/// 字符串编码,默认utf-8public Encoding Encoding { get; set; }/// 序列化属性而不是字段。默认truepublic Boolean UseProperty { get; set; }// 处理器public Binary AddHandler(IBinaryHandler handler);public Binary AddHandler
(Int32 priority = 0);public T GetHandler
();// 写入public virtual Boolean Write(Object value, Type type = null);// 读取public virtual Object Read(Type type);public T Read
();public virtual Boolean TryRead(Type type, ref Object value);

Stream 最为重要,代表序列化和反序列化的数据流,默认实例化一个内存流。

EncodeInt 指定使用压缩编码整数,效果非常明显!

IsLittleEndian 部分协议使用大端字节序。

UseFieldSize 部分协议的长度位和数据区并没有挨在一起,需要借助FieldSizeAttribute特性。例如ZipEntry中有这么一段:

/// 文件名长度private readonly UInt16 FileNameLength;/// 扩展数据长度private readonly UInt16 ExtraFieldLength;// ZipDirEntry成员/// 注释长度private readonly UInt16 CommentLength;// ZipDirEntry成员/// 分卷号。public UInt16 DiskNumber;// ZipDirEntry成员/// 内部文件属性public UInt16 InternalFileAttrs;// ZipDirEntry成员/// 扩展文件属性public UInt32 ExternalFileAttrs;// ZipDirEntry成员/// 文件头相对位移public UInt32 RelativeOffsetOfLocalHeader;/// 文件名,如果是目录,则以/结束[FieldSize("FileNameLength")]public String FileName;/// 扩展字段[FieldSize("ExtraFieldLength")]public Byte[] ExtraField;// ZipDirEntry成员/// 注释[FieldSize("CommentLength")]public String Comment;

IgnoreMembers 指定某些成员不参与序列化,支持动态指定。例如ZipFile的目录实体和文件实体,需要序列化的字段有所不同。

Encoding 指定序列化字符串时使用的文本编码。

设置好各种参数后,就可以Write/Read来序列化或反序列化对象了。安全起见,建议每个Binary只用一次,重复使用可能有意想不到的后果。

自定义扩展

Binary设计时使用Handler处理器架构,Write/Read内部实际上是逐个遍历Handler,直到找到能够处理的Handler为止。因此Handler也有优先级,其中基础数据类型BinaryGeneral处理器优先级最高。

BinaryGeneral 负责处理数字、布尔、时间日期、字符串等等基础数据类型。

BinaryNormal 负责处理字节数组、Guid、Packet等常见类型。

BinaryList 负责处理数组和列表。

BinaryDictionary 负责处理字典。

BinaryComposite 负责处理复杂对象,反射各成员,递归序列化。该处理器优先级最低。

来看看怎么样自定义一个处理器,以颜色处理器为例:

/// 颜色处理器。public class BinaryColor : BinaryHandlerBase{    /// 实例化    public BinaryColor()    {        Priority = 0x50;    }    /// 写入对象    /// 目标对象    /// 类型    /// 
public override Boolean Write(Object value, Type type) { if (type != typeof(Color)) return false; var color = (Color)value; WriteLog("WriteColor {0}", color); Host.Write(color.A); Host.Write(color.R); Host.Write(color.G); Host.Write(color.B); return true; } /// 尝试读取指定类型对象 /// /// ///
public override Boolean TryRead(Type type, ref Object value) { if (type != typeof(Color)) return false; var a = Host.ReadByte(); var r = Host.ReadByte(); var g = Host.ReadByte(); var b = Host.ReadByte(); var color = Color.FromArgb(a, r, g, b); WriteLog("ReadColor {0}", color); value = color; return true; }}

最后只需要挂载到Binary上即可序列化和反序列化带有Color类型的成员

var bn = new Binary();bn.AddHandler
();

总结

.NET内部自带二进制序列化BinaryFormatter,它会带上大量额外信息,导致体积很大,基本上很少用到。

Binary设计的初衷是序列化各种文件格式和通信协议,因此并没有过多考虑作为RPC通信格式。实际上NewLife组件自己的RPC框架ApiServer并没有使用Binary,而是选择了兼容性比较好的Json。

在中通的100亿Redis大数据中,尽管是二进制kv数据,同样没有用到Binary。因为它需要对字节数据进行极致控制,并且需要做多版本兼容。因此它实际上是直接读写二进制数据流,然后借用了Binary的一些辅助方法。

转载地址:http://yxudi.baihongyu.com/

你可能感兴趣的文章
DAC输出音乐2-解决pu pu 声
查看>>
WPF中PATH使用AI导出SVG的方法
查看>>
WPF UI&控件免费开源库
查看>>
QT打开项目提示no valid settings file could be found
查看>>
Win10+VS+ESP32环境搭建
查看>>
Ubuntu+win10远程桌面
查看>>
flutter-实现圆角带边框的view(android无效)
查看>>
android 代码实现圆角
查看>>
flutter-解析json
查看>>
android中shader的使用
查看>>
java LinkedList与ArrayList迭代器遍历和for遍历对比
查看>>
drat中构造方法
查看>>
JavaScript的一些基础-数据类型
查看>>
JavaScript基础知识(2)
查看>>
转载一个webview开车指南以及实际项目中的使用
查看>>
android中对于非属性动画的整理
查看>>
一个简单的TabLayout的使用
查看>>
ReactNative使用Redux例子
查看>>
Promise的基本使用
查看>>
android给文字加边框(修改不能居中的问题)
查看>>