本文共 5469 字,大约阅读时间需要 18 分钟。
在计算机世界,万物皆01二进制,包括各种各样的文件格式和网络协议,二进制格式最为常见!NewLife.Core 内置了完整的二进制序列化框架 Binary,经过十多年洗礼,发展到了第三代支持Handler处理器扩展。Binary的同类框架有 Protobuf、Thrift、MessagePack。
Nuget包:NewLife.Core
源码地址:https://github.com/NewLifeX/X/tree/master/NewLife.Core/Serialization/Binary
Binary主要功能特性:
体积极小。Binary是Schemaless架构,不包含字段名和序号,用最少的字节去保存数据
压缩整数。大多数时候Int32字段保存的数字很小,采用七位压缩编码整数保存可以减少体积
格式简单。尽管Binary只有.NET版,但其格式非常简单,可以很容易在其它语言上实现
支持性很广。Binary设计初衷,就是用于实现各种已知文件格式和通信协议,例如ZipFile
支持动态特性。可根据某些字段值,生成不同消息类型,例如MQTT和DNS协议
可读性较差。二进制格式且没有Schema,可读性较差
无版本支持。需要读写双方约定好多版本格式的兼容
Binary设计理念,就是用最小的体积去保存数据,且能够灵活实现各种文件格式和通信协议的序列化。
直接序列化对象,在没有使用额外压缩算法的条件下,Binary几乎是结果体积最小的序列化框架。
想要序列化一个对象,或者反序列化一个数据流到对象,最直接的想法就是这样
// 快速读取public static T FastRead(Stream stream, Boolean encodeInt = true);// 快速写入public static Packet FastWrite(Object value, Boolean encodeInt = true);public static void FastWrite(Object value, Stream stream, Boolean encodeInt = true);
Binary.FastWrite 可以直接把一个对象序列化为数据包Packet,可以理解为字节数组Byte[]的包装。
Binary.FastRead 从数据流中反序列化得到目标类型的对象,这里必须指定目标类型,否则Binary不知道应该如何解析。
例子
[Fact]public void Fast(){ var model = new MyModel { Code = 1234, Name = "Stone" }; var pk = Binary.FastWrite(model); Assert.Equal(8, pk.Total); Assert.Equal("D2090553746F6E65", pk.ToHex()); Assert.Equal("0gkFU3RvbmU=", pk.ToArray().ToBase64()); var model2 = Binary.FastRead(pk.GetStream()); Assert.Equal(model.Code, model2.Code); Assert.Equal(model.Name, model2.Name); var ms = new MemoryStream(); Binary.FastWrite(model, ms); Assert.Equal("D2090553746F6E65", ms.ToArray().ToHex());}private class MyModel{ public Int32 Code { get; set; } public String Name { get; set; }}
序列化带有一个整型和一个字符串的对象,结果只有8个字节!
Packet用法可参考
此处为语雀文档,点击链接查看:https://www.yuque.com/go/doc/31527106
Binary主要成员
///使用7位编码整数。默认false不使用 public Boolean EncodeInt { get; set; }///小端字节序。默认false大端 public Boolean IsLittleEndian { get; set; }///使用指定大小的FieldSizeAttribute特性,默认false public Boolean UseFieldSize { get; set; }///使用对象引用,默认true public Boolean UseRef { get; set; } = true;///大小宽度。可选0/1/2/4,默认0表示压缩编码整数 public Int32 SizeWidth { get; set; }///要忽略的成员 public ICollectionIgnoreMembers { get; set; }/// 处理器列表 public IListHandlers { get; private set; }/// 数据流。默认实例化一个内存数据流 public virtual Stream Stream { get; set; }///主对象 public Stack
Stream 最为重要,代表序列化和反序列化的数据流,默认实例化一个内存流。
EncodeInt 指定使用压缩编码整数,效果非常明显!
IsLittleEndian 部分协议使用大端字节序。
UseFieldSize 部分协议的长度位和数据区并没有挨在一起,需要借助FieldSizeAttribute特性。例如ZipEntry中有这么一段:
///文件名长度 private readonly UInt16 FileNameLength;///扩展数据长度 private readonly UInt16 ExtraFieldLength;// ZipDirEntry成员///注释长度 private readonly UInt16 CommentLength;// ZipDirEntry成员///分卷号。 public UInt16 DiskNumber;// ZipDirEntry成员///内部文件属性 public UInt16 InternalFileAttrs;// ZipDirEntry成员///扩展文件属性 public UInt32 ExternalFileAttrs;// ZipDirEntry成员///文件头相对位移 public UInt32 RelativeOffsetOfLocalHeader;///文件名,如果是目录,则以/结束 [FieldSize("FileNameLength")]public String FileName;///扩展字段 [FieldSize("ExtraFieldLength")]public Byte[] ExtraField;// ZipDirEntry成员///注释 [FieldSize("CommentLength")]public String Comment;
IgnoreMembers 指定某些成员不参与序列化,支持动态指定。例如ZipFile的目录实体和文件实体,需要序列化的字段有所不同。
Encoding 指定序列化字符串时使用的文本编码。
设置好各种参数后,就可以Write/Read来序列化或反序列化对象了。安全起见,建议每个Binary只用一次,重复使用可能有意想不到的后果。
Binary设计时使用Handler处理器架构,Write/Read内部实际上是逐个遍历Handler,直到找到能够处理的Handler为止。因此Handler也有优先级,其中基础数据类型BinaryGeneral处理器优先级最高。
BinaryGeneral 负责处理数字、布尔、时间日期、字符串等等基础数据类型。
BinaryNormal 负责处理字节数组、Guid、Packet等常见类型。
BinaryList 负责处理数组和列表。
BinaryDictionary 负责处理字典。
BinaryComposite 负责处理复杂对象,反射各成员,递归序列化。该处理器优先级最低。
来看看怎么样自定义一个处理器,以颜色处理器为例:
///颜色处理器。 public class BinaryColor : BinaryHandlerBase{ ///实例化 public BinaryColor() { Priority = 0x50; } ///写入对象 /// 目标对象 /// 类型 ///public override Boolean Write(Object value, Type type) { if (type != typeof(Color)) return false; var color = (Color)value; WriteLog("WriteColor {0}", color); Host.Write(color.A); Host.Write(color.R); Host.Write(color.G); Host.Write(color.B); return true; } /// 尝试读取指定类型对象 /// /// ///public override Boolean TryRead(Type type, ref Object value) { if (type != typeof(Color)) return false; var a = Host.ReadByte(); var r = Host.ReadByte(); var g = Host.ReadByte(); var b = Host.ReadByte(); var color = Color.FromArgb(a, r, g, b); WriteLog("ReadColor {0}", color); value = color; return true; }}
最后只需要挂载到Binary上即可序列化和反序列化带有Color类型的成员
var bn = new Binary();bn.AddHandler();
.NET内部自带二进制序列化BinaryFormatter,它会带上大量额外信息,导致体积很大,基本上很少用到。
Binary设计的初衷是序列化各种文件格式和通信协议,因此并没有过多考虑作为RPC通信格式。实际上NewLife组件自己的RPC框架ApiServer并没有使用Binary,而是选择了兼容性比较好的Json。
在中通的100亿Redis大数据中,尽管是二进制kv数据,同样没有用到Binary。因为它需要对字节数据进行极致控制,并且需要做多版本兼容。因此它实际上是直接读写二进制数据流,然后借用了Binary的一些辅助方法。
转载地址:http://yxudi.baihongyu.com/