The blogs of beaclnd
The blogs of beaclnd/
📔
笔记：数据格式化技术对比JSON vs. Protocol Buffers
笔记：数据格式化技术对比JSON vs. Protocol Buffers
📔

笔记：数据格式化技术对比JSON vs. Protocol Buffers

Tags
笔记
学习
Published
发布：2024-09-12
Last Updated
修改：2024-09-27

1. 简介

JSON (JavaScript Object Notation) 和 Protocol Buffers (Protobuf) 是现代软件开发中两种广泛使用的数据序列化格式协议。它们各自具有独特的特点和适用场景，在不同的应用环境中发挥重要作用。

1.1 JSON (JavaScript Object Notation)

背景：JSON 由 Douglas Crockford 于2001年提出，并在2006年被正式规范化（RFC 4627）。它是一种基于文本的、轻量级的、语言无关的数据交换格式，源于 JavaScript 但已广泛应用于各种编程语言。
主要应用场景：
  • RESTful API 的数据交换
  • Web 应用程序中的客户端-服务器通信
  • 配置文件存储
  • NoSQL 数据库的数据格式（如 MongoDB）
  • 跨语言数据交换

1.2 Protocol Buffers (Protobuf)

背景：Protobuf 是由 Google 开发的一种语言无关、平台无关、可扩展的结构化数据序列化机制。它于2008年开源，目前广泛应用于大规模分布式系统中。
主要应用场景：
  • 高性能、低延迟的系统间通信
  • 服务间数据交换
  • 大规模分布式系统的数据存储和传输
  • 需要严格类型检查的场景
  • 对数据大小和传输效率敏感的移动应用

2. JSON 的优势

JSON 具有以下显著优势：
  • 简单性和可读性： JSON 使用人类可读的文本格式，便于开发人员直接阅读和编辑。
  • 广泛支持： 几乎所有编程语言和平台都原生支持 JSON，无需额外的库或工具。
  • 灵活性： JSON 支持动态数据结构，可以轻松表示嵌套和复杂的数据关系。
  • Web 友好： 作为 JavaScript 的子集，JSON 在 Web 开发中具有天然优势，可直接在浏览器中使用。
  • 调试便利性： 由于其文本格式，JSON 数据易于在网络传输过程中进行调试和检查。
  • REST API 标准： JSON 已成为 RESTful API 的事实标准，广泛应用于 Web 服务中。
  • 无需编译： 使用 JSON 不需要预先定义数据结构或进行编译，适合快速开发和原型设计。

3. Protocol Buffers 的优势

Protobuf 在以下方面展现出其独特优势：
  • 数据压缩： Protobuf 使用二进制格式，相比 JSON 的文本格式，能显著减少数据大小。
  • 序列化性能： Protobuf 的二进制格式使得序列化和反序列化过程更快，特别是在处理大量数据时表现突出。
  • 强类型系统： Protobuf 的强类型定义可在编译时捕获错误，减少运行时错误，提高代码的健壮性。
  • 向前兼容性： Protobuf 支持字段的添加和删除，而不会破坏现有代码，这在长期维护的系统中可以提高开发效率。
  • 跨语言支持： Protobuf 提供多种编程语言的代码生成工具，便于在不同语言间共享数据结构。
  • 模式演进： Protobuf 的设计允许数据模式随时间演进，而不会破坏向后兼容性。
  • RPC 支持： Protobuf 与 gRPC 等 RPC 框架紧密集成，适合构建高性能的微服务系统。

4. 结构信息与数据信息

个人认为 Protobuf 对于 JSON 而言其一个不可忽视的特点在于其传输的数据本身没有包含其Schema 结构信息，Schema 信息是单独存放在数据发送方和接收方的，这样一来只需要传输数据信息，这对其数据传输性能效率有很大的帮助。
而对于 JSON 而言，其传输的数据中除了数据信息本身还包含了其 Schema 结构信息，因此其数据传输效率不如 Protobuf，但事物总是有两面性，这样一来数据发送方和接收方就不需要单独维护一份 Schema 结构信息，有利于快速开发和构建。

5. 总结

JSON 和 Protocol Buffers 都是优秀的数据序列化格式，各有其优势和适用场景。JSON 凭借其简单性、可读性和广泛支持，在 Web 开发和 API 设计中占据主导地位。而 Protocol Buffers 则以其高效的序列化性能、强类型系统和优秀的向前兼容性，在大规模分布式系统和高性能应用中表现出色。
选择合适的数据序列化格式应基于项目场景需求、性能要求、开发效率等因素综合考量。

参考资料

  1. JSON 官方网站：https://www.json.org/json-en.html
  1. Protocol Buffers 官方文档：https://developers.google.com/protocol-buffers
  1. JSON vs Protocol Buffers 性能对比：https://auth0.com/blog/beating-json-performance-with-protobuf/
  1. Protocol Buffers 开发者指南：https://developers.google.com/protocol-buffers/docs/overview
  1. JSON 在 MDN 上的介绍：https://developer.mozilla.org/en-US/docs/Learn/JavaScript/Objects/JSON
  1. gRPC 官方文档：https://grpc.io/docs/
  1. Why does Hyperledger fabric use protobuf instead of JSON： https://stackoverflow.com/questions/70473568/why-does-hyperledger-fabric-use-protobuf-instead-of-json
  1. "Designing Data-Intensive Applications" by Martin Kleppmann, O'Reilly Media