HJ 212 报文 → 可入库的时序数据:流式分帧、分包重组、协议无关数据模型、规则校验引擎、JSON/CSV/InfluxDB 导出与端到端管道。核心零依赖。
##0140QN=...;CP=&&DataTime=...;a34013-Rtd=1.52&&3647\r\n
│
├ 分帧 ── TCP 字节流 → 一条条完整帧(跨 read 保持状态)
├ 解码 ── 长度 / CRC / 包尾校验,分包按包号重组
├ 数据点 ── 帧 → Point{时间, 来源, 测量, 字段},与协议无关
├ 校验 ── 规则引擎,输出「哪个字段、为什么」而不是一个布尔值
└ 导出 ── JSON / NDJSON / CSV / InfluxDB line protocol| 模块 | 内容 | 谁能用 |
|---|---|---|
| record.mbt | Point / Field / Value / Quality,缺失与零严格分开 | 任何时序采集:传感器、日志事件、指标 |
| quality.mbt | 规则引擎:量程、必填、数值类型、取值白名单,含文本规则配置 | 任何需要判断「这个数可信吗」的场景 |
| sink.mbt | JSON / NDJSON / CSV / InfluxDB line protocol,手写转义 | 任何要把数据交给下游系统的场景 |
| pipeline.mbt | 上面几步串成一次 feed,附全程计数 | 抓包回放、离线批处理、在线流处理 |
let p = @hj212.Point::new("2024-01-15T10:30:00", "sensor-01", "cpu")
p.add("load", @hj212.Num(0.5))
p.add("status", @hj212.Text("N"))
p.add("spare", @hj212.Missing) // 缺失,不是 0
let (rules, _) = @hj212.RuleSet::from_text(
"range load 0 1\nrequired status\nallowed status N,T,B,D\n",
)
for f in rules.check(p) {
println(f.text()) // [warning] status: 未登记的取值 "Z"
}
println(p.to_json()) // {"timestamp":...,"fields":{"load":[0.5],...}}
println(p.to_influx_line()) // cpu,source=sensor-01 load=0.5,status="N"moon add Mr-Houjie/mbt-hj212match @hj212.Frame::decode(raw) {
Ok(frame) => {
println(frame.segment.cn) // "2011"
println(frame.segment.cp.get("a34013-Rtd")) // Some("1.52")
}
Err(error) => println(error.message()) // 直接给人看的中文描述
}let cp = frame.segment.cp
cp.get("a34013-Rtd") // Some("1.52")
cp.get_float("a34013-Rtd") // Some(1.52)
cp.get_int("RtdInterval") // Some(30)
cp.get_or("Info", "(无备注)") // 缺失时的默认值let point = frame.to_point()
point.timestamp // QN 解析成 "2024-01-15 10:30:00.123",解析不了就保留原文
point.source // MN
point.measurement // CN
point.quality // Good / Suspect / Invalid
point.number("a34013-Rtd") // Some(1.52)
point.to_json() // 一行 JSON
point.to_csv_row(cols) // 一行 CSV
point.to_influx_line() // 一行 InfluxDB line protocollet (rules, errors) = @hj212.RuleSet::from_text(
"range a34013-Rtd 0 500\nrequired DataTime\nallowed a34013-Flag N,T,B,D,F,S\n",
)
let findings = rules.check(point)
for f in findings {
println(f.text()) // [error] a34013-Rtd: 数值 812.5 超出允许区间 [0, 500]
}let pipe = @hj212.Pipeline::new(rules, @hj212.Ndjson, [])
for chunk in chunks {
for out in pipe.feed(chunk) {
save(out.line) // 已渲染好的一行
log(out.findings) // 这条数据的全部问题
}
}
println(pipe.stats().text()) // 帧 / 拒绝 / 数据点 / 问题 / 溢出 / 未完成分包组let framer = @hj212.Framer::new()
for chunk in chunks {
for event in framer.feed(chunk) {
match event {
@hj212.Good(frame) => handle(frame)
@hj212.Bad(error, raw) => log(error, raw)
@hj212.Noise(text) => () // 日志前缀、半包残片
}
}
}let r = @hj212.Reassembler::new()
for frame in frames {
match r.push(frame) {
@hj212.NotSplit => () // 不是分包帧
@hj212.Pending(got, n) => println("\{got}/\{n}")
@hj212.Complete(area) => save(area) // 收齐,按包号升序拼接
@hj212.Conflict(reason) => log(reason)
}
}
r.missing() // 还缺哪些包号
r.dropped() // 因换组而丢弃的未完成组数let frame : @hj212.Frame = {
segment: {
qn: "20240115103000123",
st: "31",
cn: "2011",
pw: "123456",
mn: "010000A8900016F000169DC0",
flag: @hj212.Flag::new(@hj212.V2017, false, true),
pnum: None,
pno: None,
cp: @hj212.DataArea::new()
..set("DataTime", "20240115103000")
..set("a34013-Rtd", "1.52"),
extra: [],
},
}
println(frame.encode())mbt-hj212 explain <报文|文件> 逐字段解释一条报文
mbt-hj212 check <报文|文件> 只校验,不合法时退出码 1
mbt-hj212 frames <报文|文件> 按 TCP 流分帧,逐条列出
mbt-hj212 pack <报文|文件> 把分包帧按包号重组成完整数据区
mbt-hj212 convert <报文|文件> [选项] 转成 JSON / NDJSON / CSV / InfluxDB
mbt-hj212 quality <报文|文件> [选项] 按规则校验,列出问题清单
mbt-hj212 stats <报文|文件> [选项] 输出全链路处理统计
mbt-hj212 encode [选项] 构造一条报文
mbt-hj212 crc <数据段> 算数据段的 CRC 与字节长度$ mbt-hj212 convert corpus/good/2011__real-time-gas.frame --format csv \
--columns DataTime,a34013-Rtd,a34013-Flag
timestamp,source,measurement,quality,DataTime,a34013-Rtd,a34013-Flag
2024-01-15 10:30:00.123,010000A8900016F000169DC0,2011,good,20240115103000,1.52,N
$ mbt-hj212 quality corpus/edge/many-items.frame --rules corpus/rules/demo.rules
2024-01-15 10:30:00.123 010000A8900016F000169DC0 CN=2011 [good]
[error] DataTime: 缺少必需字段
数据点 1 · 问题 1(错误 1,警告 0,提示 0)· 解码失败 0$ mbt-hj212 explain '##0140QN=20240115103000123;ST=31;CN=2011;PW=123456;MN=010000A8900016F000169DC0;Flag=5;CP=&&DataTime=20240115103000;a34013-Rtd=1.52;a34013-Flag=N&&3647'
长度 140 字节(数据段)
CRC 3647 校验通过
版本 HJ 212-2017
Flag 5 版本位 000001 · 不分包 · 需应答
QN 20240115103000123 2024-01-15 10:30:00.123
ST 31 大气环境污染源
CN 2011 污染物实时数据 · 双向
PW 123456
MN 010000A8900016F000169DC0 24 位
CP 3 项
DataTime 20240115103000
a34013-Rtd 1.52
a34013-Flag Nmoon run cmd/verifyrecord.mbt 协议无关数据模型:Point / Field / Value / Quality
quality.mbt 规则引擎:量程 / 必填 / 数值类型 / 取值白名单 + 文本配置
sink.mbt 导出:JSON / NDJSON / CSV / InfluxDB,手写转义
pipeline.mbt 端到端管道:一次 feed 走完全流程,附计数
types.mbt 公共类型:Version、Flag、DecodeError、ErrorStage、Segment、Frame
text.mbt 字符/字节工具:UTF-8 计数、十六进制、显示宽度对齐
crc.mbt CRC16/MODBUS
field_type.mbt 数据类型表:C4、N5、N14.2、YYYY/MM/DD/hh/mm/ss/zzz
data_area.mbt 数据区:&& 包装、名称=值、逗号分隔多值、数值访问器
segment.mbt 数据段:字段切分(先定位 CP=)、序列化、语义校验
time.mbt QN 时间戳
frame.mbt 帧编解码 + 流式分帧器
reassemble.mbt 分包重组
commands.mbt 命令码表(表 9)
explain.mbt 逐字段解释,供 CLI 使用
corpus/ 语料、规则配置、生成脚本
cmd/main/ 命令行
cmd/verify/ 语料与管道自检moon test # 97 个单元测试(含对抗性测试)
moon run cmd/verify # 32 个语料用例(含 2 组分包重组、1 段混合流、1 份规则配置)
moon check --deny-warn # 零告警pub(all) enum DecodeError {
MissingHeader
BadLengthField(String)
Truncated(Int, Int)
BadCrc(String, String)
BadTail(String)
EmptySegment
MissingField(String)
DuplicateField(String)
BadField(String)
BadFieldValue(String, String)
BadDataArea(String)
TrailingGarbage(String)
}pub(all) enum Direction {
Down
Up
Both
}pub(all) enum ErrorStage {
FrameLayer
SegmentLayer
DataAreaLayer
}pub(all) enum FieldType {
Chars(Int)
Number(Int, Int)
Year
Month
Day
Hour
Minute
Second
Millisecond
}pub(all) struct Flag {
raw : Int
}pub(all) enum Format {
Json
Ndjson
Csv
Influx
}pub(all) struct Framer {
buffer : String
max_pending : Int
}pub(all) struct QnTime {
year : Int
month : Int
day : Int
hour : Int
minute : Int
second : Int
millis : Int
}pub(all) enum Quality {
Good
Suspect
Invalid
}pub(all) enum Rule {
Range(String, Double, Double)
Required(String)
Numeric(String)
AllowedText(String, Array[String])
}pub(all) enum Severity {
Info
Warning
Error
}pub struct Stats {
frames : Int
rejected : Int
points : Int
findings : Int
errors : Int
overflow : Int
dropped_groups : Int
pending_parts : Int
}pub(all) enum Value {
Num(Double)
Text(String)
Missing
}pub(all) enum Version {
V2005
V2017
V2025
Unknown(Int)
}fn utf8_len(s : String) -> IntInstall
Download zipHJ 212 报文 → 可入库的时序数据:流式分帧、分包重组、协议无关数据模型、规则校验引擎、JSON/CSV/InfluxDB 导出与端到端管道。核心零依赖。