実践ガイド(2026.10.13 更新)

HTML/JSONの8項目整合検査:schema更新と実入力4対3の差分

同じ日次レポートのHTMLとraw JSONが存在しても、件数や一次URLが同じとは限りません。さらに生成形式が変わると、古い抽出規則が0件を返しても「一致」と誤認するおそれがあります。

2026年10月13日(日本時間)の実入力を、旧・新2種類のschemaを明示判別する標準Pythonで検査しました。日付、HTMLの表示宣言4件と観測4件、JSONの宣言3件と配列3件はそれぞれ内部では一致しました。一方、HTMLとJSONの件数は4対3、一次URL集合は不一致で、HTMLには実在するJSONと矛盾するraw未作成表示がありました。結果はFAIL、終了コード1です。

結論は、表示宣言件数・観測件数・別形式の宣言件数を分け、schemaとraw有無の主張も検査するです。ツールは記事本文の正しさや、HTMLとJSONのどちらが正しいかを判定しません。

検証条件と、比較しない情報

更新検証日は2026年10月13日(日本時間)、環境はWindowsとPython 3.14.2です。追加パッケージ、API、外部送信、追加費用はありません。入力は同日の日次レポートHTMLとraw JSONです。

記事タイトル、要約、考察、事業案は比較にも出力にも使いません。公開ZIPのfixtureはexample.comだけで作り、実レポート本文を含めていません。

profile HTMLの表示宣言件数 HTMLの一次URL JSON
旧legacy .stamp strongの整数 article.news内のp.sourceにある最初のリンク 調査日、採用件数、項目[].URL
新current #news .section-head .note内のN件 article.news内のfooterにある最初のリンク report_date、accepted_count、items[].url

旧・新markerが混在する、必要なkeyが一部だけある、どちらにも一致しない場合は、差分ではなく入力契約エラーとして終了コード2で止めます。黙って一方の規則へ寄せません。

入力のSHA-256は実行前後で一致しました。

HTML: 36C1FCFF8F16D6DDAED0B71AFF60B8B2BC6D668D9C94762BE05DED8626A1A964
JSON: 66D55CEC37614F21E96F48CFB5D630F22B86CD740A959EA22DD9EE55EA350041

これは検査中に入力のバイト列を変更しなかった証拠です。入力内容の正確性や、作成前から変更されていないことまでは保証しません。

実入力は日付一致、4対3、URL集合不一致、raw表示矛盾

実行結果を8検査に分けると、次のとおりです。

検査 結果 観測値
schema profile 一致 HTML / JSONともにcurrent
日付 一致 HTML / JSONともに2026-10-13
HTML表示宣言とHTML観測 一致 4 / 4
HTML観測とJSON宣言 不一致 4 / 3
JSON宣言とJSON配列 一致 3 / 3
一次URL集合 不一致 HTML 4件、JSON 3件、共通0件
一次URL順序 不一致 件数と内容が異なる
raw有無の表示 矛盾 JSON実在、HTMLはraw未作成と表示
全体 FAIL 終了コード1

実入力では日付・各形式内の件数は一致した一方、HTML 4件対JSON 3件、URL集合、raw有無表示が不一致で、15テストは成功したことを示す要約図

上図はコマンド出力の件数を再構成した生成図で、生ログの画像ではありません。差分は3種類あります。件数差分、代表URLの採用集合の差分、そして「rawがない」というHTML表示と実在JSONの差分です。どれも自動上書きせず、生成工程へ戻して確認します。

旧8観点を残して、新schemaを追加した手順

コード、人工fixture、15件のテスト、READMEをまとめたZIPを展開し、そのフォルダで実行します。

python -m unittest discover -s . -p 'test_*.py' -v
python .\report_consistency.py .\fixtures\match.html .\fixtures\match.json
python .\report_consistency.py .\fixtures\current_match.html .\fixtures\current_match.json
python .\report_consistency.py .\fixtures\current_match.html .\fixtures\current_mismatch.json
python .\report_consistency.py .\fixtures\current_raw_claim.html .\fixtures\current_match.json
python .\report_consistency.py .\fixtures\current_match.html .\fixtures\mixed_schema.json

旧profileと新profileの一致fixtureは終了コード0です。URL差分とraw欠落claimは終了コード1、混在schemaは終了コード2になります。15件の単体テストは旧版の8観点を回帰確認し、新profile一致・不一致、HTML表示宣言件数、raw欠落claim、混在・未知schemaを追加で確認します。テスト一式は3回連続で成功し、公開ZIPを別フォルダへ展開した状態でも15件が成功しました。

中心となる比較条件は次の8つです。

checks = {
    "schema_profile": html.profile == raw.profile,
    "date": html.date == raw.date,
    "html_declared_count": html.declared_count == html.observed_count,
    "html_json_count": html.observed_count == raw.declared_count,
    "json_count": raw.declared_count == raw.observed_count,
    "url_set": set(html.urls) == set(raw.urls),
    "url_sequence": html.urls == raw.urls,
    "raw_availability_claim": not html.raw_missing_claim,
}

Python公式のjson資料に沿ってJSONを読み、Python公式のHTMLParser資料のイベントでHTML要素と属性を取り出します。正規表現だけでHTML全体を解析する構成にはしていません。

終了コード0・1・2を混ぜない

終了コード 意味 次の行動
0 定義した8検査がすべて一致 内容確認とリンク確認を別に続ける
1 入力は読めたが差分または表示矛盾あり 生成元と一次情報を確認し、どちらを直すか人が決める
2 schemaが混在・曖昧・未知、必須項目欠落、JSON不正など 入力契約か抽出規則を直して再実行する

終了コード1と2を分ける理由は、処置が違うからです。4対3やURL差分は内容・生成工程の調査対象です。未知schemaを差分扱いすると、抽出できていないのに0件として処理を続ける危険があります。

9月25日の旧検証を履歴として残す

初版は2026年9月25日の旧schema実入力3件を検査し、日付と件数は一致、一次URL文字列は2件一致・1件差分、終了コード1でした。入力SHA-256はHTMLがEB045D42482FED112CE3B8BE6DD60B16E6CB2668CF24FC9D4164035704E20544、JSONがDBD2D699C149CA085F8953A74475C2890A241F77096979A954823E143B3460A2でした。

差分だった2文字列は9月27日に個別取得し、どちらもHTTP 200で同じcanonical URLと同じWordPress REST APIのpost IDを示しました。これは旧検証時点での文字列差分を取り消さず、転送・canonical判定をオフライン検査へ追加した結果でもありません。今回の更新でも旧fixtureと抽出規則を残し、回帰テストに含めています。

詰まった点と限界

新旧profileでは、一次URLの置き場所だけでなく件数表示の場所も違いました。そこでURL selectorだけを追加するのではなく、profileごとの必須markerを固定しました。将来3つ目のschemaが出た場合は終了コード2になります。これは停止優先の設計であり、自動追随ではありません。

URLは集合と順序を別検査にしています。集合が同じで順序だけ違う場合も分かりますが、重複URLの個数だけが変わった場合は順序検査でしか検出できません。URLの存在、安全性、内容、公開日、転送、canonical URLは検査外です。

raw欠落claimはrawの近くに「未作成」「存在しない」「なし」「欠落」などがあるかを見る限定的な規則です。言い換えをすべて理解する自然言語判定ではなく、反対にコード例や過去説明に同じ文言があれば検出する可能性があります。終了コード1を根拠に自動削除せず、人が該当箇所を確認します。

有限のfixtureと15テストは、任意のHTMLを正しく解釈する形式証明ではありません。機械検査のPASSは、本文の事実、一次情報の公開日・仕様・料金、公開可否を保証しません。

実務での使い方と関連先

生成直後にこの検査を置き、終了コード1または2なら公開処理を止めます。まず原本、JSON生成、HTML生成の順に日付・件数・URL・raw表示が変わった場所を確認します。片方が新しいと決めつけず、一次情報と生成記録を照合してから修正します。

ニュース候補の48時間判定は、JSON内の公開日時と重複候補を仕分けます。静的サイトの内部リンク検査は、ビルド済みサイト内のページと見出しの行き先を調べます。本稿は、その前段で同じ日付のHTMLとraw JSONの構造上の整合を検査します。

更新履歴:2026年10月13日に新current schema、HTML表示宣言件数、URL集合、raw欠落claim、混在・未知schemaの検査を追加しました。旧legacy schemaと9月25日・27日の検証結果は履歴として残しています。表紙は4対3の構造差分を表す生成イラストへ更新しましたが、検証証拠には数えていません。

一次情報・出典

  1. Python公式:json
  2. Python公式:HTMLParser
  3. GitHub公式:AI-powered fuzzing(2026-09-24、旧検証履歴)