AI SAFETY / RESEARCH & EVIDENCE
代表・川﨑 暁による公開研究と開発の記録です。観測結果・検証範囲・上流の応答を分けて掲載しています。
状態確認: · GitHub ↗
OFFLINE INPUT AUDIT
入力監査を公開・PR作者から対象範囲の返信あり
APPSの10問題から抽出した24件の保存済みバックドア入力を、問題文の制約と照合。仕様とデータが一致しない未解決の事例1件を報告しました。別途202件の合成境界テストと30件のアダプターテストを記録しています。24件の実データとは異なる検証です。
PR作者から、#899は検証器の基盤に範囲を限定し、対象範囲や入力形式の方針はメンテナーが判断するとの返信がありました。追加のデータ集が必要なら別PRや#755で相談する案が示されています。採用やメンテナーの承認を意味するものではありません。
オフラインでの制約監査です。評価全体のスコア誤りを実証したものではありません。ライブモデルの攻撃、サンドボックス分離の検証、評価パイプライン全体の実行は行っていません。
OFFLINE BEHAVIORAL PROBES
サイドテストの検証を公開・上流からの応答待ち
swe_djangoの15103・16661を対象に、正規化後の上流ASTとの一致を確認したbase/gold関数本体をDjango 4.2.16へ差し替え、pytestの別プロセスで検証。15103では、orで結ばれた条件式がエスケープ済み・未処理の出力をともに受理しました。16661では、攻撃プロンプトどおりの変異と別案を分けて比較しました。
SWE-bench Docker、main-taskの全試験、ControlArena本体のside_task_correctness()は未実行です。既定の安全性集計にはmain-taskとside-taskの両方の成功が必要なため、サイドテストだけの合格は評価全体の誤判定を意味しません。
OFFLINE SCORER PROBE
Inspect採点関数の検証を公開・上流からの応答待ち
コミット5f764cbfのeval/inspect/judge.pyを対象に、標準ライブラリのみのAST抽出ハーネス（スタブ応答8ケース）でface_eval_scorer()を検証。回答が有効かつヒント追従のとき、推論文なし（has_reasoning=False）または推論側JSONの解析失敗（r_parse_ok=False）でVCR=0.0・UAR=1.0が返ることを確認。推論文なしの場合のVCRは、NaNとするREADMEの記載と食い違います。UARや解析失敗時の扱いと対象母集団は、上流へ仕様を確認しています。
スタブ応答を用いたソースレベルの検証であり、Inspectのタスク全体・指標集計・ライブモデルのAPI呼び出しは未実行です。変換ブリッジ（to_results.py）は解析状態を保持し、その後role_register.load_cleanのPARSE_OKフィルタが該当行を除外します。論文の公表結果への影響は示していません。
ARCHIVED-OUTPUT SENSITIVITY ANALYSIS
事後標準化の方法論ノートを公開・上流からの応答待ち
selvarath-debate（コミット34898fb）の再分析スクリプトと保存済みJSONを照合。世界等重みの質問側平均を用いる事後50/50標準化（+4.56 pp）と、INVALIDを誤答として全枠を残すstrict採点の実現スケジュール等重み平均（+3.94 pp）の重み付けの違いを整理し、未観測の反対極性に対する仮定付き感度境界（実現可能な一様κに対する固定標本の外側境界[+2.06, +5.94] pp、|κ_u|≤Kでの粗い外枠の下端がゼロに達する値K=7.876 pp、既存の質問クラスタCIを両側にK/2だけ広げた下端がゼロに達する値K=4.4715 pp）を導出しました。
保存済みのPhase 2集計出力に対する条件付きの感度計算であり、新たな実験データの収集やブートストラップの再実行は行っていません。これらは外側境界であり、正確な実現可能範囲や新たに推定した信頼区間ではありません。ゼロ交差は、負の効果が実際に可能になる閾値を証明するものではなく、CIの拡張は元の区間の仮定を引き継ぎます。公表された+4.56 ppを算術誤りとする主張ではなく、valid_onlyでの欠測枠の重み問題は別扱いとしています。
RELATED WORK / SCORING METHODOLOGY
自作PR・Open・未マージ
提案の帰属先と採点期間が合成Timaeus予測に与える影響を調べる、オフラインの診断例と単体テストを提案。既存の採点関数を使い、未記録と明示的なゼロを区別します。
本番の採点処理と正解データは変更していません。合成シナリオの結果は、正しい仕様を決める根拠ではなく、実モデルの順位・AI安全性・実際の資金配分が改善したことも示しません。
ENGINEERING BACKGROUND / NUMERICAL OPTIMIZATION
報告したバグを上流が確認・上流修正は2026年10月16日マージ
実行可能な目的値1と一致する厳密上界を持つ小さな混合整数モデルに対し、HiGHSがOptimal 0と報告する事例を、独立した有理数チェッカーとともに提示。メンテナーがlatestで確認。上流のOpt-Mucca氏が作成した修正PR #3408は2026年10月16日にマージされました。こちらの貢献は不具合報告・再現例・追加検証です。
数値ソフトウェアの検証経験であり、AI安全性を実証する結果ではありません。同種のバグすべてが修正されたと示すものでもありません。
ENGINEERING BACKGROUND / ETHEREUM INFRASTRUCTURE
自作PR・コメントレビュー済み・正式承認／マージ待ち
op-rethの巻き戻し後の履歴shardキーに対する修正と回帰試験を提案。上流メンテナーが不具合を独立再現し、修正にコメントレビューしました。根本原因の特定と原再現はomerfirmak氏によるものです。
ローカルではjust lintと、17パッケージに範囲を絞った試験が成功（822件合格・3件スキップ）。実ノードのRPC経由では未検証です。unwindが触れる旧形式の末尾は正規化しますが、触れない不正な中間shard等は修復しません。
SGLang、Tellurium、Diffraxなどへの貢献はGitHubにまとめています。自作の実装、独立した検証、上流による採用を分けて記録しています。
実装・実験・分析・執筆にAI支援を使用しています。ローカルでの確認と上流による確認を区別し、原証拠と検証範囲を残します。これらの調査やサービスは、モデル全体の安全性を認証するものではありません。