Clef for Stock Trading

画面を見て、次の操作を選ぶ

注文条件と画面の情報をAIに渡します。Clefが操作候補を判定し、操作用のアプリが入力します。そのつど画面を読み直し、入力値を確かめます。入力後は、パスワードを入れる前に人へ引き継ぎます。

学習データの例

ML Foundryへ移設した「注文フォーム学習データ v3」の学習用データから5件を抜粋しました。注文条件・現在の画面・操作候補と、学習用の教師ラベルを並べています。

すべて架空の注文条件と模擬画面を使った合成データです。 掲載画像は証券会社名を白く塗りつぶしています。データセット名は掲載用の別名です。 order-forms-v3 / train

01 数量を入力する

AIへの入力

注文条件（要約）

架空銘柄1000を現物買い。100株、指値1,200.50円、当日中。SOR・ポイントは使わない。

画面の状態

銘柄別の通常注文画面。銘柄と市場は設定済みで、数量欄は未入力。

操作候補

• option_00数量に「100」を入力する
• option_01数量に「200」を入力する
• option_02人へ引き継ぐ
• option_03入力を保留する

教師ラベル · option_00

数量に「100」を入力する

{
  "kind": "SET",
  "field": "input_quantity",
  "value": "100",
  "tab": "normal"
}

出典レコード: sbi-train-normal_limit-57afea5d1dee-step-04

02 OCOの価格条件を入力する

AIへの入力

注文条件（要約）

架空銘柄1030を100株現物買い。指値1,200円、1,220円以上なら1,230円の指値へ。いずれも当日中。

画面の状態

OCOタブで数量100と注文1の指値1,200円を入力済み。訂正条件の価格欄は未入力。

操作候補

• option_00数量に「100」を入力する
• option_01人へ引き継ぐ
• option_02OCOの訂正条件価格に「1220」を入力する
• option_03入力を保留する
• option_04OCOの訂正条件価格に「1」を入力する

教師ラベル · option_02

OCOの訂正条件価格に「1220」を入力する

{
  "kind": "SET",
  "field": "oco2_input_trigger_price",
  "value": "1220",
  "tab": "oco"
}

出典レコード: sbi-train-oco-9707d3b94b9d-step-08

03 IFDの売却価格を入力する

AIへの入力

注文条件（要約）

架空銘柄1040を100株、1,200円で買い、その注文が成立したら1,250円で売る。いずれも当日中。

画面の状態

IFDタブで最初の注文価格1,200円などを入力済み。次の売り注文の価格欄は未入力。

操作候補

• option_00人へ引き継ぐ
• option_01数量に「100」を入力する
• option_02IFDの売却価格に「1」を入力する
• option_03IFDの売却価格に「1250」を入力する
• option_04入力を保留する

教師ラベル · option_03

IFDの売却価格に「1250」を入力する

{
  "kind": "SET",
  "field": "done_input_price",
  "value": "1250",
  "tab": "ifd"
}

出典レコード: sbi-train-ifd-7b0094b34c69-step-12

04 入力を終えて人へ引き継ぐ

AIへの入力

注文条件（要約）

架空銘柄1050を100株、1,200円で買う。成立後は1,250円で売るか、1,150円以下なら1,140円の指値で売る。いずれも当日中。

画面の状態

IFDOCOの入力項目がそろった状態。パスワード入力や注文確定へ進む前に、人へ引き継ぐ。

操作候補

• option_00入力を保留する
• option_01数量に「100」を入力する
• option_02人へ引き継ぐ

教師ラベル · option_02

人へ引き継ぐ

{
  "kind": "HANDOFF",
  "field": null,
  "value": null,
  "tab": "ifdoco"
}

出典レコード: sbi-train-ifdoco-1d6aa9d327b7-step-16

05 数量がなければ入力を保留する

AIへの入力

注文条件（要約）

架空銘柄1000を指値1,200.50円で現物買い。当日中。株数の指定がない。

画面の状態

通常注文の初期画面。条件に数量が含まれていないため、入力を始めない。

操作候補

• option_00入力を保留する
• option_01銘柄コードに「9999」を入力する
• option_02人へ引き継ぐ

教師ラベル · option_00

入力を保留する

{
  "kind": "NO_ACTION",
  "field": null,
  "value": null,
  "tab": "normal"
}

出典レコード: sbi-train-normal_limit-fba79fff7f57-step-00

5件の元レコードをJSONで見る ↗

学習と軽量化の結果

現在の構成では、Webページの情報（DOM）と画像を入力に使います。正解を含む操作候補を用意した模擬画面で、337回の判断と30件の注文条件を評価しました。条件が有効なものは24件、不備があるものは6件です。

注文は指値、成行、逆指値、OCO、IFD、IFDOCOの6種類です。一つずつの判断と、操作を続けて入力を終える試験を分けて集計しました。

1回目は保存レコードの画面情報と画像、2回目と軽量化後はブラウザーDOMと画像で評価しています。学習と入力形式の両方を変えた比較です。追加学習前の定量スコアはありません。当時はDSHのセッションログで、途中停止など、うまく動かない挙動を確認していました。

軽量化後の構成では、不備のある6件は入力を保留しました。全30件の操作記録がそろい、停止位置を越える試行・実行はともに0件でした。

軽量化前後のモデル容量

重みの容量を31.81 GB、57.9%削減しました。元の約42%の容量で、上記の模擬画面試験では判断337/337、全項目一致・人への引き継ぎ24/24を維持しました。

保存済みのテンソル情報から集計した容量です。モデル本体と最終判定ヘッドを含み、1 GB＝10億バイトで表しています。

軽量化したClefの準備後、1件ずつ送った336回の問い合わせでは、待ち時間の中央値は0.978秒でした。95％は約1.227秒以内に返りました。

指示どおりに入力する

DSHに注文条件を文章で渡し、模擬画面に入力させました。次の2例では、入力後に画面を別に読み取り、各項目が指示と一致することを確かめました。

この操作確認は30回の判断、29回の入力でした。Clefへの画像付き問い合わせは59回でした。

映像は、10月15日に収録した別の実行です。数量200が入力済みの時点から、指値価格・当日中・ポイント不使用の設定を映しています。価格条件欄は「選択」のままです。

もう一つのモデルでの結果

Jev-Omni（BF16）に入力する文へ画面の用語説明を加えると、判断の一致は270/337から322/337に、入力完了と人への引き継ぎは2/24から18/24に増えました。別の18件の条件確認では、10/18から9/18でした。

軽量化は、改善前のモデルで別に比べました。337回の判断のうち、BF16は257回、NVFP4は250回が正解でした。変換したモデルは、保存後に読み直して動作を確認しました。

検証の範囲

検証にはUTM上のmacOSを使っています。画面の役割・位置・現在値を画像と照らし合わせ、確認できた対象を操作します。

ブラウザー5件とアプリ5件を交互に操作する試験は、検証中です。

関連する研究

売買戦略の比較（バックテスト）

下の画像は、過去の株価データで6つの売買戦略を比べたバックテスト結果です。成績・売買記録・損益の推移を一つの画面で確認します。

当日のライブ処理では、リアルタイムで取り込んだ株価をストリーミングで学習し、3分ごとに解析して、2分でトレードレコードを生成します。

想定している自動化では、Familiaのエージェントがトレードレコードをプルして取得し、その内容に沿って注文画面の入力・設定を進めます。最後は人がパスワードを入力して発注ボタンを押す流れです。

注文画面の入力・設定などの操作には、現在1件あたり約50秒かかっています。Qwen3.8のファインチューニングで、この操作時間をさらに短縮できるか検討しています。スキャルピングは想定しておらず、画面操作は1分以内を実務上の目安としています。