実行中のインポートをキャンセルする
このレシピでは、処理中の非同期インポートをキャンセルする方法を紹介します。ワーカーはバッチの区切りごとにキャンセル要求の有無を確認し、要求を検出すると、処理中のバッチの終了時点で停止し、ステータスを cancelled に切り替えます。キャンセル前に完了した行は登録されたまま残ります。中途半端に書き込まれたバッチは存在しないため、後から片付ける必要はありません。
キャンセルする場面
キャンセルエンドポイントは、処理の途中でインポートが誤っていることに気づいた場合に適したツールです。ファイルの誤り、ポートフォリオの誤り、古いスナップショット、日付の誤りなどです。典型的なきっかけは次のとおりです。
- モニタリングダッシュボードで、インポートに誤ったファイルが指定されていることが判明した。
- 先にドライランを行うつもりだったのに、本番のポートフォリオに対して数百万行の過去データ投入を開始してしまった。
- アップロードの完了後に、上流のシステムがファイルの破損を検知した。
キャンセルは dryRun: true の代わりにはなりません(ドライランのレシピを参照)。本番のインポートが実行されると、キャンセル時点より前に成功した行はコミットされます。Waafirが中途半端なバッチを書き込まないことは信頼できますが、すでにコミットされた行を巻き戻すことはできません。正しいやり方は、誤って登録された内容を調整する修正用のインポートを続けて実行することです。
バッチの区切りに関する保証
ワーカーは200行ずつのバッチで行を処理します。各バッチの後にインポートのステータスを確認し、cancelled を検出するとそこで停止し、ステータスは cancelled のままになります。保証される内容は次のとおりです。
- キャンセルのシグナルを受け取る 前に ワーカーが開始したバッチは、すべて最後まで完了します。それらの行はコミットされます。
- キャンセルのシグナルが届いた時点でワーカーが まだ 開始していなかったバッチは、すべてスキップされます。それらの行は登録されません。
- バッチの半分だけが登録された中間状態になることはありません。バッチが開始されれば、最後まで完了します。
終了時の cancelled ステータスには、キャンセル時点の行数が含まれます。これが、実際にコミットされた件数です。
レシピ
# curl — cancel an in-flight import
set -euo pipefail
PAT="${WAAFIR_PAT}"
BASE_URL="${WAAFIR_BASE_URL:-https://app.waafir.io}"
IMPORT_ID="${1:?supply the import id}"
# Step 1 — DELETE the import. The endpoint returns immediately with the
# (eventual) cancellation in motion. A second DELETE is idempotent —
# already-cancelled imports return the same final status.
curl -fsS -X DELETE "${BASE_URL}/api/v1/monitoring/loan/imports/${IMPORT_ID}" \
-H "Authorization: Bearer ${PAT}" \
| jq '{importId, status}'
# Step 2 — wait for the worker to reach the next batch boundary and
# flip to a terminal status.
TERMINAL_PATTERN='succeeded|partial|failed|cancelled'
while :; do
STATUS=$(curl -fsS "${BASE_URL}/api/v1/monitoring/loan/imports/${IMPORT_ID}" \
-H "Authorization: Bearer ${PAT}" | jq -r .status)
echo "import ${IMPORT_ID}: ${STATUS}"
if echo "$STATUS" | grep -Eq "^(${TERMINAL_PATTERN})$"; then break; fi
sleep 2
done
# Step 3 — read the final row counts to know how many rows actually committed.
curl -fsS "${BASE_URL}/api/v1/monitoring/loan/imports/${IMPORT_ID}" \
-H "Authorization: Bearer ${PAT}" \
| jq '{status, rowCountProcessed, rowCountSucceeded, rowCountFailed}'// TypeScript — cancel an in-flight import
const PAT = process.env.WAAFIR_PAT!;
const BASE_URL = process.env.WAAFIR_BASE_URL ?? "https://app.waafir.io";
const importId = process.argv[2];
if (!importId) throw new Error("usage: ts-node cancel.ts <importId>");
const auth = { Authorization: `Bearer ${PAT}` };
// Step 1 — DELETE the import; the response confirms the signal was accepted.
const cancelRes = await fetch(`${BASE_URL}/api/v1/monitoring/loan/imports/${importId}`, {
method: "DELETE",
headers: auth,
});
if (!cancelRes.ok) throw new Error(`cancel failed: ${cancelRes.status} ${await cancelRes.text()}`);
console.log("cancel accepted:", await cancelRes.json());
// Step 2 — poll for terminal status.
const TERMINAL = new Set(["succeeded", "partial", "failed", "cancelled"]);
type Status = {
status: string;
rowCountProcessed: number;
rowCountSucceeded: number;
rowCountFailed: number;
};
let final: Status;
while (true) {
final = (await (await fetch(
`${BASE_URL}/api/v1/monitoring/loan/imports/${importId}`,
{ headers: auth },
)).json()) as Status;
console.log(`import ${importId}: ${final.status}`);
if (TERMINAL.has(final.status)) break;
await new Promise((r) => setTimeout(r, 2_000));
}
// Step 3 — what actually landed.
console.log({
status: final.status,
rowCountProcessed: final.rowCountProcessed,
rowCountSucceeded: final.rowCountSucceeded,
rowCountFailed: final.rowCountFailed,
});# python — cancel an in-flight import
import os
import sys
import time
import requests
PAT = os.environ["WAAFIR_PAT"]
BASE_URL = os.environ.get("WAAFIR_BASE_URL", "https://app.waafir.io")
import_id = sys.argv[1] if len(sys.argv) > 1 else None
if not import_id:
raise SystemExit("usage: python cancel.py <importId>")
auth = {"Authorization": f"Bearer {PAT}"}
# Step 1 — DELETE the import.
cancel = requests.delete(
f"{BASE_URL}/api/v1/monitoring/loan/imports/{import_id}",
headers=auth,
timeout=30,
)
cancel.raise_for_status()
print("cancel accepted:", cancel.json())
# Step 2 — poll for terminal status.
terminal = {"succeeded", "partial", "failed", "cancelled"}
while True:
final = requests.get(
f"{BASE_URL}/api/v1/monitoring/loan/imports/{import_id}",
headers=auth,
timeout=30,
).json()
print(f"import {import_id}: {final['status']}")
if final["status"] in terminal:
break
time.sleep(2)
# Step 3 — what actually landed.
print({
"status": final["status"],
"rowCountProcessed": final["rowCountProcessed"],
"rowCountSucceeded": final["rowCountSucceeded"],
"rowCountFailed": final["rowCountFailed"],
})確認すべきこと
ポーリングのループが終了した後、ワーカーが処理を終える前にキャンセルのシグナルが届いていれば status は cancelled になります。次のバッチの区切りでの確認より前にワーカーがファイル全体の処理を終えていた場合(まれですが、小さなファイルでは起こりえます)は、succeeded / partial / failed のいずれかになります。
rowCountSucceeded フィールドは、キャンセル前にコミットされた行の数です。登録された内容の確定的な一覧が必要な場合は、それらの行を外部IDで照合してください(照合のレシピを参照)。
同じインポートに対して2回目のDELETEを送ると、キャンセルを再発行することなく既存の終了ステータスが返されます。このエンドポイントは冪等です。すでに終了したインポート(succeeded、partial、failed のいずれかに達したもの)をキャンセルしても何も行われず、既存のステータスが返されます。