Отмена выполняющегося импорта
Этот рецепт показывает, как отменить асинхронный импорт, пока он ещё обрабатывается. Обработчик проверяет наличие запроса на отмену на каждой границе пакета; обнаружив его, он останавливается в конце текущего пакета и переводит статус в cancelled. Строки, обработанные до отмены, остаются записанными — частично записанных пакетов, которые пришлось бы убирать, не бывает.
Когда отменять
Эндпоинт отмены — подходящий инструмент, если в процессе вы понимаете, что импорт ошибочный: не тот файл, не тот портфель, устаревший снимок, не тот день. Типичные поводы:
- Панель мониторинга обнаруживает, что импорт запущен не с тем файлом.
- Вы запустили дозагрузку на несколько миллионов строк в рабочий портфель, хотя собирались сначала выполнить её в режиме dry-run.
- Вышестоящая система пометила файл как повреждённый уже после завершения загрузки.
Отмена не заменяет dryRun: true (см. рецепт dry-run). Когда реальный импорт уже выполняется, строки, успешно обработанные до момента отмены, зафиксированы. Можно рассчитывать, что Waafir не запишет частичные пакеты, но откатить уже зафиксированные строки нельзя; правильный подход — выполнить затем корректирующий импорт, исправляющий то, что было записано неверно.
Гарантия границы пакета
Обработчик обрабатывает строки пакетами по двести. После каждого пакета он проверяет статус импорта; если видит cancelled, он останавливается, и статус остаётся cancelled. Гарантия такова:
- Каждый пакет, начатый обработчиком до сигнала отмены, завершается полностью. Эти строки зафиксированы.
- Каждый пакет, который обработчик ещё не начал к моменту поступления сигнала отмены, пропускается. Эти строки не записываются.
- Промежуточного состояния, в котором записана половина пакета, не бывает никогда. Если пакет начат, он завершается.
Конечный статус cancelled содержит количества строк на момент отмены — это количество того, что фактически зафиксировано.
Рецепт
# curl — cancel an in-flight import
set -euo pipefail
PAT="${WAAFIR_PAT}"
BASE_URL="${WAAFIR_BASE_URL:-https://app.waafir.io}"
IMPORT_ID="${1:?supply the import id}"
# Step 1 — DELETE the import. The endpoint returns immediately with the
# (eventual) cancellation in motion. A second DELETE is idempotent —
# already-cancelled imports return the same final status.
curl -fsS -X DELETE "${BASE_URL}/api/v1/monitoring/loan/imports/${IMPORT_ID}" \
-H "Authorization: Bearer ${PAT}" \
| jq '{importId, status}'
# Step 2 — wait for the worker to reach the next batch boundary and
# flip to a terminal status.
TERMINAL_PATTERN='succeeded|partial|failed|cancelled'
while :; do
STATUS=$(curl -fsS "${BASE_URL}/api/v1/monitoring/loan/imports/${IMPORT_ID}" \
-H "Authorization: Bearer ${PAT}" | jq -r .status)
echo "import ${IMPORT_ID}: ${STATUS}"
if echo "$STATUS" | grep -Eq "^(${TERMINAL_PATTERN})$"; then break; fi
sleep 2
done
# Step 3 — read the final row counts to know how many rows actually committed.
curl -fsS "${BASE_URL}/api/v1/monitoring/loan/imports/${IMPORT_ID}" \
-H "Authorization: Bearer ${PAT}" \
| jq '{status, rowCountProcessed, rowCountSucceeded, rowCountFailed}'// TypeScript — cancel an in-flight import
const PAT = process.env.WAAFIR_PAT!;
const BASE_URL = process.env.WAAFIR_BASE_URL ?? "https://app.waafir.io";
const importId = process.argv[2];
if (!importId) throw new Error("usage: ts-node cancel.ts <importId>");
const auth = { Authorization: `Bearer ${PAT}` };
// Step 1 — DELETE the import; the response confirms the signal was accepted.
const cancelRes = await fetch(`${BASE_URL}/api/v1/monitoring/loan/imports/${importId}`, {
method: "DELETE",
headers: auth,
});
if (!cancelRes.ok) throw new Error(`cancel failed: ${cancelRes.status} ${await cancelRes.text()}`);
console.log("cancel accepted:", await cancelRes.json());
// Step 2 — poll for terminal status.
const TERMINAL = new Set(["succeeded", "partial", "failed", "cancelled"]);
type Status = {
status: string;
rowCountProcessed: number;
rowCountSucceeded: number;
rowCountFailed: number;
};
let final: Status;
while (true) {
final = (await (await fetch(
`${BASE_URL}/api/v1/monitoring/loan/imports/${importId}`,
{ headers: auth },
)).json()) as Status;
console.log(`import ${importId}: ${final.status}`);
if (TERMINAL.has(final.status)) break;
await new Promise((r) => setTimeout(r, 2_000));
}
// Step 3 — what actually landed.
console.log({
status: final.status,
rowCountProcessed: final.rowCountProcessed,
rowCountSucceeded: final.rowCountSucceeded,
rowCountFailed: final.rowCountFailed,
});# python — cancel an in-flight import
import os
import sys
import time
import requests
PAT = os.environ["WAAFIR_PAT"]
BASE_URL = os.environ.get("WAAFIR_BASE_URL", "https://app.waafir.io")
import_id = sys.argv[1] if len(sys.argv) > 1 else None
if not import_id:
raise SystemExit("usage: python cancel.py <importId>")
auth = {"Authorization": f"Bearer {PAT}"}
# Step 1 — DELETE the import.
cancel = requests.delete(
f"{BASE_URL}/api/v1/monitoring/loan/imports/{import_id}",
headers=auth,
timeout=30,
)
cancel.raise_for_status()
print("cancel accepted:", cancel.json())
# Step 2 — poll for terminal status.
terminal = {"succeeded", "partial", "failed", "cancelled"}
while True:
final = requests.get(
f"{BASE_URL}/api/v1/monitoring/loan/imports/{import_id}",
headers=auth,
timeout=30,
).json()
print(f"import {import_id}: {final['status']}")
if final["status"] in terminal:
break
time.sleep(2)
# Step 3 — what actually landed.
print({
"status": final["status"],
"rowCountProcessed": final["rowCountProcessed"],
"rowCountSucceeded": final["rowCountSucceeded"],
"rowCountFailed": final["rowCountFailed"],
})Что проверить
После завершения цикла опроса status равен cancelled, если сигнал отмены дошёл до обработчика раньше, чем тот закончил, либо одному из succeeded / partial / failed, если обработчик успел обработать весь файл до следующей проверки на границе пакета (редко, но возможно для небольших файлов).
Поле rowCountSucceeded — число строк, зафиксированных до отмены. Если нужен точный список записанного, сверьте эти строки по внешнему ID (см. рецепт сверки).
Повторный DELETE того же импорта возвращает существующий конечный статус без повторной отмены; эндпоинт идемпотентен. Отмена импорта, уже находящегося в конечном состоянии (уже достигшего succeeded, partial или failed), ничего не делает и возвращает существующий статус.