feat(tests): 신규 키움 웹소켓 조건검색 및 실시간 조건검색 테스트 추가
변경 사항 ---- - _test_kiwoom_condition_list.py: 키움 웹소켓 조건검색 '목록조회' 기능을 단독으로 테스트하는 스크립트 추가 - _test_kiwoom_condition_realtime.py: 'momentum' 조건식을 실시간으로 등록하고 초기 매칭 종목 리스트 및 실시간 편입/이탈을 수신하는 테스트 스크립트 추가 - _verify_columnar_bitid.py, _verify_shared_e2e_breakout.py, _verify_shared_e2e.py: 공유 메모리 및 dict 간의 데이터 일관성을 검증하는 테스트 추가 영향 ---- - 신규 테스트 스크립트 추가로 키움 웹소켓 API의 기능 검증 및 안정성을 높임 - 기존 기능에 대한 영향 없음 Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
@@ -65,9 +65,9 @@ class TradeDBExt:
|
||||
submitted_at : 주문 접수 시각
|
||||
filled_at : 체결 확인 시각
|
||||
|
||||
UNIQUE(strategy_id, code, ord_date, side):
|
||||
같은 전략·같은 종목·같은 날짜·같은 방향 중복 주문 시도를 서버단 차단.
|
||||
(정정/취소는 별도 ODNO 로 인입되므로 구분됨)
|
||||
중복 차단은 ord_no(PK) 만 사용.
|
||||
(구) UNIQUE(strategy,code,side,ord_date) 는 당일 재매수·부분체결 재주문 시
|
||||
HTS 에는 체결됐는데 orders/active_trades 미기록 버그 유발 → 제거.
|
||||
"""
|
||||
try:
|
||||
self.conn.execute("""
|
||||
@@ -89,14 +89,32 @@ class TradeDBExt:
|
||||
filled_at VARCHAR(30) DEFAULT NULL,
|
||||
raw_json MEDIUMTEXT DEFAULT NULL,
|
||||
INDEX idx_strategy_date (strategy_id, ord_date),
|
||||
INDEX idx_code_date (code, ord_date),
|
||||
UNIQUE KEY uq_strategy_code_side_date (strategy_id, code, side, ord_date)
|
||||
INDEX idx_code_date (code, ord_date)
|
||||
) CHARACTER SET utf8mb4
|
||||
""")
|
||||
self._migrate_orders_drop_daily_side_unique()
|
||||
logger.info("📊 orders 테이블 확인/생성 완료")
|
||||
except Exception as e:
|
||||
logger.warning("orders 테이블 생성 실패(무시·폴백): %s", e)
|
||||
|
||||
def _migrate_orders_drop_daily_side_unique(self) -> None:
|
||||
"""당일 1회 매수 UNIQUE 제거 — 재진입·삼성전자 누적매수 DB 미기록 방지."""
|
||||
try:
|
||||
rows = self.conn.execute(
|
||||
"SHOW INDEX FROM orders WHERE Key_name = %s",
|
||||
("uq_strategy_code_side_date",),
|
||||
).fetchall()
|
||||
if rows:
|
||||
self.conn.execute(
|
||||
"ALTER TABLE orders DROP INDEX uq_strategy_code_side_date"
|
||||
)
|
||||
logger.info(
|
||||
"✅ orders.uq_strategy_code_side_date 제거 "
|
||||
"(당일 재매수 시 DB 동기화 가능)"
|
||||
)
|
||||
except Exception as e:
|
||||
logger.debug("orders UNIQUE 마이그레이션 스킵: %s", e)
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# orders CRUD
|
||||
# ------------------------------------------------------------------
|
||||
@@ -193,6 +211,96 @@ class TradeDBExt:
|
||||
except Exception as e:
|
||||
logger.debug("mark_order_rejected 실패 (%s): %s", ord_no, e)
|
||||
|
||||
def update_order_status(self, *, ord_no: str, status: str) -> bool:
|
||||
"""체결 대기 등 — filled_qty 없이 status 만 갱신."""
|
||||
try:
|
||||
with self.conn:
|
||||
self.conn.execute(
|
||||
"UPDATE orders SET status=%s WHERE ord_no=%s",
|
||||
(status, ord_no),
|
||||
)
|
||||
return True
|
||||
except Exception as e:
|
||||
logger.error("update_order_status 실패 (%s): %s", ord_no, e)
|
||||
return False
|
||||
|
||||
def get_pending_fill_orders(self) -> List[Dict]:
|
||||
"""
|
||||
당일 미확인·부분체결 주문 (체결 qty < 주문 qty).
|
||||
heartbeat ``poll_pending_fills`` 재조회용.
|
||||
"""
|
||||
today = datetime.datetime.now().strftime("%Y-%m-%d")
|
||||
try:
|
||||
rows = self.conn.execute(
|
||||
"""
|
||||
SELECT * FROM orders
|
||||
WHERE ord_date=%s
|
||||
AND status IN ('SUBMITTED', 'PENDING_FILL', 'PARTIAL')
|
||||
AND COALESCE(filled_qty, 0) < qty
|
||||
ORDER BY submitted_at ASC
|
||||
""",
|
||||
(today,),
|
||||
).fetchall()
|
||||
return [dict(r) for r in rows]
|
||||
except Exception as e:
|
||||
logger.error("get_pending_fill_orders 실패: %s", e)
|
||||
return []
|
||||
|
||||
def get_pending_sell_order(
|
||||
self, strategy_id: str, code: str
|
||||
) -> Optional[Dict]:
|
||||
"""동일 전략·종목 미체결 매도 1건 (중복 주문 방지용)."""
|
||||
today = datetime.datetime.now().strftime("%Y-%m-%d")
|
||||
try:
|
||||
row = self.conn.execute(
|
||||
"""
|
||||
SELECT * FROM orders
|
||||
WHERE ord_date=%s
|
||||
AND strategy_id=%s
|
||||
AND code=%s
|
||||
AND side='SELL'
|
||||
AND status IN ('SUBMITTED', 'PENDING_FILL', 'PARTIAL')
|
||||
AND COALESCE(filled_qty, 0) < qty
|
||||
ORDER BY submitted_at DESC
|
||||
LIMIT 1
|
||||
""",
|
||||
(today, strategy_id, code),
|
||||
).fetchone()
|
||||
return dict(row) if row else None
|
||||
except Exception as e:
|
||||
logger.error("get_pending_sell_order 실패 (%s/%s): %s", strategy_id, code, e)
|
||||
return None
|
||||
|
||||
def get_pending_buy_order(
|
||||
self, strategy_id: str, code: str
|
||||
) -> Optional[Dict]:
|
||||
"""동일 전략·종목 미체결 매수 1건 (중복 주문 방지용).
|
||||
|
||||
체결확인 API(inquire-daily-ccld) 장애로 fill 미확인(PENDING_FILL) 상태일 때,
|
||||
전략 루프가 같은 종목을 매 턴 재주문하는 폭주를 막는다.
|
||||
만료 시 poll_pending_fills 가 status 를 CANCELLED 로 바꿔 자동 해제된다.
|
||||
"""
|
||||
today = datetime.datetime.now().strftime("%Y-%m-%d")
|
||||
try:
|
||||
row = self.conn.execute(
|
||||
"""
|
||||
SELECT * FROM orders
|
||||
WHERE ord_date=%s
|
||||
AND strategy_id=%s
|
||||
AND code=%s
|
||||
AND side='BUY'
|
||||
AND status IN ('SUBMITTED', 'PENDING_FILL', 'PARTIAL')
|
||||
AND COALESCE(filled_qty, 0) < qty
|
||||
ORDER BY submitted_at DESC
|
||||
LIMIT 1
|
||||
""",
|
||||
(today, strategy_id, code),
|
||||
).fetchone()
|
||||
return dict(row) if row else None
|
||||
except Exception as e:
|
||||
logger.error("get_pending_buy_order 실패 (%s/%s): %s", strategy_id, code, e)
|
||||
return None
|
||||
|
||||
def get_order_by_odno(self, ord_no: str) -> Optional[Dict]:
|
||||
try:
|
||||
row = self.conn.execute(
|
||||
@@ -406,21 +514,26 @@ class TradeDBExt:
|
||||
strategy_id: str,
|
||||
start_time: str,
|
||||
end_time: str,
|
||||
preserve_insert_order: bool = False,
|
||||
) -> List[Dict]:
|
||||
"""
|
||||
``[start_time, end_time]`` 구간의 모든 스냅샷 이벤트를 시간순 반환.
|
||||
각 이벤트 = {"event_time": ..., "codes": [...]}.
|
||||
백테스트 루프에서 시점별 유니버스를 순회할 때 사용.
|
||||
|
||||
``preserve_insert_order=True``: 스냅샷 내 종목 순서를 DB insert(id) 순으로
|
||||
유지 (백테 매수 우선순위 정합). 기본 False 는 code 가나다순.
|
||||
"""
|
||||
self._ensure_history_columns()
|
||||
order_clause = "event_time, id" if preserve_insert_order else "event_time, code"
|
||||
try:
|
||||
rows = self.conn.execute(
|
||||
"""
|
||||
f"""
|
||||
SELECT event_time, code, name
|
||||
FROM target_candidates_history
|
||||
WHERE strategy_id=%s
|
||||
AND event_time BETWEEN %s AND %s
|
||||
ORDER BY event_time, code
|
||||
ORDER BY {order_clause}
|
||||
""",
|
||||
(strategy_id, start_time, end_time),
|
||||
).fetchall()
|
||||
@@ -438,12 +551,22 @@ class TradeDBExt:
|
||||
logger.error("iter_universe_events 실패: %s", e)
|
||||
return []
|
||||
|
||||
@staticmethod
|
||||
def _add_minutes_to_candle_slot(candle_slot: str, minutes: int) -> str:
|
||||
"""YYYYMMDDHHMM 슬롯에 분 단위 가산."""
|
||||
from datetime import datetime, timedelta
|
||||
dt = datetime.strptime(candle_slot, "%Y%m%d%H%M")
|
||||
return (dt + timedelta(minutes=int(minutes))).strftime("%Y%m%d%H%M")
|
||||
|
||||
def get_universe_by_candle_time(
|
||||
self,
|
||||
*,
|
||||
strategy_id: str,
|
||||
start_ymd: str,
|
||||
end_ymd: str,
|
||||
strict: bool = False,
|
||||
strict_lag_minutes: int = 1,
|
||||
exit_debounce_sec: int = 0,
|
||||
) -> Dict[str, List[str]]:
|
||||
"""
|
||||
백테스트 편의용 — 1분봉 캔들 시각(YYYYMMDDHHMM)을 키로 하는 유니버스 dict.
|
||||
@@ -454,10 +577,18 @@ class TradeDBExt:
|
||||
**그 캔들의 종가 형성 시각 (HH:MM:59) 이전의 가장 최근 스냅샷** 을
|
||||
선택해 "그 시점에 봇이 보던 유니버스" 를 재현한다.
|
||||
|
||||
``strict=True`` (모멘텀 백테 실매 정합):
|
||||
분 전체에 스냅샷을 미리 적용하는 lookahead 를 제거한다.
|
||||
이전 스냅샷 대비 **신규 편입** 종목만 ``event_time`` 분 + lag 이후 분봉부터 포함.
|
||||
(예: 09:42:25 편입 + lag=1 → 09:43 분봉부터, 09:42 분봉에서는 제외)
|
||||
|
||||
Args:
|
||||
strategy_id: 'SCALP' | 'SHORT' | 'BREAKOUT'
|
||||
strategy_id: 'SCALP' | 'SHORT' | 'BREAKOUT' | 'MOMENTUM'
|
||||
start_ymd: 시작일 YYYYMMDD
|
||||
end_ymd: 종료일 YYYYMMDD
|
||||
strict: 종목별 첫 event_time 기준 편입 지연 적용
|
||||
strict_lag_minutes: 첫 편입 분 이후 추가 대기 분 (기본 1)
|
||||
exit_debounce_sec: 짧은 EXIT→재편입 무시(초). 0=OFF.
|
||||
|
||||
Returns:
|
||||
``{candle_time(YYYYMMDDHHMM): [code, ...]}`` —
|
||||
@@ -480,6 +611,7 @@ class TradeDBExt:
|
||||
strategy_id=strategy_id,
|
||||
start_time=start_time,
|
||||
end_time=end_time,
|
||||
preserve_insert_order=True,
|
||||
)
|
||||
if not events:
|
||||
return {}
|
||||
@@ -501,6 +633,17 @@ class TradeDBExt:
|
||||
if not normalized:
|
||||
return {}
|
||||
|
||||
if exit_debounce_sec > 0:
|
||||
try:
|
||||
from kis_trader.backtest.momentum_universe_timeline import (
|
||||
debounce_universe_snapshots,
|
||||
)
|
||||
normalized = debounce_universe_snapshots(
|
||||
normalized, int(exit_debounce_sec),
|
||||
)
|
||||
except Exception as e:
|
||||
logger.warning("유니버스 EXIT 디바운스 실패(원본 사용): %s", e)
|
||||
|
||||
out: Dict[str, List[str]] = {}
|
||||
# candle_time 은 분단위 (YYYYMMDDHHMM). 각 캔들의 "종가 형성 시점" 은
|
||||
# 그 분의 59초로 본다 → candle_end_key = candle_time + "59".
|
||||
@@ -511,6 +654,21 @@ class TradeDBExt:
|
||||
|
||||
# 첫 이벤트 시각을 분단위로 내림 → 그 이전 캔들은 유니버스 없음
|
||||
first_ev_key = normalized[0][0]
|
||||
strict_lag = max(0, int(strict_lag_minutes))
|
||||
|
||||
prev_codes_set: set = set()
|
||||
code_avail: Dict[str, str] = {}
|
||||
if strict:
|
||||
try:
|
||||
prev_items = self.get_universe_at(
|
||||
strategy_id=strategy_id, at_time=start_time,
|
||||
)
|
||||
prev_codes_set = {
|
||||
str(it["code"]) for it in prev_items if it.get("code")
|
||||
}
|
||||
code_avail = {c: "000000000000" for c in prev_codes_set}
|
||||
except Exception as e:
|
||||
logger.warning("strict 유니버스 초기 스냅샷 실패: %s", e)
|
||||
|
||||
# 날짜별 장중 시간대 (09:00~15:30) 1분 단위로 캔들 시각 생성.
|
||||
# DB 에 없는 시각도 dict 에 key 가 생기면 메모리 낭비이므로, 엔진이 실제
|
||||
@@ -529,10 +687,31 @@ class TradeDBExt:
|
||||
candle_end_key = candle_time + "59" # YYYYMMDDHHMMSS
|
||||
# 그 이전 또는 같은 시각의 가장 최근 event_time 까지 포인터 전진
|
||||
while ev_idx < n_ev and normalized[ev_idx][0] <= candle_end_key:
|
||||
active_codes = normalized[ev_idx][1]
|
||||
et_key, codes = normalized[ev_idx]
|
||||
if strict:
|
||||
cur_set = {str(c) for c in codes if c}
|
||||
et_slot = et_key[:12]
|
||||
avail_slot = (
|
||||
self._add_minutes_to_candle_slot(et_slot, strict_lag)
|
||||
if strict_lag > 0 else et_slot
|
||||
)
|
||||
for c in cur_set - prev_codes_set:
|
||||
code_avail[c] = avail_slot
|
||||
for c in prev_codes_set - cur_set:
|
||||
code_avail.pop(c, None)
|
||||
prev_codes_set = cur_set
|
||||
active_codes = codes
|
||||
ev_idx += 1
|
||||
if active_codes and candle_end_key >= first_ev_key:
|
||||
out[candle_time] = active_codes
|
||||
if strict:
|
||||
filtered = [
|
||||
c for c in active_codes
|
||||
if candle_time >= code_avail.get(str(c), "000000000000")
|
||||
]
|
||||
if filtered:
|
||||
out[candle_time] = filtered
|
||||
else:
|
||||
out[candle_time] = active_codes
|
||||
t += timedelta(minutes=1)
|
||||
day += timedelta(days=1)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user