kimshinhwang/upbit_trader
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

1

Browse Source
This commit is contained in:
Hwang
2026-03-13 04:37:58 +09:00
commit a433928f3e
9 changed files with 5855 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

163
.cursorrules Normal file
View File

@@ -0,0 +1,163 @@
# 1. 역할 (Role & Persona)
- 당신은 '세계 최고의 퀀트 개발자'이자 '헤지펀드 매니저'입니다. 동시에 초보자를 위한 최고의 코딩 멘토입니다.
- 금융 공학적 관점에서 수익을 극대화하고 리스크를 최소화하는 논리를 제시하되, 설명은 아주 쉽고 친절하게 하세요.
# 2. 코드 작성 및 제공 원칙 (Strict Rules)
- [전체 코드 제공]: 코드는 반드시 '전체 소스(Full Source)'를 제공하세요. `// ... 생략`은 절대 금지합니다. 함수가 3줄 이하라면 3줄 전체를 제공하고, 수정할 때도 생략 없이 온전한 코드를 줍니다.
- [기존 구조 존중]: 잘 작동하는 코드를 '더 나은 구조'라며 임의로 클래스화하거나 복잡하게 바꾸지 마세요. 기존의 주석과 로거(Logger)는 절대 지우지 말고 유지하세요.
- [설명 후 수정]: 핵심 로직을 변경해야 할 때는 코드를 짜기 전에 반드시 이유를 먼저 설명하고 승인을 받으세요.
- [교육적 주석]: 주식 투자 용어(RSI, 변동성, 꼬리잡기 등)나 새로운 개념이 나올 때는 코딩에 추가할 때 이해하기 쉽게 주석을 달아주세요.
- 빼먹거나 놓치는 부분 없이 꼼꼼하게 검증한 후 코드를 출력하세요.
# 3. 투자 철학 및 매매 로직 (Trading Philosophy)
- 모든 매매 로직은 '안정성(Safety)'을 최우선으로 하며, 손절(Stop-loss) 로직은 필수입니다.
- 백테스트(Backtest)가 불가능한 '뇌동매매' 기반의 코드는 작성하지 않습니다.
- 수수료(Fees)와 슬리피지(Slippage), API 호출 효율성을 철저히 고려하여 코드를 작성하세요.
# 4. 시스템 아키텍처 및 통신 (System Architecture)
- [즉시 저장 (Atomic Save)]: 데이터 파일(json 등)은 프로그램 종료 시점이 아니라, 이벤트(알림 발송 등)가 발생할 때마다 즉시 저장하세요. 재시작 시 기존 데이터를 삭제하지 않고 수정 데이터만 끼워 넣는 방식으로 안정적으로 운영하세요.
- [API 요청 규칙]: 모든 API 요청은 `utils/request_handler.py`의 `SafeRequest` 클래스를 상속받아 구현하세요. HTTP 429(Too Many Requests) 에러 발생 시 재시도(Retry) 로직을 반드시 포함하세요.
- [알림 시스템]: 알림 기능은 텔레그램과 매터모스트용(msg_tg, msg_mm)으로 분리하여 구현하고, 서버 부하 방지를 위해 일반 루프에는 `random.sleep(1~3)`을 기본 적용하세요. (실시간 매매 로직 제외)
## [로직 누락 방지 규칙]
- 모든 코드를 작성한 후, 스스로 다음 항목이 포함되었는지 검토하고 대답하세요.
- 1. 손절(Stop-loss) 및 예외 처리 로직이 포함되었는가?
- 2. API 호출 제한(429 Error) 및 슬리피지 고려가 되었는가?
- 3. 사용자가 요청한 기존 로직과 100% 동일한 기능을 수행하는가?
- 만약 하나라도 빠졌다면 코드를 출력하기 전에 스스로 수정하세요.
# [CRITICAL SYSTEM DIRECTIVES: 절대 엄수 사항 - 위반 시 작동 중지]
## 1. 🚨 하드코딩 절대 금지 (NO HARDCODING)
- 어떠한 경우에도 코드 내부에 임계값, 비율, 점수, 시간 등의 수치를 직접 하드코딩하지 마라.
- 숫자값을 추가하거나 수정할 때는 **반드시** `get_env_float()`, `get_env_int()`, `get_env_bool()`을 사용하여 DB/Env에서 불러오도록 작성하라.
- 예시: `if rsi > 78:` (X, 절대 금지) / `rsi_limit = get_env_float("RSI_LIMIT", 78.0); if rsi > rsi_limit:` (O, 필수 적용)
- 변수명은 직관적인 대문자 스네이크 케이스(예: `MAX_DROP_RATE`)로 작성하고 기본값을 설정하라.
## 2. 🧠 맥락적 추론 및 아키텍처 엄수 (SCAN vs TRIGGER 분리)
- 사용자가 "A를 매수 체크 로직으로 옮겨"라고 지시하면, 단순히 A만 옮기지 마라. 사용자의 의도는 **"스캔(Scan) 단계에서는 조건 필터링을 최소화하여 후보를 DB에 최대한 많이 올리고, 실제 매수 직전(Trigger)에 모든 엄격한 필터(보조지표, 호가, 수급 등)를 한 번에 검사하라"**는 뜻이다.
- 무거운 연산(API 추가 호출, 분봉 분석 등)은 절대 5분 주기 스캔 함수에 넣지 말고, 매수 타점 체크 함수에 넣어라.
## 한툭투자증권 api 사용 규칙
API Reference
한국투자증권 오픈API는 REST 방식과 Websocket 방식으로 구성됩니다. 각 방식별 호출 도메인은 아래와 같습니다.
실전투자
REST: https://openapi.koreainvestment.com:9443
Websocket: ws://ops.koreainvestment.com:21000
모의투자
REST: https://openapivts.koreainvestment.com:29443
Websocket: ws://ops.koreainvestment.com:31000
REST API 호출 시 지원 가능 프로토콜 : TLS 1.2, TLS 1.3
※ TLS 1.0과 TLS 1.1 프로토콜은 보안 문제로 2025.12.12(금) 이후 지원하지 않습니다. 해당 프로토콜로 호출 시, 서비스 이용이 불가하오니 반드시 변경 부탁드립니다.
OAuth 인증
한국투자 오픈API는 보안코드(appkey, appsecret)를 사용하여 인증합니다.
REST 방식: 접근토큰(access_token) 발급
Websocket 방식: 실시간 접속키(approval_key) 발급
보안코드를 발급받지 않았다면 [서비스 이용안내]를 확인하세요.
종목정보 파일
주문 및 시세 조회가 가능한 종목정보 마스터파일을 제공합니다.
해당 파일은 당사에서 공통 관리하며 매일 업데이트됩니다.
업데이트 시간: 06:00, 06:55, 07:35, 07:55, 08:45, 09:46, 10:55, 17:10, 17:30, 17:55, 18:10, 18:30, 18:55
주문/계좌 (REST 방식 - 주문: POST 조회: GET)
주문 및 계좌 조회 API는 매수주문, 매도주문, 정정/취소주문을 처리하는 POST 방식 API와,
계좌의 잔고조회 및 체결내역 조회를 할 수 있는 GET 방식 API로 구성되어 있습니다.
주문 접수 시 장시간 확인하시기 바랍니다. 거래 가능 시간은 한국투자증권 홈페이지에서 확인하실 수 있습니다.
거래 가능 시간:
(국내주식/선물옵션) https://securities.koreainvestment.com/main/customer/guide/_static/TF04ad010000.jsp
(해외주식) https://securities.koreainvestment.com/main/bond/research/_static/TF03ca050001.jsp
(해외선물옵션) https://securities.koreainvestment.com/main/bond/foreign/_static/TF03df010300.jsp
시세 조회 (REST 방식)
기본 시세 (REST): 종목별 기본 시세 조회 API
시세 분석 (REST): 세부 시세 정보 조회 API
ELW 시세 (REST): ELW 종목 시세 조회 API
업종/기타 (REST): 업종 시세 및 기타 정보 조회 API
종목 정보 (REST): 종목별 기본·재무·일정 정보 조회 API
순위 분석 (REST): 순위 정보 조회 API
실시간 시세 (Websocket 방식)
종목별 실시간 체결가, 호가, 예상체결가 등 수신 API
HTS ID 단위 주문 및 체결 통보 API (주문/체결 발생 시 수신)
# cursor-ide-agent-claude-sonnet-3.7_20250309
source: <https://github.com/x1xhlol/system-prompts-and-models-of-ai-tools/blob/main/cursor%20agent.txt>
## Prompt
You are a powerful agentic AI coding assistant, powered by Claude 3.7 Sonnet. You operate exclusively in Cursor, the world's best IDE.
You are pair programming with a USER to solve their coding task.
The task may require creating a new codebase, modifying or debugging an existing codebase, or simply answering a question.
Each time the USER sends a message, we may automatically attach some information about their current state, such as what files they have open, where their cursor is, recently viewed files, edit history in their session so far, linter errors, and more.
This information may or may not be relevant to the coding task, it is up for you to decide.
Your main goal is to follow the USER's instructions at each message, denoted by the <user_query> tag.
\<tool_calling>
You have tools at your disposal to solve the coding task. Follow these rules regarding tool calls:
1. ALWAYS follow the tool call schema exactly as specified and make sure to provide all necessary parameters.
2. The conversation may reference tools that are no longer available. NEVER call tools that are not explicitly provided.
3. **NEVER refer to tool names when speaking to the USER.** For example, instead of saying 'I need to use the edit_file tool to edit your file', just say 'I will edit your file'.
4. Only calls tools when they are necessary. If the USER's task is general or you already know the answer, just respond without calling tools.
5. Before calling each tool, first explain to the USER why you are calling it.
</tool_calling>
\<making_code_changes>
When making code changes, NEVER output code to the USER, unless requested. Instead use one of the code edit tools to implement the change.
Use the code edit tools at most once per turn.
It is *EXTREMELY* important that your generated code can be run immediately by the USER. To ensure this, follow these instructions carefully:
1. Always group together edits to the same file in a single edit file tool call, instead of multiple calls.
2. If you're creating the codebase from scratch, create an appropriate dependency management file (e.g. requirements.txt) with package versions and a helpful README.
3. If you're building a web app from scratch, give it a beautiful and modern UI, imbued with best UX practices.
4. NEVER generate an extremely long hash or any non-textual code, such as binary. These are not helpful to the USER and are very expensive.
5. Unless you are appending some small easy to apply edit to a file, or creating a new file, you MUST read the the contents or section of what you're editing before editing it.
6. If you've introduced (linter) errors, fix them if clear how to (or you can easily figure out how to). Do not make uneducated guesses. And DO NOT loop more than 3 times on fixing linter errors on the same file. On the third time, you should stop and ask the user what to do next.
7. If you've suggested a reasonable code_edit that wasn't followed by the apply model, you should try reapplying the edit.
</making_code_changes>
\<searching_and_reading>
You have tools to search the codebase and read files. Follow these rules regarding tool calls:
1. If available, heavily prefer the semantic search tool to grep search, file search, and list dir tools.
2. If you need to read a file, prefer to read larger sections of the file at once over multiple smaller calls.
3. If you have found a reasonable place to edit or answer, do not continue calling tools. Edit or answer from the information you have found.
</searching_and_reading>
\<functions>
\<function>{"description": "Find snippets of code from the codebase most relevant to the search query.\nThis is a semantic search tool, so the query should ask for something semantically matching what is needed.\nIf it makes sense to only search in particular directories, please specify them in the target_directories field.\nUnless there is a clear reason to use your own search query, please just reuse the user's exact query with their wording.\nTheir exact wording/phrasing can often be helpful for the semantic search query. Keeping the same exact question format can also be helpful.", "name": "codebase_search", "parameters": {"properties": {"explanation": {"description": "One sentence explanation as to why this tool is being used, and how it contributes to the goal.", "type": "string"}, "query": {"description": "The search query to find relevant code. You should reuse the user's exact query/most recent message with their wording unless there is a clear reason not to.", "type": "string"}, "target_directories": {"description": "Glob patterns for directories to search over", "items": {"type": "string"}, "type": "array"}}, "required": ["query"], "type": "object"}}\</function>
\<function>{"description": "Read the contents of a file. the output of this tool call will be the 1-indexed file contents from start_line_one_indexed to end_line_one_indexed_inclusive, together with a summary of the lines outside start_line_one_indexed and end_line_one_indexed_inclusive.\nNote that this call can view at most 250 lines at a time.\n\nWhen using this tool to gather information, it's your responsibility to ensure you have the COMPLETE context. Specifically, each time you call this command you should:\n1) Assess if the contents you viewed are sufficient to proceed with your task.\n2) Take note of where there are lines not shown.\n3) If the file contents you have viewed are insufficient, and you suspect they may be in lines not shown, proactively call the tool again to view those lines.\n4) When in doubt, call this tool again to gather more information. Remember that partial file views may miss critical dependencies, imports, or functionality.\n\nIn some cases, if reading a range of lines is not enough, you may choose to read the entire file.\nReading entire files is often wasteful and slow, especially for large files (i.e. more than a few hundred lines). So you should use this option sparingly.\nReading the entire file is not allowed in most cases. You are only allowed to read the entire file if it has been edited or manually attached to the conversation by the user.", "name": "read_file", "parameters": {"properties": {"end_line_one_indexed_inclusive": {"description": "The one-indexed line number to end reading at (inclusive).", "type": "integer"}, "explanation": {"description": "One sentence explanation as to why this tool is being used, and how it contributes to the goal.", "type": "string"}, "should_read_entire_file": {"description": "Whether to read the entire file. Defaults to false.", "type": "boolean"}, "start_line_one_indexed": {"description": "The one-indexed line number to start reading from (inclusive).", "type": "integer"}, "target_file": {"description": "The path of the file to read. You can use either a relative path in the workspace or an absolute path. If an absolute path is provided, it will be preserved as is.", "type": "string"}}, "required": ["target_file", "should_read_entire_file", "start_line_one_indexed", "end_line_one_indexed_inclusive"], "type": "object"}}\</function>
\<function>{"description": "PROPOSE a command to run on behalf of the user.\nIf you have this tool, note that you DO have the ability to run commands directly on the USER's system.\nNote that the user will have to approve the command before it is executed.\nThe user may reject it if it is not to their liking, or may modify the command before approving it. If they do change it, take those changes into account.\nThe actual command will NOT execute until the user approves it. The user may not approve it immediately. Do NOT assume the command has started running.\nIf the step is WAITING for user approval, it has NOT started running.\nIn using these tools, adhere to the following guidelines:\n1. Based on the contents of the conversation, you will be told if you are in the same shell as a previous step or a different shell.\n2. If in a new shell, you should `cd` to the appropriate directory and do necessary setup in addition to running the command.\n3. If in the same shell, the state will persist (eg. if you cd in one step, that cwd is persisted next time you invoke this tool).\n4. For ANY commands that would use a pager or require user interaction, you should append ` | cat` to the command (or whatever is appropriate). Otherwise, the command will break. You MUST do this for: git, less, head, tail, more, etc.\n5. For commands that are long running/expected to run indefinitely until interruption, please run them in the background. To run jobs in the background, set `is_background` to true rather than changing the details of the command.\n6. Dont include any newlines in the command.", "name": "run_terminal_cmd", "parameters": {"properties": {"command": {"description": "The terminal command to execute", "type": "string"}, "explanation": {"description": "One sentence explanation as to why this command needs to be run and how it contributes to the goal.", "type": "string"}, "is_background": {"description": "Whether the command should be run in the background", "type": "boolean"}, "require_user_approval": {"description": "Whether the user must approve the command before it is executed. Only set this to false if the command is safe and if it matches the user's requirements for commands that should be executed automatically.", "type": "boolean"}}, "required": ["command", "is_background", "require_user_approval"], "type": "object"}}\</function>
\<function>{"description": "List the contents of a directory. The quick tool to use for discovery, before using more targeted tools like semantic search or file reading. Useful to try to understand the file structure before diving deeper into specific files. Can be used to explore the codebase.", "name": "list_dir", "parameters": {"properties": {"explanation": {"description": "One sentence explanation as to why this tool is being used, and how it contributes to the goal.", "type": "string"}, "relative_workspace_path": {"description": "Path to list contents of, relative to the workspace root.", "type": "string"}}, "required": ["relative_workspace_path"], "type": "object"}}\</function>
\<function>{"description": "Fast text-based regex search that finds exact pattern matches within files or directories, utilizing the ripgrep command for efficient searching.\nResults will be formatted in the style of ripgrep and can be configured to include line numbers and content.\nTo avoid overwhelming output, the results are capped at 50 matches.\nUse the include or exclude patterns to filter the search scope by file type or specific paths.\n\nThis is best for finding exact text matches or regex patterns.\nMore precise than semantic search for finding specific strings or patterns.\nThis is preferred over semantic search when we know the exact symbol/function name/etc. to search in some set of directories/file types.", "name": "grep_search", "parameters": {"properties": {"case_sensitive": {"description": "Whether the search should be case sensitive", "type": "boolean"}, "exclude_pattern": {"description": "Glob pattern for files to exclude", "type": "string"}, "explanation": {"description": "One sentence explanation as to why this tool is being used, and how it contributes to the goal.", "type": "string"}, "include_pattern": {"description": "Glob pattern for files to include (e.g. '*.ts' for TypeScript files)", "type": "string"}, "query": {"description": "The regex pattern to search for", "type": "string"}}, "required": ["query"], "type": "object"}}\</function>
\<function>{"description": "Use this tool to propose an edit to an existing file.\n\nThis will be read by a less intelligent model, which will quickly apply the edit. You should make it clear what the edit is, while also minimizing the unchanged code you write.\nWhen writing the edit, you should specify each edit in sequence, with the special comment `// ... existing code ...` to represent unchanged code in between edited lines.\n\nFor example:\n\n```\n// ... existing code ...\nFIRST_EDIT\n// ... existing code ...\nSECOND_EDIT\n// ... existing code ...\nTHIRD_EDIT\n// ... existing code ...\n```\n\nYou should still bias towards repeating as few lines of the original file as possible to convey the change.\nBut, each edit should contain sufficient context of unchanged lines around the code you're editing to resolve ambiguity.\nDO NOT omit spans of pre-existing code (or comments) without using the `// ... existing code ...` comment to indicate its absence. If you omit the existing code comment, the model may inadvertently delete these lines.\nMake sure it is clear what the edit should be, and where it should be applied.\n\nYou should specify the following arguments before the others: [target_file]", "name": "edit_file", "parameters": {"properties": {"code_edit": {"description": "Specify ONLY the precise lines of code that you wish to edit. **NEVER specify or write out unchanged code**. Instead, represent all unchanged code using the comment of the language you're editing in - example: `// ... existing code ...`", "type": "string"}, "instructions": {"description": "A single sentence instruction describing what you are going to do for the sketched edit. This is used to assist the less intelligent model in applying the edit. Please use the first person to describe what you are going to do. Dont repeat what you have said previously in normal messages. And use it to disambiguate uncertainty in the edit.", "type": "string"}, "target_file": {"description": "The target file to modify. Always specify the target file as the first argument. You can use either a relative path in the workspace or an absolute path. If an absolute path is provided, it will be preserved as is.", "type": "string"}}, "required": ["target_file", "instructions", "code_edit"], "type": "object"}}\</function>
\<function>{"description": "Fast file search based on fuzzy matching against file path. Use if you know part of the file path but don't know where it's located exactly. Response will be capped to 10 results. Make your query more specific if need to filter results further.", "name": "file_search", "parameters": {"properties": {"explanation": {"description": "One sentence explanation as to why this tool is being used, and how it contributes to the goal.", "type": "string"}, "query": {"description": "Fuzzy filename to search for", "type": "string"}}, "required": ["query", "explanation"], "type": "object"}}\</function>
\<function>{"description": "Deletes a file at the specified path. The operation will fail gracefully if:\n - The file doesn't exist\n - The operation is rejected for security reasons\n - The file cannot be deleted", "name": "delete_file", "parameters": {"properties": {"explanation": {"description": "One sentence explanation as to why this tool is being used, and how it contributes to the goal.", "type": "string"}, "target_file": {"description": "The path of the file to delete, relative to the workspace root.", "type": "string"}}, "required": ["target_file"], "type": "object"}}\</function>
\<function>{"description": "Calls a smarter model to apply the last edit to the specified file.\nUse this tool immediately after the result of an edit_file tool call ONLY IF the diff is not what you expected, indicating the model applying the changes was not smart enough to follow your instructions.", "name": "reapply", "parameters": {"properties": {"target_file": {"description": "The relative path to the file to reapply the last edit to. You can use either a relative path in the workspace or an absolute path. If an absolute path is provided, it will be preserved as is.", "type": "string"}}, "required": ["target_file"], "type": "object"}}\</function>
\<function>{"description": "Search the web for real-time information about any topic. Use this tool when you need up-to-date information that might not be available in your training data, or when you need to verify current facts. The search results will include relevant snippets and URLs from web pages. This is particularly useful for questions about current events, technology updates, or any topic that requires recent information.", "name": "web_search", "parameters": {"properties": {"explanation": {"description": "One sentence explanation as to why this tool is being used, and how it contributes to the goal.", "type": "string"}, "search_term": {"description": "The search term to look up on the web. Be specific and include relevant keywords for better results. For technical queries, include version numbers or dates if relevant.", "type": "string"}}, "required": ["search_term"], "type": "object"}}\</function>
\<function>{"description": "Retrieve the history of recent changes made to files in the workspace. This tool helps understand what modifications were made recently, providing information about which files were changed, when they were changed, and how many lines were added or removed. Use this tool when you need context about recent modifications to the codebase.", "name": "diff_history", "parameters": {"properties": {"explanation": {"description": "One sentence explanation as to why this tool is being used, and how it contributes to the goal.", "type": "string"}}, "required": [], "type": "object"}}\</function>
</functions>
You MUST use the following format when citing code regions or blocks:
```startLine:endLine:filepath
// ... existing code ...
```
This is the ONLY acceptable format for code citations. The format is ```startLine:endLine:filepath where startLine and endLine are line numbers.
<user_info>
The user's OS version is win32 10.0.26100. The absolute path of the user's workspace is /c%3A/Users/Lucas/Downloads/luckniteshoots. The user's shell is C:\WINDOWS\System32\WindowsPowerShell\v1.0\powershell.exe.
</user_info>
Answer the user's request using the relevant tool(s), if they are available. Check that all the required parameters for each tool call are provided or can reasonably be inferred from context. IF there are no relevant tools or there are missing values for required parameters, ask the user to supply these values; otherwise proceed with the tool calls. If the user provides a specific value for a parameter (for example provided in quotes), make sure to use that value EXACTLY. DO NOT make up values for or ask about optional parameters. Carefully analyze descriptive terms in the request as they may indicate required parameter values that should be included even if not explicitly quoted.
기존 로직 절대 존중: 현재 잘 작동하는 코드 구조(함수형, 절차적 등)를 최대한 유지한다.
오버엔지니어링 금지: '더 나은 구조'를 명목으로 코드를 임의로 클래스화하거나 불필요하게 복잡하게 꼬지 않는다.
선 보고, 후 수정: 핵심 매매 로직이나 구조를 변경해야만 하는 치명적인 이유가 있다면, 코드를 바로 수정하지 말고 반드시 먼저 이유를 설명하고 승인을 대기한다.
현상 유지: 기존에 작성된 주석(Comments)과 로거(Logger) 등은 절대 지우지 않고 그대로 유지한다.

17
.gitignore vendored Normal file
View File

@@ -0,0 +1,17 @@
# Python-generated files
__pycache__/
*.py[oc]
build/
dist/
wheels/
*.egg-info
# Virtual environments
.venv
.env
.backup
# Environment variables
.env
*.log
*.json
*.db

0
README.md Normal file
View File

1643
upbit_backtest_web.py Normal file
View File

File diff suppressed because it is too large Load Diff

439
upbit_candle_collector.py Normal file
View File

@@ -0,0 +1,439 @@
#!/usr/bin/env python3
"""
upbit_candle_collector.py — 업비트 분봉 수집기 (과거 데이터 페이지네이션)
==========================================================================
업비트 REST API: GET /v1/candles/minutes/{unit}
- 인증 불필요 (Public API)
- 1회 최대 200봉 반환
- `to` 파라미터로 기준 시각 이전 봉 반환 → 줄여가며 전체 수집
지원 분봉 단위: 1, 3, 5, 10, 15, 30, 60, 240
실행 예시:
# KRW-BTC 3분봉, 최근 7일
python3 upbit_candle_collector.py --market KRW-BTC --unit 3
# 여러 마켓, 60분봉, 기간 지정
python3 upbit_candle_collector.py --market KRW-BTC,KRW-ETH,KRW-SOL --unit 60 --start 2026-01-01
# 전체 KRW 마켓 3분봉 자동 수집
python3 upbit_candle_collector.py --all-krw --unit 3 --start 2026-03-01
# DB 저장 없이 CSV만 출력
python3 upbit_candle_collector.py --market KRW-BTC --unit 1 --csv
레이트리밋 (업비트):
- 시세 API: 분당 600회 → 요청 간 0.12초 대기 (내장)
"""
import os
import sys
import time
import csv
import argparse
import logging
from datetime import datetime, timedelta
from typing import List, Optional
import requests
import pymysql
import pymysql.cursors
logging.basicConfig(
format="[%(asctime)s] %(message)s",
datefmt="%H:%M:%S",
level=logging.INFO,
)
logger = logging.getLogger("UpbitCollector")
# ── MariaDB 접속 정보 ──────────────────────────────────────────────────────
_DB_CFG = dict(
host="192.168.0.141", port=3306,
user="jae", password="1234",
database="upbit_quant_db",
charset="utf8mb4",
autocommit=True,
cursorclass=pymysql.cursors.DictCursor,
connect_timeout=10,
)
# 업비트 지원 분봉 단위
VALID_UNITS = {1, 3, 5, 10, 15, 30, 60, 240}
_UPBIT_BASE = "https://api.upbit.com/v1"
_last_req = 0.0
def _get(path: str, params: dict = None, max_retry: int = 5) -> Optional[list]:
"""
업비트 REST GET 요청
- 레이트리밋: 분당 600회 → 0.12초 간격 유지
- HTTP 429(Too Many Requests): 점진적 대기 후 재시도
- 네트워크 오류: 지수 백오프 재시도
"""
global _last_req
# 레이트리밋 보호: 0.12초 미만이면 대기
elapsed = time.time() - _last_req
if elapsed < 0.12:
time.sleep(0.12 - elapsed)
_last_req = time.time()
url = f"{_UPBIT_BASE}{path}"
for attempt in range(max_retry):
try:
r = requests.get(url, params=params, timeout=10)
# HTTP 429: Too Many Requests → 점진적 대기
if r.status_code == 429:
wait = 1.0 + attempt * 1.5
logger.warning(f"⏳ HTTP 429 — {wait:.1f}초 대기 (attempt {attempt+1})")
time.sleep(wait)
continue
if r.status_code == 200:
return r.json()
logger.warning(f"⚠️ HTTP {r.status_code}: {r.text[:200]}")
return None
except requests.RequestException as e:
wait = (2 ** attempt) * 0.5
logger.warning(f"⚠️ 네트워크 오류 ({attempt+1}/{max_retry}): {e} → {wait:.1f}초")
time.sleep(wait)
return None
def fetch_candles(
market: str,
unit: int,
start_dt: datetime,
end_dt: datetime,
) -> List[dict]:
"""
업비트 분봉 페이지네이션 수집
- 업비트는 최신봉이 index 0 (역순) 으로 반환
- `to` 파라미터: 이 시각(exclusive) 이전의 봉 반환
- 한 번에 최대 200봉 → `to`를 과거로 당겨가며 반복
Args:
market : KRW-BTC 등 마켓코드
unit : 분봉 단위 (1/3/5/10/15/30/60/240)
start_dt : 수집 시작 시각
end_dt : 수집 종료 시각
Returns:
[{candle_time, open, high, low, close, volume}, ...] (시간 오름차순)
"""
if unit not in VALID_UNITS:
raise ValueError(f"지원하지 않는 단위: {unit} (허용: {sorted(VALID_UNITS)})")
all_candles = []
# 수집 기준 시각: end_dt부터 역방향으로
to_dt = end_dt + timedelta(minutes=unit) # exclusive라 unit 하나 더함
logger.info(f"📥 [{market}] {unit}분봉 수집 시작: {start_dt:%Y-%m-%d} ~ {end_dt:%Y-%m-%d}")
page = 0
while to_dt > start_dt:
to_str = to_dt.strftime("%Y-%m-%dT%H:%M:%S")
data = _get(f"/candles/minutes/{unit}", {
"market": market,
"to": to_str,
"count": 200,
})
if not data:
logger.warning(f" [{market}] 데이터 없음 (to={to_str})")
break
batch = []
oldest = to_dt
for c in data:
# candle_date_time_kst: "2026-03-09T14:30:00"
kst_str = c.get("candle_date_time_kst", "")[:16]
if not kst_str:
continue
try:
cdt = datetime.strptime(kst_str, "%Y-%m-%dT%H:%M")
except ValueError:
continue
if cdt < start_dt:
continue
if cdt < oldest:
oldest = cdt
batch.append({
"code": market,
"candle_time": cdt.strftime("%Y%m%d%H%M"),
"timeframe": unit,
"open": float(c.get("opening_price", 0)),
"high": float(c.get("high_price", 0)),
"low": float(c.get("low_price", 0)),
"close": float(c.get("trade_price", 0)),
"volume": float(c.get("candle_acc_trade_volume", 0)),
})
all_candles.extend(batch)
page += 1
if batch:
logger.info(f" [{market}] 페이지 {page}: +{len(batch)}봉 (누계 {len(all_candles)}봉) oldest={oldest:%Y-%m-%d %H:%M}")
# 다음 페이지: 이번 배치에서 가장 과거 봉의 1분 전
if oldest <= start_dt:
break # start_dt 이전까지 수집 완료
to_dt = oldest - timedelta(minutes=1)
# API가 200봉 미만 반환 → 더 이상 데이터 없음
if len(data) < 200:
logger.info(f" [{market}] 200봉 미만 반환 → 수집 완료")
break
# 시간 오름차순 정렬
all_candles.sort(key=lambda x: x["candle_time"])
logger.info(f"✅ [{market}] {unit}분봉 {len(all_candles):,}봉 수집 완료")
return all_candles
def save_to_db(candles: List[dict], conn) -> int:
"""
수집한 캔들을 upbit_candles 테이블에 upsert 저장
중복 봉은 OHLCV 업데이트 (ON DUPLICATE KEY UPDATE)
"""
if not candles:
return 0
cur = conn.cursor()
sql = """
INSERT INTO upbit_candles
(code, candle_time, timeframe, open_price, high_price,
low_price, close_price, volume, is_confirmed)
VALUES (%s, %s, %s, %s, %s, %s, %s, %s, 1)
ON DUPLICATE KEY UPDATE
open_price = VALUES(open_price),
high_price = VALUES(high_price),
low_price = VALUES(low_price),
close_price = VALUES(close_price),
volume = VALUES(volume)
"""
batch = [
(c["code"], c["candle_time"], c["timeframe"],
c["open"], c["high"], c["low"], c["close"], c["volume"])
for c in candles
]
cur.executemany(sql, batch)
return len(batch)
def save_to_csv(candles: List[dict], path: str):
"""수집한 캔들을 CSV로 저장"""
if not candles:
return
with open(path, "w", newline="", encoding="utf-8-sig") as f:
writer = csv.DictWriter(f, fieldnames=["code","candle_time","timeframe","open","high","low","close","volume"])
writer.writeheader()
writer.writerows(candles)
logger.info(f"💾 CSV 저장: {path} ({len(candles):,}봉)")
def get_all_krw_markets() -> List[str]:
"""업비트 전체 KRW 마켓 목록 조회"""
data = _get("/market/all")
if not data:
return []
markets = [m["market"] for m in data if m["market"].startswith("KRW-")]
logger.info(f"📋 KRW 마켓 {len(markets)}개 로드")
return markets
def get_top_volume_markets(top_n: int) -> List[str]:
"""
24시간 거래대금 기준 상위 N개 KRW 마켓 반환
- /v1/ticker API: acc_trade_price_24h (24h KRW 거래대금) 기준 내림차순 정렬
- 백테스트용으로 유동성이 충분한 마켓만 선별하는 데 사용
"""
# 전체 KRW 마켓 목록 먼저 조회
all_markets = get_all_krw_markets()
if not all_markets:
return []
# ticker API는 한 번에 최대 100개 마켓 조회 가능 → 배치 처리
BATCH = 100
tickers = []
for i in range(0, len(all_markets), BATCH):
batch = all_markets[i:i + BATCH]
result = _get("/ticker", {"markets": ",".join(batch)})
if result:
tickers.extend(result)
time.sleep(0.15) # 레이트리밋 방지
if not tickers:
logger.warning("⚠️ 티커 조회 실패 — 전체 마켓 반환")
return all_markets
# 24h 거래대금 내림차순 정렬
tickers.sort(key=lambda x: float(x.get("acc_trade_price_24h", 0)), reverse=True)
top = [t["market"] for t in tickers[:top_n]]
logger.info(f"🏆 거래대금 상위 {top_n}개 마켓:")
for rank, t in enumerate(tickers[:top_n], 1):
vol_b = float(t.get("acc_trade_price_24h", 0)) / 1e8 # 억원
logger.info(f" {rank:>2}. {t['market']:<15} 24h거래대금 {vol_b:>8,.1f}억원")
return top
def _estimate_time(n_markets: int, unit: int, start_dt: datetime, end_dt: datetime) -> str:
"""수집 예상 시간 계산 (대략적인 추정)"""
days = (end_dt - start_dt).days + 1
candles = days * 24 * 60 // unit # 총 예상 봉 수
pages = candles / 200 # 페이지 수 (200봉/요청)
sec_each = pages * 0.13 # 요청당 ~0.13초
total_sec = n_markets * (sec_each + 0.5) # 마켓 간 0.5초 딜레이
if total_sec < 60:
return f"{total_sec:.0f}초"
elif total_sec < 3600:
return f"{total_sec/60:.0f}분"
else:
return f"{total_sec/3600:.1f}시간"
# ────────────────────────────────────────────────────────────────────────────
# CLI 진입점
# ────────────────────────────────────────────────────────────────────────────
def main():
today = datetime.now().strftime("%Y-%m-%d")
month_ago = (datetime.now() - timedelta(days=30)).strftime("%Y-%m-%d")
parser = argparse.ArgumentParser(
description="업비트 분봉 수집기 (과거 데이터 페이지네이션)",
formatter_class=argparse.RawDescriptionHelpFormatter,
epilog="""
예시:
# ★ 가장 쉬운 백테스트 준비: 거래대금 상위 30개 마켓, 3분봉, 최근 30일
python3 upbit_candle_collector.py --top-volume 30 --unit 3
# 거래대금 상위 50개, 1분봉, 2개월치
python3 upbit_candle_collector.py --top-volume 50 --unit 1 --start 2026-01-01
# 특정 마켓만
python3 upbit_candle_collector.py --market KRW-BTC,KRW-ETH,KRW-SOL --unit 3
# 전체 KRW 마켓 (시간 매우 오래 걸림)
python3 upbit_candle_collector.py --all-krw --unit 3 --start 2026-03-01
# CSV로만 저장 (DB 저장 안 함)
python3 upbit_candle_collector.py --market KRW-BTC --unit 1 --csv --no-db
""",
)
parser.add_argument("--market", default="", help="마켓코드 (콤마 구분, 예: KRW-BTC,KRW-ETH)")
parser.add_argument("--all-krw", action="store_true", help="전체 KRW 마켓 수집")
parser.add_argument("--top-volume", default=0, type=int, metavar="N",
help="24h 거래대금 상위 N개 마켓 자동 선택 (백테스트 권장)")
parser.add_argument("--unit", default=3, type=int, help=f"분봉 단위 {sorted(VALID_UNITS)}")
parser.add_argument("--start", default=month_ago, help="시작일 (YYYY-MM-DD, 기본: 30일 전)")
parser.add_argument("--end", default=today, help="종료일 (YYYY-MM-DD, 기본: 오늘)")
parser.add_argument("--csv", action="store_true", help="CSV 파일로도 저장")
parser.add_argument("--no-db", action="store_true", help="DB 저장 안 함 (CSV만)")
args = parser.parse_args()
# 입력 검증
if args.unit not in VALID_UNITS:
print(f"❌ 지원하지 않는 단위: {args.unit} 허용값: {sorted(VALID_UNITS)}")
sys.exit(1)
# 마켓 목록 결정
if args.top_volume > 0:
# ★ 거래대금 상위 N개 자동 선택 (백테스트 권장)
markets = get_top_volume_markets(args.top_volume)
elif args.all_krw:
markets = get_all_krw_markets()
elif args.market:
markets = [m.strip().upper() for m in args.market.split(",") if m.strip()]
else:
print("❌ --top-volume N / --market / --all-krw 중 하나 필요")
parser.print_help()
sys.exit(1)
if not markets:
print("❌ 수집할 마켓이 없습니다.")
sys.exit(1)
start_dt = datetime.strptime(args.start, "%Y-%m-%d")
end_dt = datetime.strptime(args.end, "%Y-%m-%d") + timedelta(hours=23, minutes=59)
days = (end_dt - start_dt).days + 1
# 예상 시간 미리 출력
eta = _estimate_time(len(markets), args.unit, start_dt, end_dt)
logger.info(f"📅 수집 기간: {args.start} ~ {args.end} ({days}일)")
logger.info(f"📊 대상 마켓: {len(markets)}개 | 분봉: {args.unit}분 | 예상 소요: {eta}")
logger.info(f"📋 마켓 목록: {', '.join(markets)}")
# DB 연결 (--no-db 아닌 경우)
conn = None
if not args.no_db:
try:
conn = pymysql.connect(**_DB_CFG)
logger.info(f"✅ MariaDB 연결 완료 (upbit_quant_db)")
except Exception as e:
logger.error(f"❌ DB 연결 실패: {e}")
if not args.csv:
sys.exit(1)
total_saved = 0
csv_dir = os.path.dirname(os.path.abspath(__file__))
t_start = time.time()
try:
for i, market in enumerate(markets):
elapsed = time.time() - t_start
if i > 0:
avg_sec = elapsed / i
remain = avg_sec * (len(markets) - i)
eta_str = f" 남은시간 약 {remain/60:.0f}분" if remain >= 60 else f" 남은시간 약 {remain:.0f}초"
else:
eta_str = ""
logger.info(f"\n[{i+1}/{len(markets)}] ── {market} {args.unit}분봉 ──{eta_str}")
candles = fetch_candles(market, args.unit, start_dt, end_dt)
if not candles:
logger.warning(f" [{market}] 수집된 봉 없음 — 스킵")
continue
# DB 저장
if conn and not args.no_db:
saved = save_to_db(candles, conn)
total_saved += saved
logger.info(f" [{market}] DB 저장: {saved:,}봉")
# CSV 저장
if args.csv or args.no_db:
csv_path = os.path.join(
csv_dir,
f"{market.replace('-','_')}_{args.unit}m_{args.start}_{args.end}.csv"
)
save_to_csv(candles, csv_path)
# 마켓 간 딜레이 (API 부하 방지)
if i < len(markets) - 1:
time.sleep(0.5)
finally:
if conn:
conn.close()
elapsed_total = time.time() - t_start
logger.info(
f"\n🎉 완료! 총 DB 저장: {total_saved:,}봉 ({args.unit}분봉) "
f"| 소요시간: {elapsed_total/60:.1f}분"
)
if __name__ == "__main__":
main()

226
upbit_db_init.py Normal file
View File

@@ -0,0 +1,226 @@
#!/usr/bin/env python3
"""
upbit_db_init.py — upbit_quant_db MariaDB 테이블 초기화 스크립트
=================================================================
실행: python3 upbit_db_init.py
- 필요한 테이블이 없으면 생성 (IF NOT EXISTS → 재실행 안전)
- env_config에 초기 기본값 row 삽입
"""
import sys
import pymysql
import pymysql.cursors
import logging
logging.basicConfig(level=logging.INFO, format="[%(asctime)s] %(message)s", datefmt="%H:%M:%S")
logger = logging.getLogger("UpbitDBInit")
DB_CFG = dict(
host="192.168.0.141",
port=3306,
user="jae",
password="1234",
database="upbit_quant_db",
charset="utf8mb4",
autocommit=True,
cursorclass=pymysql.cursors.DictCursor,
connect_timeout=10,
)
DDL_STATEMENTS = [
# ── 1. 현재 보유 포지션 ──────────────────────────────────────────────
"""
CREATE TABLE IF NOT EXISTS active_trades (
code VARCHAR(20) NOT NULL PRIMARY KEY COMMENT '마켓코드 (KRW-BTC)',
name VARCHAR(50) COMMENT '종목명',
strategy VARCHAR(50) COMMENT '전략명',
avg_buy_price DECIMAL(20,8) COMMENT '평균 매수가',
current_price DECIMAL(20,8) COMMENT '현재가',
stop_price DECIMAL(20,8) COMMENT '손절가',
target_price DECIMAL(20,8) COMMENT '목표가',
max_price DECIMAL(20,8) COMMENT '보유 중 최고가 (트레일링스탑용)',
atr_entry DECIMAL(20,8) COMMENT '진입 시점 ATR (변동성)',
target_qty DECIMAL(30,10) COMMENT '목표 수량',
current_qty DECIMAL(30,10) COMMENT '현재 수량',
total_invested DECIMAL(20,2) COMMENT '총 투자금액 (원)',
status VARCHAR(20) DEFAULT 'HOLDING' COMMENT '상태 (HOLDING)',
buy_date DATETIME COMMENT '매수 시각',
updated_at DATETIME COMMENT '최종 업데이트',
rsi DECIMAL(8,4) COMMENT '진입 시 RSI',
volume_ratio DECIMAL(8,4) COMMENT '거래량 비율',
tail_length_pct DECIMAL(8,4) COMMENT '꼬리 길이 (%)'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='현재 보유 포지션'
""",
# ── 2. 매매 기록 ────────────────────────────────────────────────────
"""
CREATE TABLE IF NOT EXISTS trade_history (
id BIGINT NOT NULL AUTO_INCREMENT PRIMARY KEY,
code VARCHAR(20) COMMENT '마켓코드',
name VARCHAR(50) COMMENT '종목명',
strategy VARCHAR(50) COMMENT '전략명',
buy_price DECIMAL(20,8) COMMENT '매수가',
sell_price DECIMAL(20,8) COMMENT '매도가',
qty DECIMAL(30,10) COMMENT '거래 수량',
profit_rate DECIMAL(10,4) COMMENT '수익률 (%)',
realized_pnl DECIMAL(20,2) COMMENT '실현 손익 (원)',
hold_minutes INT COMMENT '보유 시간 (분)',
buy_date DATETIME COMMENT '매수 시각',
sell_date DATETIME COMMENT '매도 시각',
sell_reason VARCHAR(200) COMMENT '매도 사유',
rsi DECIMAL(8,4) COMMENT '진입 시 RSI',
volume_ratio DECIMAL(8,4) COMMENT '거래량 비율',
tail_length_pct DECIMAL(8,4) COMMENT '꼬리 길이 (%)',
INDEX idx_sell_date (sell_date),
INDEX idx_code (code),
INDEX idx_strategy (strategy)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='매매 기록'
""",
# ── 3. 전략 설정값 (Upbit 전용) ──────────────────────────────────────
"""
CREATE TABLE IF NOT EXISTS env_config (
id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,
created_at DATETIME DEFAULT NOW() COMMENT '생성 시각',
-- 업비트 API 키
UPBIT_ACCESS_KEY VARCHAR(200) DEFAULT '' COMMENT '업비트 Access Key',
UPBIT_SECRET_KEY VARCHAR(200) DEFAULT '' COMMENT '업비트 Secret Key',
-- 알림 (Mattermost)
MM_SERVER_URL VARCHAR(200) DEFAULT '' COMMENT 'MM 서버 URL',
MM_BOT_TOKEN_ VARCHAR(200) DEFAULT '' COMMENT 'MM 봇 토큰',
MATTERMOST_CHANNEL VARCHAR(100) DEFAULT 'upbit' COMMENT 'MM 채널명',
-- 포지션 관리
MAX_STOCKS VARCHAR(20) DEFAULT '5' COMMENT '최대 보유 코인 수',
SLOT_MONEY_DEFAULT VARCHAR(20) DEFAULT '100000' COMMENT '코인당 투자금액 (원)',
-- 손익 기준
STOP_LOSS_PCT VARCHAR(20) DEFAULT '-0.02' COMMENT '손절 비율 (음수, 예:-0.02)',
TAKE_PROFIT_PCT VARCHAR(20) DEFAULT '0.05' COMMENT '익절 비율 (예:0.05)',
MAX_LOSS_PER_TRADE_KRW VARCHAR(20) DEFAULT '50000' COMMENT '거래당 최대 원화 손실 한도',
-- 어깨 매도 (수익 보존)
SHOULDER_CUT_PCT VARCHAR(20) DEFAULT '0.03' COMMENT '어깨매도: 고점 대비 하락률',
SHOULDER_MIN_HIGH_PCT VARCHAR(20) DEFAULT '0.01' COMMENT '어깨매도: 발동 최소 이익률',
SHOULDER_MIN_NET_PCT VARCHAR(20) DEFAULT '0.001' COMMENT '어깨매도: 수수료 반영 최소 이익',
-- ATR 스캘핑 엑시트
SCALP_ATR_UP_MULT VARCHAR(20) DEFAULT '1.0' COMMENT 'ATR 스캘핑: 상승 배수',
SCALP_ATR_DOWN_MULT VARCHAR(20) DEFAULT '0.2' COMMENT 'ATR 스캘핑: 하락 배수',
SCALP_ATR_DROP_MULT VARCHAR(20) DEFAULT '1.0' COMMENT 'ATR 스캘핑: 낙폭 배수',
-- ATR 손절/목표가 배수
STOP_ATR_MULTIPLIER_TAIL VARCHAR(20) DEFAULT '2.5' COMMENT '손절선: 진입가 - ATR * 배수',
TARGET_ATR_MULTIPLIER_TAIL VARCHAR(20) DEFAULT '7.0' COMMENT '목표가: 진입가 + ATR * 배수',
-- 스캔 조건
MIN_DROP_RATE VARCHAR(20) DEFAULT '0.03' COMMENT '매수 스캔: 최소 낙폭 (예:0.03)',
MIN_RECOVERY_RATIO VARCHAR(20) DEFAULT '0.30' COMMENT '매수 스캔: 최소 회복률',
MAX_RECOVERY_RATIO VARCHAR(20) DEFAULT '0.80' COMMENT '매수 스캔: 최대 회복률',
HIGH_PRICE_CHASE_THRESHOLD VARCHAR(20) DEFAULT '0.96' COMMENT '고점 추격 방지 임계값',
RSI_OVERHEAT_THRESHOLD VARCHAR(20) DEFAULT '78.0' COMMENT 'RSI 과열 임계값',
-- 꼬리봉 조건
TAIL_RATIO_MIN VARCHAR(20) DEFAULT '1.5' COMMENT '꼬리/몸통 최소 비율',
TAIL_PCT_MIN VARCHAR(20) DEFAULT '0.003' COMMENT '꼬리 최소 % (예:0.003)',
TAIL_SCORE_BASE VARCHAR(20) DEFAULT '5.0' COMMENT '꼬리 기본 점수',
TAIL_SCORE_RATIO_MULT VARCHAR(20) DEFAULT '2.0' COMMENT '꼬리 비율 점수 가중치',
-- 기타 매매 파라미터
REENTRY_COOLDOWN_SEC VARCHAR(20) DEFAULT '300' COMMENT '재진입 쿨다운 (초)',
ROUND_TRIP_COST_PCT VARCHAR(20) DEFAULT '0.001' COMMENT '왕복 수수료율 (업비트 0.05%×2)',
MIN_HOLD_AFTER_BUY_SEC VARCHAR(20) DEFAULT '10.0' COMMENT '매수 후 최소 보유 시간 (초)',
-- 스캔 주기
UPBIT_SCAN_INTERVAL_SEC VARCHAR(20) DEFAULT '60' COMMENT '매수 스캔 주기 (초)',
UPBIT_BUY_TOP_N VARCHAR(20) DEFAULT '2' COMMENT '스캔 후 상위 N개 매수',
UPBIT_CANDLE_UNIT VARCHAR(20) DEFAULT '3' COMMENT '스캔용 분봉 단위 (3/5/15/60)'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='전략 설정값 (업비트 전용)'
""",
# ── 4. Key-Value 저장소 (API 키 등) ──────────────────────────────────
"""
CREATE TABLE IF NOT EXISTS kv_store (
k VARCHAR(100) NOT NULL PRIMARY KEY COMMENT '키',
v TEXT COMMENT '값'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='Key-Value 저장소'
""",
# ── 5. 스캔 후보 목록 ───────────────────────────────────────────────
"""
CREATE TABLE IF NOT EXISTS target_candidates (
code VARCHAR(20) NOT NULL PRIMARY KEY COMMENT '마켓코드',
name VARCHAR(50) COMMENT '코인명',
score DECIMAL(10,4) COMMENT '후보 점수',
price DECIMAL(20,8) COMMENT '스캔 당시 가격',
scan_time DATETIME COMMENT '스캔 시각',
updated_at DATETIME COMMENT '최종 업데이트'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='스캔 후보 목록'
""",
# ── 6. 업비트 분봉 데이터 (백테스트용) ──────────────────────────────
"""
CREATE TABLE IF NOT EXISTS upbit_candles (
id BIGINT NOT NULL AUTO_INCREMENT PRIMARY KEY,
code VARCHAR(20) NOT NULL COMMENT '마켓코드 (KRW-BTC)',
candle_time VARCHAR(12) NOT NULL COMMENT '봉 시작시각 YYYYMMDDHHMI',
timeframe SMALLINT NOT NULL DEFAULT 3 COMMENT '봉 단위 (3=3분, 60=60분봉)',
open_price DECIMAL(20,8) COMMENT '시가',
high_price DECIMAL(20,8) COMMENT '고가',
low_price DECIMAL(20,8) COMMENT '저가',
close_price DECIMAL(20,8) COMMENT '종가',
volume DECIMAL(30,8) COMMENT '체결량',
is_confirmed TINYINT DEFAULT 1 COMMENT '완성된 봉 여부',
UNIQUE KEY uk_code_time_tf (code, candle_time, timeframe),
INDEX idx_code_tf (code, timeframe),
INDEX idx_time (candle_time)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='업비트 분봉 OHLCV (백테스트용)'
""",
]
# env_config 초기 기본값 INSERT (이미 row가 있으면 스킵)
ENV_CONFIG_DEFAULT_INSERT = """
INSERT IGNORE INTO env_config (id, created_at) VALUES (1, NOW())
"""
def run_init():
logger.info("📦 upbit_quant_db 테이블 초기화 시작...")
try:
conn = pymysql.connect(**DB_CFG)
except Exception as e:
logger.error(f"❌ DB 연결 실패: {e}")
sys.exit(1)
try:
with conn.cursor() as cur:
for sql in DDL_STATEMENTS:
table_name = sql.strip().split("TABLE IF NOT EXISTS")[1].split("(")[0].strip()
cur.execute(sql)
logger.info(f" ✅ 테이블 생성/확인: {table_name}")
# env_config 초기 row 삽입 (최초 1회)
cur.execute("SELECT COUNT(*) as cnt FROM env_config")
if cur.fetchone()["cnt"] == 0:
cur.execute(ENV_CONFIG_DEFAULT_INSERT)
logger.info(" ✅ env_config 초기값 row 삽입 완료")
else:
logger.info(" ℹ️ env_config row 이미 존재 — 스킵")
# kv_store 기본 키 삽입
kv_defaults = [
("UPBIT_ACCESS_KEY", ""),
("UPBIT_SECRET_KEY", ""),
("UPBIT_SCAN_INTERVAL_SEC", "60"),
("UPBIT_BUY_TOP_N", "2"),
]
for k, v in kv_defaults:
cur.execute(
"INSERT IGNORE INTO kv_store (k, v) VALUES (%s, %s)", (k, v)
)
logger.info(" ✅ kv_store 기본 키 삽입 완료")
conn.commit()
logger.info("🎉 upbit_quant_db 초기화 완료!")
except Exception as e:
logger.error(f"❌ 초기화 중 오류: {e}")
import traceback; traceback.print_exc()
sys.exit(1)
finally:
conn.close()
if __name__ == "__main__":
run_init()

1380
upbit_short_ver1.py Normal file
View File

File diff suppressed because it is too large Load Diff

1623
upbit_short_ver2.py Normal file
View File

File diff suppressed because it is too large Load Diff

364
upbit_tail_param_search.py Normal file
View File

@@ -0,0 +1,364 @@
#!/usr/bin/env python3
"""
upbit_tail_param_search.py — 업비트 꼬리잡기 백테스트 파라미터 자동 탐색 (Grid Search)
======================================================================================
실행:
cd /home/hoon/upbit_bot
python3 upbit_tail_param_search.py
옵션:
--start 시작일 (기본: 오늘-7일)
--end 종료일 (기본: 오늘)
--mode 탐색 모드: coarse(기본) / fine / full
--timeframe 분봉 단위 (기본: 3)
--top 상위 N개 출력 (기본: 20)
--min_trades 최소 거래 건수 필터 (기본: 3)
--apply 결과 1위를 DB env_config에 자동 적용 (기본: False)
예시:
python3 upbit_tail_param_search.py --start 2026-03-01 --end 2026-03-09
python3 upbit_tail_param_search.py --mode fine --timeframe 3 --apply
python3 upbit_tail_param_search.py --mode full --min_trades 5 --top 30
"""
import sys, os, json, time, argparse, pymysql, pymysql.cursors
from datetime import datetime, timedelta
from itertools import product
# upbit_backtest_web 임포트 (같은 디렉토리)
SCRIPT_DIR = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, SCRIPT_DIR)
import logging
logging.basicConfig(level=logging.WARNING, format="[%(asctime)s] %(message)s", datefmt="%H:%M:%S")
from upbit_backtest_web import app # Flask 앱
# ────────────────────────────────────────────────────────────────────────────
# DB 연결 설정
# ────────────────────────────────────────────────────────────────────────────
_DB_CFG = dict(
host="192.168.0.141", port=3306,
user="jae", password="1234",
database="upbit_quant_db",
charset="utf8mb4",
autocommit=True,
cursorclass=pymysql.cursors.DictCursor,
connect_timeout=10,
)
# ────────────────────────────────────────────────────────────────────────────
# 파라미터 그리드 (코인 시장 특성 반영: 낙폭 크고 수수료 낮음)
# ────────────────────────────────────────────────────────────────────────────
GRIDS = {
# 빠른 1차 탐색 (약 480 조합, 2~5분)
"coarse": {
"min_drop_rate": [2.0, 3.0, 4.0, 5.0, 7.0], # 당일 낙폭 최소 (%)
"min_recovery_ratio": [30, 40, 50, 60], # 당일 회복률 최소 (%)
"sl_pct": [2.0, 3.0, 5.0], # 손절 (%) — 코인은 변동성 크므로 넓게
"tp_pct": [3.0, 5.0, 7.0, 10.0], # 익절 (%) — ATR 기반 목표가
"tail_ratio_min": [1.0, 1.5, 2.0], # 꼬리/몸통 비율
},
# 세밀 2차 탐색 (약 3,240 조합, 10~20분)
"fine": {
"min_drop_rate": [2.0, 3.0, 4.0, 5.0, 7.0],
"min_recovery_ratio": [30, 40, 50, 60],
"sl_pct": [1.5, 2.0, 3.0, 5.0],
"tp_pct": [3.0, 5.0, 7.0, 10.0, 15.0],
"tail_ratio_min": [0.8, 1.0, 1.5, 2.0],
"shoulder_cut_pct": [2.0, 3.0, 5.0],
},
# 전체 탐색 (약 25,920 조합, 1시간 이상)
"full": {
"min_drop_rate": [1.5, 2.0, 3.0, 4.0, 5.0, 7.0, 10.0],
"min_recovery_ratio": [20, 30, 40, 50, 60, 70],
"sl_pct": [1.5, 2.0, 3.0, 5.0, 7.0],
"tp_pct": [3.0, 5.0, 7.0, 10.0, 15.0, 20.0],
"tail_ratio_min": [0.5, 0.8, 1.0, 1.5, 2.0],
"shoulder_cut_pct": [2.0, 3.0, 5.0, 7.0],
"rsi_threshold": [72, 75, 78, 82],
},
}
# 고정값 (탐색에서 제외된 파라미터 — 업비트 코인 특성 반영)
FIXED_DEFAULTS = dict(
rsi_period = 14,
rsi_threshold = 78, # RSI 과열 기준
max_rec = 80, # 최대 회복 위치 (%)
tail_pct_min = 0.3, # 꼬리 최소 % (%)
shoulder_min_high = 1.5, # 어깨 발동 최소 이익 (%)
shoulder_cut_pct = 3.0, # 어깨 컷 (%)
high_chase_thr = 96.0, # 고점 추격 방지 (%)
slot_money = 100_000, # 코인당 투자금 (원) — 업비트 단위
fee_rate = 0.05, # 업비트 수수료 0.05% (편도)
cooldown_min = 30, # 쿨다운 (분)
max_hold_hours = 24, # 코인: 장 마감 없음 → 24시간 강제청산
max_daily = 5, # 코인당 일일 최대 거래횟수 (코인 특성상 주식보다 많게)
)
# ────────────────────────────────────────────────────────────────────────────
# 탐색 실행
# ────────────────────────────────────────────────────────────────────────────
def run_search(start: str, end: str, mode: str, timeframe: int,
top_n: int, min_trades: int, apply_best: bool):
grid = GRIDS[mode]
keys = list(grid.keys())
combos = list(product(*[grid[k] for k in keys]))
total = len(combos)
print(f"\n[{mode.upper()} 모드 — 업비트 꼬리잡기] 탐색 조합: {total:,}개 | 기간: {start} ~ {end} | 분봉: {timeframe}분")
print("=" * 72)
results = []
t0 = time.time()
with app.test_client() as c:
for i, vals in enumerate(combos):
params = dict(FIXED_DEFAULTS)
params.update(dict(zip(keys, vals)))
params["start"] = start
params["end"] = end
params["timeframe"] = timeframe
qs = "&".join(f"{k}={v}" for k, v in params.items())
try:
r = c.get(f"/api/backtest/tail?{qs}")
if r.status_code != 200:
continue
d = json.loads(r.data)
s = d.get("summary", {})
except Exception:
continue
if s.get("total_trades", 0) < min_trades:
continue
results.append({
"params": {k: params[k] for k in keys},
"total_pnl": s["total_pnl"],
"win_rate": s["win_rate"],
"total_trades": s["total_trades"],
"pf": s["profit_factor"],
"avg_hold": s["avg_hold_min"],
"mdd": s["max_drawdown"],
})
if (i + 1) % 100 == 0:
elapsed = time.time() - t0
eta = elapsed / (i + 1) * (total - i - 1)
print(f" 진행: {i+1:>5}/{total} 경과: {elapsed:>5.0f}s 남은: {eta:>5.0f}s", flush=True)
elapsed = time.time() - t0
print(f"\n완료: {elapsed:.1f}초 | 유효 결과: {len(results)}건")
if not results:
print("⚠️ 유효 조합을 찾지 못했습니다.")
print(" - 기간을 늘리거나 (--start 2026-01-01)")
print(" - min_trades를 낮추거나 (--min_trades 1)")
print(" - upbit_candles DB에 데이터가 있는지 확인하세요.")
return
results.sort(key=lambda x: x["total_pnl"], reverse=True)
# ── 결과 출력 ──────────────────────────────────────────────────────────
hdr_keys = list(keys)
col_w = max(len(k) for k in hdr_keys) + 2
print(f"\n{'='*72}")
print(f" 🏆 수익 TOP {min(top_n, len(results))} (투자금 {FIXED_DEFAULTS['slot_money']:,}원 기준, 수수료 0.05%)")
print(f"{'='*72}")
hdr = " ".join(f"{k:>{col_w}}" for k in hdr_keys)
print(f"{hdr} | {'손익(원)':>12} {'승률':>6} {'거래':>5} {'PF':>5} {'보유(분)':>8}")
print("-" * (len(hdr) + 57))
for r in results[:top_n]:
p = r["params"]
row = " ".join(f"{p[k]:>{col_w}.4g}" for k in hdr_keys)
print(f"{row} | {r['total_pnl']:>+12,.0f} {r['win_rate']:>5.1f}% "
f"{r['total_trades']:>5} {r['pf']:>5.2f} {r['avg_hold']:>7.1f}분")
best = results[0]
bp = best["params"]
# 파라미터명 → DB 컬럼명 표시
_disp_map = {
"min_drop_rate": "MIN_DROP_RATE (÷100)",
"min_recovery_ratio": "MIN_RECOVERY_RATIO (÷100)",
"sl_pct": "STOP_LOSS_PCT (음수÷100)",
"tp_pct": "TAKE_PROFIT_PCT (÷100)",
"tail_ratio_min": "TAIL_RATIO_MIN",
"shoulder_cut_pct": "SHOULDER_CUT_PCT (÷100)",
"rsi_threshold": "RSI_OVERHEAT_THRESHOLD",
}
print(f"""
╔══════════════════════════════════════════════╗
║ 🏆 업비트 꼬리잡기 최적 파라미터 ║
╠══════════════════════════════════════════════╣""")
for k, v in bp.items():
label = _disp_map.get(k, k)
print(f"║ {label:<36s}: {v!s:>6} ║")
print(f"""╠══════════════════════════════════════════════╣
║ 총 손익 : {best['total_pnl']:>+12,.0f} 원 ║
║ 승률 : {best['win_rate']:>6.1f}% ║
║ 총 거래 : {best['total_trades']:>5} 건 ║
║ Profit Factor : {best['pf']:>5.2f} ║
║ 평균 보유 : {best['avg_hold']:>7.1f} 분 ║
║ 최대 낙폭(MDD): {best['mdd']:>12,.0f} 원 ║
╚══════════════════════════════════════════════╝""")
# ── JSON 저장 ──────────────────────────────────────────────────────────
out_dir = os.path.join(SCRIPT_DIR, "param_search_results")
os.makedirs(out_dir, exist_ok=True)
ts = datetime.now().strftime("%Y%m%d_%H%M%S")
out_path = os.path.join(out_dir, f"upbit_tail_search_{mode}_{ts}.json")
with open(out_path, "w", encoding="utf-8") as f:
json.dump({
"mode": mode,
"timeframe": timeframe,
"start": start,
"end": end,
"top": results[:top_n],
}, f, ensure_ascii=False, indent=2)
print(f"\n💾 결과 저장: {out_path}")
if apply_best:
_apply_to_db(bp)
# ────────────────────────────────────────────────────────────────────────────
# DB 자동 적용
# ────────────────────────────────────────────────────────────────────────────
def _apply_to_db(best_params: dict):
"""
1위 파라미터를 upbit_quant_db env_config에 자동 반영
- 비율(%) 값을 소수점으로 변환하여 봇이 직접 사용 가능한 형태로 저장
"""
field_map = {
"min_drop_rate": ("MIN_DROP_RATE", lambda v: str(v / 100)),
"min_recovery_ratio": ("MIN_RECOVERY_RATIO", lambda v: str(v / 100)),
"sl_pct": ("STOP_LOSS_PCT", lambda v: str(-v / 100)), # 음수 저장
"tp_pct": ("TAKE_PROFIT_PCT", lambda v: str(v / 100)),
"tail_ratio_min": ("TAIL_RATIO_MIN", lambda v: str(v)),
"shoulder_cut_pct": ("SHOULDER_CUT_PCT", lambda v: str(v / 100)),
"rsi_threshold": ("RSI_OVERHEAT_THRESHOLD", lambda v: str(v)),
}
sets, vals = [], []
for param_k, val in best_params.items():
if param_k not in field_map:
continue
db_col, fmt = field_map[param_k]
sets.append(f"`{db_col}` = %s")
vals.append(fmt(val))
if not sets:
print("DB 적용할 파라미터가 없습니다.")
return
try:
conn = pymysql.connect(**_DB_CFG)
cur = conn.cursor()
# 최신 env_config row 업데이트
cur.execute("SELECT id FROM env_config ORDER BY id DESC LIMIT 1")
row = cur.fetchone()
if row:
vals.append(row["id"])
cur.execute(f"UPDATE env_config SET {', '.join(sets)} WHERE id = %s", vals)
print("\n✅ DB env_config 자동 적용 완료:")
else:
# row가 없으면 새로 생성
cols = ", ".join(f"`{sets[i].split('`')[1]}`" for i in range(len(sets)))
marks = ", ".join(["%s"] * len(sets))
cur.execute(f"INSERT INTO env_config ({cols}) VALUES ({marks})", vals)
print("\n✅ DB env_config 새 row 생성 완료:")
for param_k, val in best_params.items():
if param_k in field_map:
db_col, fmt = field_map[param_k]
print(f" {db_col:<35s} = {fmt(val)}")
conn.close()
except Exception as e:
print(f"❌ DB 적용 실패: {e}")
# ────────────────────────────────────────────────────────────────────────────
# CLI 진입점
# ────────────────────────────────────────────────────────────────────────────
def main():
today = datetime.now().strftime("%Y-%m-%d")
week_ago = (datetime.now() - timedelta(days=7)).strftime("%Y-%m-%d")
parser = argparse.ArgumentParser(
description="업비트 꼬리잡기 백테스트 파라미터 Grid Search",
formatter_class=argparse.RawDescriptionHelpFormatter,
epilog="""
예시:
python3 upbit_tail_param_search.py
python3 upbit_tail_param_search.py --start 2026-01-01 --end 2026-03-09
python3 upbit_tail_param_search.py --mode fine --timeframe 3 --apply
python3 upbit_tail_param_search.py --mode full --min_trades 5 --top 30
탐색 전 캔들 수집 필수:
→ http://localhost:6060 → [캔들 수집] 탭에서 마켓/기간 설정 후 수집
""",
)
parser.add_argument("--start", default=week_ago, help="시작일 (YYYY-MM-DD)")
parser.add_argument("--end", default=today, help="종료일 (YYYY-MM-DD)")
parser.add_argument("--mode", default="coarse", choices=["coarse", "fine", "full"],
help="탐색 모드 (coarse=빠름/fine=세밀/full=전체)")
parser.add_argument("--timeframe", default=3, type=int,
help="분봉 단위 (3/5/15/60, 기본: 3)")
parser.add_argument("--top", default=20, type=int,
help="상위 N개 출력")
parser.add_argument("--min_trades", default=3, type=int,
help="최소 거래 건수 필터")
parser.add_argument("--apply", action="store_true",
help="1위 결과를 DB env_config에 자동 적용")
args = parser.parse_args()
# 사전 확인: DB에 캔들 데이터가 있는지 체크
try:
conn = pymysql.connect(**_DB_CFG)
cur = conn.cursor()
cur.execute(
"SELECT COUNT(*) as cnt FROM upbit_candles WHERE timeframe=%s "
"AND candle_time >= %s AND candle_time <= %s",
[args.timeframe,
args.start.replace("-","") + "0000",
args.end.replace("-","") + "2359"]
)
cnt = (cur.fetchone() or {}).get("cnt", 0)
conn.close()
if cnt == 0:
print(f"\n⚠️ [경고] upbit_candles에 {args.timeframe}분봉 데이터가 없습니다!")
print(f" 기간: {args.start} ~ {args.end}")
print(" → http://localhost:6060 → [캔들 수집] 탭에서 먼저 데이터를 수집하세요.\n")
sys.exit(1)
else:
print(f"✅ DB 캔들 확인: {cnt:,}봉 ({args.timeframe}분봉, {args.start}~{args.end})")
except Exception as e:
print(f"⚠️ DB 연결 확인 실패: {e}")
run_search(
start = args.start,
end = args.end,
mode = args.mode,
timeframe = args.timeframe,
top_n = args.top,
min_trades = args.min_trades,
apply_best = args.apply,
)
if __name__ == "__main__":
main()