From 565e61c79bcea620f6980cfc455df3050830fc35 Mon Sep 17 00:00:00 2001 From: 15924562554 <15924562554@163.com> Date: Mon, 23 Mar 2026 15:51:07 +0800 Subject: [PATCH] init --- .gitignore | 25 +++++++++++++++++++++++++ README.md | 12 ++++++++++++ 2 files changed, 37 insertions(+) create mode 100644 .gitignore create mode 100644 README.md diff --git a/.gitignore b/.gitignore new file mode 100644 index 0000000..154dbfb --- /dev/null +++ b/.gitignore @@ -0,0 +1,25 @@ +# 忽略数据文件 +*.csv +*.parquet +*.orc +*.log +data/ +raw_data/ +temp_data/ + +# 忽略环境配置 +.env +.venv/ +__pycache__/ +*.pyc + +# 保留脚本和文档 +!*.java +!*.py +!*.sql +!*.md +!*.sh +!*.otd +!*.jpg +!*.job +!*.properties diff --git a/README.md b/README.md new file mode 100644 index 0000000..0e401c5 --- /dev/null +++ b/README.md @@ -0,0 +1,12 @@ +# 数仓项目 +## 项目结构 +- 01_数据爬取:数据爬取脚本 +- 02_数据采集:数据采集脚本 +- 03_数据预处理:数据清洗、格式转换脚本 +- 04_数仓ODS:ODS层建表、加载脚本 +- 05_数仓DWD:DWD层建表、清洗脚本 +- 06_数仓DWS:DWS层汇总脚本 +- 07_数仓ADS:ADS层指标计算脚本 +- 08_数据指标导出:指标导出脚本 +- 09_大数据大屏展示:大屏数据接口、展示代码 +- 10_整体任务脚本调度:调度脚本(Azkaban)