127 lines
4.2 KiB
Python
127 lines
4.2 KiB
Python
import os
|
||
import sys
|
||
import traceback
|
||
import pandas as pd
|
||
from datetime import datetime
|
||
|
||
# === Вспомогательное ===
|
||
def get_script_dir() -> str:
|
||
try:
|
||
return os.path.dirname(os.path.abspath(__file__))
|
||
except NameError:
|
||
# на всякий случай для интерактивных сред
|
||
return os.getcwd()
|
||
|
||
def log(msg: str):
|
||
ts = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
|
||
line = f'[{ts}] {msg}'
|
||
print(line)
|
||
try:
|
||
with open(log_file, 'a', encoding='utf-8') as f:
|
||
f.write(line + '\n')
|
||
except Exception:
|
||
pass
|
||
|
||
def is_temp_or_hidden(name: str) -> bool:
|
||
# временные Excel-файлы (~$...) и скрытые (.xxx)
|
||
return name.startswith('~$') or name.startswith('.')
|
||
|
||
# === Пути ===
|
||
script_dir = get_script_dir()
|
||
folder_path = os.path.join(script_dir, 'Files-todo/manifest')
|
||
|
||
# имя результата: All-todo-YYYYMMDD-HHMM.xlsx
|
||
timestamp = datetime.now().strftime('%Y%m%d-%H%M')
|
||
output_filename = f'All-todo-{timestamp}.xlsx'
|
||
output_file = os.path.join(folder_path, output_filename)
|
||
|
||
# лог в той же папке
|
||
log_file = os.path.join(folder_path, 'merge_log.txt')
|
||
|
||
def main():
|
||
log('=== Старт объединения Excel-файлов ===')
|
||
log(f'Папка: {folder_path}')
|
||
|
||
if not os.path.isdir(folder_path):
|
||
log(f'ОШИБКА: Папка не найдена: {folder_path}')
|
||
sys.exit(1)
|
||
|
||
# собираем только .xlsx, исключая временные/скрытые и любые All-todo-*.xlsx
|
||
names = sorted(os.listdir(folder_path))
|
||
files = []
|
||
for name in names:
|
||
if is_temp_or_hidden(name):
|
||
continue
|
||
if not name.lower().endswith('.xlsx'):
|
||
continue
|
||
if name.startswith('All-todo-'):
|
||
continue
|
||
full = os.path.join(folder_path, name)
|
||
if os.path.isfile(full):
|
||
files.append(full)
|
||
|
||
if not files:
|
||
log('Нет входных .xlsx файлов для слияния. Завершение.')
|
||
return
|
||
|
||
log(f'Найдено файлов: {len(files)}')
|
||
|
||
dfs = []
|
||
all_columns = []
|
||
seen_cols = set()
|
||
processed = 0
|
||
errors = 0
|
||
|
||
for i, path in enumerate(files, start=1):
|
||
fname = os.path.basename(path)
|
||
try:
|
||
df = pd.read_excel(path, engine='openpyxl')
|
||
if df is None or df.empty:
|
||
log(f'ПРЕДУПРЕЖДЕНИЕ: Пустой файл — пропуск: {fname}')
|
||
continue
|
||
|
||
if not all_columns:
|
||
for c in df.columns:
|
||
if c not in seen_cols:
|
||
all_columns.append(c)
|
||
seen_cols.add(c)
|
||
|
||
df['SourceFile'] = fname
|
||
dfs.append(df)
|
||
processed += 1
|
||
log(f'[{i}/{len(files)}] OK: {fname} — строк: {len(df)}')
|
||
except Exception as e:
|
||
errors += 1
|
||
log(f'[{i}/{len(files)}] ОШИБКА: {fname}: {e}')
|
||
log(traceback.format_exc())
|
||
|
||
if not dfs:
|
||
log('Все файлы пустые или не прочитаны — нечего сохранять.')
|
||
return
|
||
|
||
combined = pd.concat(dfs, ignore_index=True)
|
||
|
||
# порядок колонок: сначала из первого удачного файла, потом прочие по алфавиту, затем SourceFile (если нужно)
|
||
extra_cols = [c for c in combined.columns if c not in all_columns and c != 'SourceFile']
|
||
extra_cols.sort()
|
||
final_cols = all_columns + extra_cols
|
||
if 'SourceFile' not in final_cols:
|
||
final_cols.append('SourceFile')
|
||
|
||
combined = combined.reindex(columns=final_cols)
|
||
|
||
try:
|
||
with pd.ExcelWriter(output_file, engine='openpyxl') as writer:
|
||
combined.to_excel(writer, index=False, sheet_name='Sheet')
|
||
log(f'Готово: {output_file}')
|
||
log(f'Итоговых строк: {len(combined)}')
|
||
log(f'Успешно обработано файлов: {processed}, ошибок: {errors}')
|
||
except Exception as e:
|
||
log(f'ОШИБКА сохранения {output_file}: {e}')
|
||
log(traceback.format_exc())
|
||
|
||
log('=== Готово ===')
|
||
|
||
if __name__ == '__main__':
|
||
main()
|