在数据分析中，相对于excel的简单易用，python的学习门槛比较高。但在面对数据量大（比如超过100W行）、多数据源/表、复杂数据处理的情况下，python的优势就非常明显了。

前面“数据分析方法论”一文有提到数据分析的三个大步骤：是什么、为什么、怎么样。今天继续以电商领域的订单数据为例，结合分析步骤，分享一点python操作过程。

在开始分析前，我们需要先完成两个前提步骤：数据获取、数据处理。

【数据获取】

数据获取的情景，通常是这样的：收到数据库处理同学发的一份压缩文件包，里面有多层文件夹及多个文件；我们需要快速、自动化地读取文件包里的文件，并合并成一张表。

多层文件包-第一层

多层文件包-part1_data

多层文件包-part2_data

1、首先导入需要的函数包

import os

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

2、解压文件包后，获取文件包根目录地址

path = "C:\\Users\\project_data"

3、读取文件包里的所有文件

files = os.listdir(path)

4、创建一个空列表

final_data = pd.DataFrame()

5、自定义一个函数，可以逐层读取文件夹及文件，并把读取到的多个列表文件合并成一个

def get_all_files(path):

# 声明final_data是全局变量，使自定义函数也能调用

global final_data

files = os.listdir(path)

# 遍历第一层文件夹里的文件

for file in files:

# 如果file是文件，就获取文件名和扩展名，并读取文件内容

if os.path.isfile(path + "\\" + file):

filename,extension = os.path.splitext(file)

if extension == ".txt":

data = pd.read_table(path + "\\" + file)

print(data)

elif extension == ".xlsx":

data = pd.read_excel(path + "\\" + file)

print(data)

elif extension == ".csv":

file_data = pd.read_csv(path + "\\" + file)

# 把读取到的每个csv文件数据都加到final_data里，重新排列索引

final_data = final_data.append(file_data,ignore_index=True)

print(file + ".......合并中")

# 如果file是文件夹，就调用函数自己，重新遍历

if os.path.isdir(path + "\\" + file):

get_all_files(path + "\\" + file)

get_all_files(path)

print('数据合并完成')

python代码的缩进格式

【数据处理】

假设我们拿到的订单数据是这样的：

订单数据表样例

处理需求一：其中“订单状态”列有已取消、已完成、待发货、待支付、待收货五个值，后面分析只针对有效订单，所以需要把“已取消”的数据剔除。

data_clean = data[data["订单状态"]!="已取消"]

处理需求二：时间是电商订单分析的一个重要维度，当前的两列时间数据格式都是年-月-日 时-分-秒并在一起，需要把每个时间单位单个提取出来。本次案例只针对“时”进行分析。

data_clean["下单时段"] = data_clean["下单时间"].dt.hour

注：数据处理只是告一段落，随着数据分析需求的新增或调整，数据处理会不断插入进来。

【数据分析】

一、是什么：描述当前的核心指标状态

有效订单量：data_clean.shape

总营收：round(sum(data_clean["商品价格"]),2)

客单价：round(sum(data_clean["商品价格"])/((data_clean.shape[0]),2)

二、为什么：罗列可能原因的维度，当现状出现偏差时，下钻查看相关维度的哪个节点出现了问题。这里我们以时间维度中的“时”为例来展示下python代码：

1、以下单时段的24小时进行分组，获得每个小时的订单量

hour_count = data_clean.groupby("下单时段")["商品编号"].count().reset_index().rename(columns={"商品编号":"订单数量"})

各时段订单量

2、把有效订单数/24得出平均每个小时的有效订单数为680，以680暂作为每个小时的好坏标准值：

hour_count["时均订单数量"] = [680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680,680]

3、可视化展示有效订单数在时段维度上的分布情况：

plt.figure(figsize=(25,3))

plt.plot(hour_count["下单时段"],hour_count["订单数量"])

plt.plot(hour_count["下单时段"],hour_count["时均订单数量"])

plt.xticks(np.arange(0,23,step=1))

plt.show()

每小时订单分布折线图（橘线是时均订单量）

三、怎么样：预测未来变化趋势。假设我们拿到的每日数据在时段上的分布是基本稳定的，那么从上图也能总结出时段分布规律：下单时间按订单量高低可划分成两个时段——早上十点至晚上十二点高订单量、凌晨一点至早上九点低订单量，其中晚上八点是高峰期。