⭐ Python Developer · Chặng 8Bài 3/4Bài học~75 phút

pandas cơ bản: DataFrame, lọc, groupby, làm sạch, xuất Excel

Xử lý bảng dữ liệu bằng pandas: read_csv, lọc với loc, thêm cột, xử lý giá trị thiếu, groupby, agg, merge và xuất CSV, Excel.

pandas cơ bản: DataFrame, lọc, groupby, làm sạch, xuất Excel

Học xong bài này, bạn sẽ

  • Đọc CSV, Excel thành DataFrame và xem nhanh dữ liệu
  • Lọc, thêm cột, xử lý giá trị thiếu
  • Nhóm, tổng hợp và xuất kết quả

Nên học trước: SQLAlchemy 2.0 ORM

Nội dung bài viết
  1. 1. DataFrame và Series
  2. 2. Đọc dữ liệu và xem nhanh
  3. 3. Chọn và lọc
  4. 4. Thêm cột, xử lý giá trị thiếu
  5. 5. Nhóm và tổng hợp
  6. 6. Nối bảng và xuất kết quả
  7. Tóm tắt
  8. Bài tập

Bạn đã xử lý CSV bằng module csv và vòng lặp. Với bảng vài chục nghìn dòng cần lọc, nhóm, tính tổng, nối hai bảng, cách đó dài và chậm. pandas là thư viện xử lý dữ liệu dạng bảng phổ biến nhất của Python: một dòng pandas thường thay cho cả chục dòng vòng lặp. Python Developer làm tự động hóa, backend hay dữ liệu đều dùng pandas thường xuyên.

1. DataFrame và Series

Cài: uv add pandas openpyxl (openpyxl để đọc ghi Excel). Bài dùng pandas 3.x.

import pandas as pd

df = pd.DataFrame({
    "ngay": ["2026-10-01", "2026-10-01", "2026-10-02", "2026-10-03", "2026-10-03", "2026-10-04"],
    "san_pham": ["Cà phê", "Trà sữa", "Cà phê", "Bánh mì", "Trà sữa", "Cà phê"],
    "so_luong": [3, 2, 5, 4, None, 2],
    "don_gia": [25000, 35000, 25000, 20000, 35000, 27000],
})
print(df)
print(df.shape, list(df.columns))
print(type(df["san_pham"]).__name__, df["don_gia"].mean())
         ngay san_pham  so_luong  don_gia
0  2026-10-01   Cà phê       3.0    25000
1  2026-10-01  Trà sữa       2.0    35000
2  2026-10-02   Cà phê       5.0    25000
3  2026-10-03  Bánh mì       4.0    20000
4  2026-10-03  Trà sữa       NaN    35000
5  2026-10-04   Cà phê       2.0    27000
(6, 4) ['ngay', 'san_pham', 'so_luong', 'don_gia']
Series 27833.333333333332

DataFrame là bảng (dòng × cột), mỗi cột là một Series có kiểu dữ liệu riêng. Cột bên trái là index (nhãn dòng, mặc định 0, 1, 2...). NaN là giá trị thiếu; vì cột so_luong có giá trị thiếu nên pandas lưu nó dạng số thực (3.0).

2. Đọc dữ liệu và xem nhanh

import pandas as pd
from pathlib import Path

Path("ban_hang.csv").write_text(
    "ngay,san_pham,so_luong,don_gia\n"
    "2026-10-01,Cà phê,3,25000\n2026-10-01,Trà sữa,2,35000\n2026-10-02,Cà phê,5,25000\n"
    "2026-10-03,Bánh mì,4,20000\n2026-10-03,Trà sữa,,35000\n2026-10-04,Cà phê,2,27000\n",
    encoding="utf-8",
)
df = pd.read_csv("ban_hang.csv", parse_dates=["ngay"])
df.info()
print(df.describe().loc[["mean", "max"]])
<class 'pandas.DataFrame'>
RangeIndex: 6 entries, 0 to 5
Data columns (total 4 columns):
 #   Column    Non-Null Count  Dtype
---  ------    --------------  -----
 0   ngay      6 non-null      datetime64[us]
 1   san_pham  6 non-null      str
 2   so_luong  5 non-null      float64
 3   don_gia   6 non-null      int64
dtypes: datetime64[us](1), float64(1), int64(1), str(1)
memory usage: 324.0 bytes
                     ngay  so_luong       don_gia
mean  2026-10-02 08:00:00       3.2  27833.333333
max   2026-10-04 00:00:00       5.0  35000.000000
  • pd.read_csv tự đoán kiểu từng cột; parse_dates chuyển cột ngày thành kiểu thời gian. Tương tự: pd.read_excel("file.xlsx", sheet_name=...), pd.read_json, pd.read_sql.
  • Ba lệnh luôn chạy đầu tiên với dữ liệu mới: df.head() (vài dòng đầu), df.info() (kiểu cột, số giá trị thiếu), df.describe() (thống kê nhanh).
  • Từ pandas 3.0, cột văn bản có kiểu str riêng thay vì object như các bản cũ.

3. Chọn và lọc

import pandas as pd

df = pd.read_csv("ban_hang.csv", parse_dates=["ngay"])
print(df[["san_pham", "don_gia"]].head(2))           # chọn nhiều cột: list tên cột
ca_phe = df[df["san_pham"] == "Cà phê"]              # lọc dòng bằng điều kiện
print(len(ca_phe))
print(df[(df["don_gia"] >= 25000) & (df["ngay"] < "2026-10-03")].index.tolist())
print(df[df["san_pham"].isin(["Bánh mì", "Trà sữa"])]["so_luong"].sum())
print(df.loc[2, "san_pham"], df.loc[df["so_luong"] > 3, ["ngay", "so_luong"]].shape)
  san_pham  don_gia
0   Cà phê    25000
1  Trà sữa    35000
3
[0, 1, 2]
6.0
Cà phê (2, 2)

Điều kiện kết hợp dùng & (và), | (hoặc), ~ (phủ định), mỗi điều kiện đặt trong ngoặc; không dùng and, or. df.loc[dòng, cột] chọn theo nhãn, nhận cả điều kiện; df.iloc[i, j] chọn theo vị trí số.

4. Thêm cột, xử lý giá trị thiếu

import pandas as pd

df = pd.read_csv("ban_hang.csv", parse_dates=["ngay"])
print(df["so_luong"].isna().sum(), "giá trị thiếu")
df["so_luong"] = df["so_luong"].fillna(0).astype(int)    # hoặc df.dropna(subset=["so_luong"])
df["thanh_tien"] = df["so_luong"] * df["don_gia"]        # phép tính trên cả cột, không cần vòng lặp
df["thu"] = df["ngay"].dt.day_name()
df["loai"] = df["san_pham"].map({"Cà phê": "Đồ uống", "Trà sữa": "Đồ uống", "Bánh mì": "Đồ ăn"})
print(df[["san_pham", "so_luong", "thanh_tien", "thu", "loai"]].tail(3))
1 giá trị thiếu
  san_pham  so_luong  thanh_tien       thu     loai
3  Bánh mì         4       80000  Saturday    Đồ ăn
4  Trà sữa         0           0  Saturday  Đồ uống
5   Cà phê         2       54000    Sunday  Đồ uống

Phép toán trên cột được vector hóa: viết như phép tính trên một số nhưng áp cho mọi dòng, nhanh hơn vòng lặp Python hàng chục lần. .dt truy cập thuộc tính ngày giờ, .str truy cập phương thức chuỗi (df["ten"].str.upper(), .str.contains("phê")), .map(dict) ánh xạ giá trị.

Copy-on-Write trong pandas 3Viết df[df["gia"] > 0]["gia"] = 1 (lọc rồi gán, gọi là gán chuỗi) không sửa df: từ pandas 3.0, mọi kết quả lọc hành xử như một bản sao. Gán có điều kiện phải dùng một lệnh .loc duy nhất: df.loc[df["gia"] > 0, "gia"] = 1.

5. Nhóm và tổng hợp

import pandas as pd

df = pd.read_csv("ban_hang.csv", parse_dates=["ngay"])
df["so_luong"] = df["so_luong"].fillna(0)
df["thanh_tien"] = df["so_luong"] * df["don_gia"]

theo_sp = (df.groupby("san_pham")
             .agg(so_don=("ngay", "count"), so_luong=("so_luong", "sum"), doanh_thu=("thanh_tien", "sum"))
             .sort_values("doanh_thu", ascending=False))
print(theo_sp)
print(df.groupby(df["ngay"].dt.day)["thanh_tien"].sum().to_dict())
print(df.pivot_table(index="ngay", columns="san_pham", values="thanh_tien", aggfunc="sum", fill_value=0).iloc[:2])
          so_don  so_luong  doanh_thu
san_pham
Cà phê         3      10.0   254000.0
Bánh mì        1       4.0    80000.0
Trà sữa        2       2.0    70000.0
{1: 145000.0, 2: 125000.0, 3: 80000.0, 4: 54000.0}
san_pham    Bánh mì    Cà phê  Trà sữa
ngay
2026-10-01      0.0   75000.0  70000.0
2026-10-02      0.0  125000.0      0.0

groupby(cột).agg(tên_mới=(cột, hàm)) là mẫu tổng hợp quan trọng nhất: tương đương GROUP BY trong SQL. pivot_table tạo bảng chéo giống PivotTable của Excel. Cột so_luong và doanh_thu là số thực vì cột số lượng gốc có giá trị thiếu.

6. Nối bảng và xuất kết quả

import pandas as pd

don = pd.DataFrame({"ma_kh": ["K1", "K2", "K1", "K3"], "tong": [450_000, 1_200_000, 90_000, 300_000]})
khach = pd.DataFrame({"ma_kh": ["K1", "K2", "K4"], "ten": ["An", "Bình", "Dũng"]})
gop = don.merge(khach, on="ma_kh", how="left")      # giống LEFT JOIN
print(gop)
gop.to_csv("don_hang.csv", index=False, encoding="utf-8-sig")   # utf-8-sig để Excel đọc đúng dấu
gop.to_excel("don_hang.xlsx", index=False, sheet_name="Đơn hàng")
  ma_kh     tong   ten
0    K1   450000    An
1    K2  1200000  Bình
2    K1    90000    An
3    K3   300000   NaN

merge(how="left") giữ mọi dòng bảng trái; khách K3 không có trong bảng khách nên tên là NaN, dấu hiệu dữ liệu không nhất quán cần kiểm tra. how="inner" chỉ giữ dòng khớp cả hai bên. Ghép nhiều bảng cùng cột theo chiều dọc (như gộp file Excel các chi nhánh): pd.concat([df1, df2], ignore_index=True).

Tóm tắt

  • read_csv/read_excel; xem bằng head, info, describe.
  • Chọn df[["a", "b"]]; lọc df[(dk1) & (dk2)]; loc theo nhãn, iloc theo vị trí.
  • Cột mới bằng phép tính vector hóa; fillna, dropna, .dt, .str, .map; gán có điều kiện bằng .loc.
  • groupby().agg(), pivot_table, merge, concat; xuất to_csv(encoding="utf-8-sig"), to_excel.

Bài tập

Bài 1. Doanh thu theo tháng và sản phẩm

Với dữ liệu bán hàng mẫu dưới đây, tính doanh thu theo tháng, và theo sản phẩm sắp giảm dần.

Xem đáp án
import pandas as pd

df = pd.DataFrame({
    "ngay": pd.to_datetime(["2026-09-28", "2026-09-30", "2026-10-02", "2026-10-15", "2026-10-15"]),
    "san_pham": ["Cà phê", "Bánh mì", "Cà phê", "Trà sữa", "Cà phê"],
    "so_luong": [4, 10, 6, 3, 2],
    "don_gia": [25000, 20000, 25000, 35000, 27000],
})
df["thanh_tien"] = df["so_luong"] * df["don_gia"]
print(df.groupby(df["ngay"].dt.to_period("M"))["thanh_tien"].sum())
print(df.groupby("san_pham")["thanh_tien"].sum().sort_values(ascending=False))
ngay
2026-09    300000
2026-10    309000
Freq: M, Name: thanh_tien, dtype: int64
san_pham
Cà phê     304000
Bánh mì    200000
Trà sữa    105000
Name: thanh_tien, dtype: int64

.dt.to_period("M") đổi ngày thành tháng để nhóm. Luôn kiểm tra tổng: 300.000 + 309.000 = 609.000 = 304.000 + 200.000 + 105.000. Hai cách nhóm cho cùng tổng doanh thu là dấu hiệu tính đúng.

Bài 2. Làm sạch dữ liệu bẩn

Cột ngay lẫn định dạng 29/10/2026 và 2026-10-29, cột tien có dạng "1.250.000", "90.000đ". Chuẩn hóa về kiểu ngày và số nguyên.

Xem đáp án
import pandas as pd

df = pd.DataFrame({"ngay": ["29/10/2026", "2026-10-28", "01/11/2026"],
                   "tien": ["1.250.000", "90.000đ", " 300000 "]})
df["ngay"] = pd.to_datetime(df["ngay"], format="mixed", dayfirst=True)
df["tien"] = df["tien"].str.replace(r"[^\d]", "", regex=True).astype(int)
print(df)
print(df["tien"].sum())
        ngay     tien
0 2026-10-29  1250000
1 2026-10-28    90000
2 2026-11-01   300000
1640000

dayfirst=True rất quan trọng với dữ liệu Việt Nam: không có nó, 01/11/2026 bị hiểu là ngày 11 tháng 1 theo kiểu Mỹ. Regex [^\d] xóa mọi ký tự không phải chữ số, đúng với tiền đồng không có phần lẻ; với số có phần thập phân phải xử lý dấu chấm, dấu phẩy cẩn thận hơn.

Nguồn tham khảo: 10 minutes to pandas; Group by: split-apply-combine; Copy-on-Write; What's new in pandas 3.0.0.

Bài tập thực hành

  1. Từ dữ liệu bán hàng mẫu trong bài, tính doanh thu theo tháng và theo sản phẩm.
  2. Làm sạch cột ngày bị lẫn định dạng và cột tiền có dấu chấm phân cách.

Làm xong bài tập mới chuyển sang bài tiếp theo: tự viết code là cách duy nhất để nhớ lâu.

Bài tiếp theo
Ban biên tập HocFree

Chúng tôi viết những bài hướng dẫn dễ hiểu, thực tế để ai cũng có thể tự học lập trình và AI, hoàn toàn miễn phí.