Datasets documentation
Bộ dữ liệu
Bộ dữ liệu
🤗 Datasets là một thư viện để dễ dàng truy cập và chia sẻ các bộ dữ liệu AI cho các tác vụ Âm thanh, Thị giác Máy tính và Xử lý Ngôn ngữ Tự nhiên (NLP).
Tải một bộ dữ liệu chỉ với một dòng mã, và sử dụng các phương pháp xử lý dữ liệu cũng như streaming mạnh mẽ của chúng tôi để nhanh chóng chuẩn bị bộ dữ liệu sẵn sàng cho việc huấn luyện trong một mô hình deep learning. Được hỗ trợ bởi định dạng Apache Arrow, xử lý các bộ dữ liệu lớn với các thao tác đọc zero-copy mà không có bất kỳ ràng buộc bộ nhớ nào, nhằm đạt được tốc độ và hiệu suất tối ưu. Chúng tôi cũng tích hợp sâu với Hugging Face Hub, cho phép bạn dễ dàng tải và chia sẻ bộ dữ liệu với cộng đồng machine learning rộng lớn hơn.
Tìm dataset của bạn ngay hôm nay trên Hugging Face Hub, và khám phá chi tiết bên trong nó với trình xem trực tiếp.
Học các kiến thức cơ bản và làm quen với việc tải, truy cập và xử lý một tập dữ liệu. Bắt đầu tại đây nếu bạn đang sử dụng 🤗 Datasets lần đầu tiên!
Hướng dẫn thực hành giúp bạn đạt được một mục tiêu cụ thể. Hãy xem các hướng dẫn này để tìm hiểu cách sử dụng 🤗 Datasets để giải quyết các vấn đề thực tế.
Giải thích ở mức cao để xây dựng sự hiểu biết tốt hơn về các chủ đề quan trọng như định dạng dữ liệu cơ bản, bộ nhớ đệm và cách các tập dữ liệu được tạo ra.
Mô tả kỹ thuật về cách các lớp và phương thức của 🤗 Datasets hoạt động.