Nghề SRE

Vị trí SRE (Site Reliability Engineer) đảm bảo cho hệ thống được vận hành trơn tru, ổn định cao bằng cách sử dụng các kỹ năng, phương pháp, lập trình phần mềm vào việc vận hành hệ thống. Vị trí này ngoài việc hiểu về Hardware, Networking, OS, System bạn cũng cần có kỹ năng về lập trình phần mềm. 

Đối với team nhỏ thì bạn cần có càng nhiều kỹ năng trên càng tốt, còn trong team lớn thì thường mỗi người sẽ đảm nhiệm chuyển sâu về một mảng.

Thông thường các công việc vận hành hệ thống thường có nhiều việc xử lý manually cần được tự động hoá nhiều nhất có thể để tránh các lỗi do con người.

Các công ty lớn có đội ngũ SRE riêng thì họ thường tự viết các tools để xài, trong khi các công ty nhỏ có thể dùng các công cụ nguồn mở hoặc sử dụng các dịch vụ DevOps của bên thứ 3. 

Tôi thấy có các nguồn tài liệu hay cho các bạn muốn theo hướng làm SRE hay DevOps ở dưới

• Google sre books : https://landing.google.com/sre/books/
• Awesome sre list : https://github.com/dastergon/awesome-sre#readme
• Devops as a service : https://blog.gruntwork.io/

Chạy ứng dụng machine learning trên production

Đi cùng với sự phổ cập AI/ML trong đời sống từng người dân,  khái niệm DevOps cho các ứng dụng Machine Learning, thường gọi MLOps, đang dần hình thành ở giai bước đầu với nhiều công cụ open-source với nhiều đóng góp khá sôi động.

Theo tôi MLOps dựa trên các khái niệm, công cụ sử dụng trong DevOps tuy nhiên có một vài đặc thù  phát triển và vận hành các ứng dụng ML cần có các công cụ được tuỳ biến để phù hợp với việc xây dựng một life cycle cho các ứng dụng ML từ khâu design, development tới chạy production.

Các điểm khác biệt của một ứng dụng ML 

- Data Versioning

- Model Versioning

- GPU, hardware requirements

- Release, Production ML application

Các bài viết, công cụ trên internet liên quan tới MLOps về các công cụ này mà tôi sưu tầm được

- Continuous Delivery for Machine Learning (CD4ML) https://martinfowler.com/articles/cd4ml.html

- MLOps-Reducing the technical debt of Machine Learning https://towardsdatascience.com/mlops-reducing-the-technical-debt-of-machine-learning-dac528ef39de

- What I learned from looking at 200 machine learning tools https://huyenchip.com/2020/06/22/mlops.html

Tools list https://github.com/EthicalML/awesome-production-machine-learning

- DVC https://dvc.org/

- Mlflow https://github.com/mlflow/mlflow

- Kubeflow https://github.com/kubeflow/kubeflow

- Pachyderm https://github.com/pachyderm/pachyderm

<tiếp tục cập nhật>