Học phần được kết cấu thành 2 phần chính. Thứ nhất, kiến thức cơ bản của phân tích thuật toán song song và phân tán. Thứ hai, nghiên cứu thuật toán phân tán cho một số bài toán cụ thể bao gồm: tối ưu lồi (convex optimization); phân tích ma trận (matrix factorization); học máy (machine learning); mạng nơron (neural networks); tính toán số đại số tuyến tính (numerical linear algebra); phân tích đồ thị lớn (large graph analysis); thuật toán luồng dữ liệu (streaming algorithms).