• pour les personnes
  • pour les affaires
  • pour les universités
  • pour les gouvernements
Coursera
  • Coursera Plus
  • Connexion
  • Inscrivez-vous gratuitement
    Coursera
    Packt
    Apache Spark with Scala – Hands-On with Big Data!
    • À propos
    • Modules
    • Témoignages
    • Recommandations
    1. Parcourir
    2. Information Technology
    3. Data Management

    Ce cours n'est pas disponible en Français (France)

    Nous sommes actuellement en train de le traduire dans plus de langues.
    Packt

    Apache Spark with Scala – Hands-On with Big Data!

    Packt - Course Instructors

    Instructeur : Packt - Course Instructors

    Inclus avec Coursera Plus

    •En savoir plus
    10 modules
    Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
    niveau Intermédiaire

    Expérience recommandée

    Expérience recommandée

    Niveau intermédiaire

    This course teaches Apache Spark & Scala skills for big data processing & real-time analytics. Prior programming or scripting knowledge is needed.

    10 heures pour terminer
    3 semaines à 3 heures par semaine
    Planning flexible
    Apprenez à votre propre rythme
    Obtenir un Certificat
    Avec des formules payantes

    10 modules
    Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
    niveau Intermédiaire

    Expérience recommandée

    Expérience recommandée

    Niveau intermédiaire

    This course teaches Apache Spark & Scala skills for big data processing & real-time analytics. Prior programming or scripting knowledge is needed.

    10 heures pour terminer
    3 semaines à 3 heures par semaine
    Planning flexible
    Apprenez à votre propre rythme
    Obtenir un Certificat
    Avec des formules payantes
    • À propos
    • Modules
    • Témoignages
    • Recommandations

    Ce que vous apprendrez

    • Design and implement advanced Spark applications tailored to complex data processing needs.

    • Develop and execute Spark scripts to process large datasets and stream real-time data.

    • Compare and optimize Spark algorithms for better performance in big data applications.

    • Assess machine learning models' effectiveness using Spark MLlib for accurate predictions.

    Compétences que vous acquerrez

    • Catégorie : Distributed Computing
      Distributed Computing
    • Catégorie : Performance Tuning
      Performance Tuning
    • Catégorie : Apache Spark
      Apache Spark
    • Catégorie : Data Transformation
      Data Transformation
    • Catégorie : Machine Learning Algorithms
      Machine Learning Algorithms
    • Catégorie : Scala Programming
      Scala Programming
    • Catégorie : Regression Analysis
      Regression Analysis
    • Catégorie : Data Processing
      Data Processing
    • Catégorie : Development Environment
      Development Environment
    • Catégorie : Big Data
      Big Data
    • Catégorie : Programming Principles
      Programming Principles
    • Catégorie : Integrated Development Environments
      Integrated Development Environments
    • Catégorie : Graph Theory
      Graph Theory
    • Catégorie : Real Time Data
      Real Time Data
    • Catégorie : Build Tools
      Build Tools

    Détails à connaître

    Certificat partageable

    Ajouter à votre profil LinkedIn

    Évaluations

    4 devoirs

    Enseigné en Anglais

    Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

    En savoir plus sur Coursera pour les affaires
     logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal
    Certificat professionnel Coursera

    Obtenez un certificat professionnel

    Ajoutez cette qualification à votre profil LinkedIn ou à votre CV

    Partagez-le sur les réseaux sociaux et dans votre évaluation de performance

    Certificat professionnel Coursera

    Il y a 10 modules dans ce cours

    Embark on a journey to master big data processing with Apache Spark and Scala. This course begins with setting up your development environment, ensuring you have a solid foundation in both Spark and Scala. You will dive into a Scala crash course that covers syntax, flow control, functions, and data structures, giving you the essential skills needed to work with Spark.

    Next, you will explore Spark's core concept, the Resilient Distributed Dataset (RDD). Through a series of hands-on activities and exercises, you will learn to manipulate RDDs, implement key/value operations, and perform complex data transformations. The course then transitions into SparkSQL, DataFrames, and DataSets, where you will practice querying structured data efficiently. You'll also tackle advanced Spark programming, where you’ll apply algorithms to real-world datasets, work with clusters, and optimize performance. As you progress, you will delve into machine learning with Spark MLlib and explore how to build recommendation systems, perform regression analysis, and implement decision trees. Finally, the course introduces Spark Streaming and GraphX, allowing you to process real-time data streams and graph-based data efficiently. By the end of this course, you will have the expertise to leverage Spark and Scala for complex data processing tasks in any industry. This course is designed for software engineers who want to expand their skills into the world of big data processing on a cluster. It is necessary to have some prior programming or scripting knowledge.

    In this module, we will focus on installing the necessary tools like IntelliJ and Scala on your local system, followed by a brief introduction to the Apache Spark framework and its key concepts.

    Inclus

    2 vidéos1 lecture

    2 vidéos•Total 30 minutes
    • Introduction and Installing the Course Materials, IntelliJ, and Scala•15 minutes•Prévisualiser le module
    • Introduction to Apache Spark•14 minutes
    1 lecture•Total 10 minutes
    • Full Course Resources•10 minutes

    In this module, we will dive into Scala programming, covering its unique syntax, control flow, and key data structures like Map and List. You’ll get plenty of practice to ensure you’re comfortable with the language before jumping into Spark.

    Inclus

    4 vidéos

    4 vidéos•Total 66 minutes
    • (Activity) Scala Basics•25 minutes•Prévisualiser le module
    • (Exercise) Flow Control in Scala•9 minutes
    • (Exercise) Functions in Scala•9 minutes
    • (Exercise) Data Structures in Scala•22 minutes

    In this module, we will break down the structure and usage of RDDs, the building blocks of Spark applications. You’ll work on real-world examples, including building histograms and analyzing social network data.

    Inclus

    13 vidéos1 devoir

    13 vidéos•Total 87 minutes
    • The Resilient Distributed Dataset•11 minutes•Prévisualiser le module
    • Ratings Histogram Example•11 minutes
    • Spark Internals•1 minute
    • Key / Value RDDs, and the Average Friends by Age Example•10 minutes
    • (Activity) Running the Average Friends by Age Example•4 minutes
    • Filtering RDDs, and the Minimum Temperature by Location Example•5 minutes
    • (Activity) Running the Minimum Temperature Example, and Modifying It for Maximum•11 minutes
    • (Activity) Counting Word Occurrences Using Flatmap()•5 minutes
    • (Activity) Improving the Word Count Script with Regular Expressions•3 minutes
    • (Activity) Sorting the Word Count Results•6 minutes
    • (Exercise) Find the Total Amount Spent by Customer•4 minutes
    • (Exercise) Check Your Results and Sort Them by Total Amount Spent•5 minutes
    • Check Your Results and Implementation Against Mine•3 minutes
    1 devoir•Total 15 minutes
    • Assessment 1•15 minutes

    In this module, we will introduce SparkSQL, DataFrames, and Datasets, which provide a higher-level abstraction for working with structured data. You’ll also compare and contrast the use of RDDs with these APIs.

    Inclus

    9 vidéos

    9 vidéos•Total 63 minutes
    • Introduction to SparkSQL•9 minutes•Prévisualiser le module
    • (Activity) Using SparkSQL•7 minutes
    • (Activity) Using DataSets•8 minutes
    • (Exercise) Implement the Friends by Age Example Using DataSets•2 minutes
    • Exercise Solution: Friends by Age, with DataSets•7 minutes
    • (Activity) Word Count Example Using DataSets•10 minutes
    • (Activity) Revisiting the Minimum Temperature Example, with DataSets•9 minutes
    • (Exercise) Implement the Total Spent by Customer Problem with DataSets•2 minutes
    • Exercise Solution: Total Spent by Customer with DataSets•6 minutes

    In this module, we will tackle advanced Spark programming examples, such as finding popular movies and superheroes in a social graph. We will also cover optimization techniques using broadcast variables and accumulators.

    Inclus

    11 vidéos

    11 vidéos•Total 96 minutes
    • (Activity) Find the Most Popular Movie•5 minutes•Prévisualiser le module
    • (Activity) Use Broadcast Variables to Display Movie Names•11 minutes
    • (Activity) Find the Most Popular Superhero in a Social Graph•12 minutes
    • (Exercise) Find the Most Obscure Superheroes•5 minutes
    • Exercise Solution: Find the Most Obscure Superheroes•6 minutes
    • Superhero Degrees of Separation: Introducing Breadth-First Search•7 minutes
    • Superhero Degrees of Separation: Accumulators, and Implementing BFS in Spark•8 minutes
    • (Activity) Superhero Degrees of Separation: Review the Code and Run It!•12 minutes
    • Item-Based Collaborative Filtering in Spark, cache(), and persist()•8 minutes
    • (Activity) Running the Similar Movies Script Using Spark's Cluster Manager•14 minutes
    • (Exercise) Improve the Quality of Similar Movies•3 minutes

    In this module, we will move from running Spark on a local desktop to deploying and scaling it on a real cluster using Amazon Elastic MapReduce (EMR). You’ll learn how to submit jobs, manage dependencies, and troubleshoot issues.

    Inclus

    9 vidéos1 devoir

    9 vidéos•Total 78 minutes
    • (Activity) Using spark-submit to Run Spark Driver Scripts•11 minutes•Prévisualiser le module
    • (Activity) Packaging Driver Scripts with SBT•15 minutes
    • (Exercise) Package a Script with SBT and Run It Locally with spark-submit•2 minutes
    • Exercise Solution: Using SBT and spark-submit•9 minutes
    • Introducing Amazon Elastic MapReduce•7 minutes
    • Creating Similar Movies from One Million Ratings on EMR•11 minutes
    • Partitioning•4 minutes
    • Best Practices for Running on a Cluster•6 minutes
    • Troubleshooting and Managing Dependencies•11 minutes
    1 devoir•Total 15 minutes
    • Assessment 2•15 minutes

    In this module, we will explore Spark MLlib for machine learning. You’ll work through examples like generating movie recommendations and performing linear regression on large datasets.

    Inclus

    6 vidéos

    6 vidéos•Total 48 minutes
    • Introducing MLLib•9 minutes•Prévisualiser le module
    • (Activity) Using MLLib to Produce Movie Recommendations•12 minutes
    • Linear Regression with MLLib•7 minutes
    • (Activity) Running a Linear Regression with Spark•7 minutes
    • (Exercise) Predict Real Estate Values with Decision Trees in Spark•4 minutes
    • Exercise Solution: Predicting Real Estate with Decision Trees in Spark•5 minutes

    In this module, we will focus on real-time data processing using Spark Streaming. You’ll build streaming applications and learn to handle data in motion, both with DStreams and the newer Structured Streaming API.

    Inclus

    6 vidéos

    6 vidéos•Total 41 minutes
    • The DStream API for Spark Streaming•11 minutes•Prévisualiser le module
    • (Activity) Real-Time Monitoring of the Most Popular Hashtags on Twitter•8 minutes
    • Structured Streaming•4 minutes
    • (Activity) Using Structured Streaming for Real-Time Log Analysis•5 minutes
    • (Exercise) Windowed Operations with Structured Streaming•6 minutes
    • Exercise Solution: Top URLs in a 30-Second Window•5 minutes

    In this module, we will cover Spark’s GraphX library for graph-parallel processing, using it to explore social network data and understand how connected entities are through complex algorithms like breadth-first search.

    Inclus

    3 vidéos1 devoir

    3 vidéos•Total 18 minutes
    • GraphX, Pregel, and Breadth-First Search with Pregel•6 minutes•Prévisualiser le module
    • Using the Pregel API with Spark GraphX•4 minutes
    • (Activity) Superhero Degrees of Separation Using GraphX•7 minutes
    1 devoir•Total 15 minutes
    • Assessment 3•15 minutes

    In this final module, we will provide additional learning resources and give you tips on leveraging your new skills to advance your career in the field of big data.

    Inclus

    1 vidéo1 devoir

    1 vidéo•Total 4 minutes
    • Learning More, and Career Tips•4 minutes•Prévisualiser le module
    1 devoir•Total 60 minutes
    • Full Course Assessment•60 minutes

    Instructeur

    Packt - Course Instructors
    Packt - Course Instructors
    Packt
    708 Cours•106 147 apprenants

    Offert par

    Packt

    Offert par

    Packt

    Packt helps tech professionals put software to work by distilling and sharing the working knowledge of their peers. Packt is an established global technical learning content provider, founded in Birmingham, UK, with over twenty years of experience delivering premium, rich content from groundbreaking authors on a wide range of emerging and popular technologies.

    Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

    Felipe M.
    Étudiant(e) depuis 2018
    ’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
    Jennifer J.
    Étudiant(e) depuis 2020
    ’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
    Larry W.
    Étudiant(e) depuis 2021
    ’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
    Chaitanya A.
    ’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
    Coursera Plus

    Accédez à tous ces cours et à bien d'autres encore grâce à un abonnement

    • P

      Packt

      Streaming Big Data with Spark Streaming, Scala, and Spark 3!

      Advanced · Cours

    • É

      École Polytechnique Fédérale de Lausanne

      Big Data Analysis with Scala and Spark

      4,6
      évaluation, 4,6 sur 5 étoiles
      ·
      2,6 k avis

      Intermediate · Cours

    • É

      École Polytechnique Fédérale de Lausanne

      Big Data Analysis with Scala and Spark (Scala 2 version)

      Intermediate · Cours

    • I

      IBM

      Scalable Machine Learning on Big Data using Apache Spark

      3,8
      évaluation, 3,8 sur 5 étoiles
      ·
      1,3 k avis

      Intermediate · Cours

    En savoir plus
    Coursera Plus

    Débloquer l'accès aux cours 10,000+ avec un abonnement

    Explorez les rôles et les compétences, apprenez plus efficacement avec Coursera Coach et obtenez des diplômes reconnus.

    En savoir plus

    Faites progresser votre carrière avec un diplôme en ligne

    Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

    Découvrir les diplômes

    Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

    Améliorez les compétences de vos employés pour exceller dans l’économie numérique

    En savoir plus

    Foire Aux Questions

    Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.

    If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.

    Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.

    If you complete the course successfully, your electronic Course Certificate will be added to your Accomplishments page - from there, you can print your Course Certificate or add it to your LinkedIn profile.

    This course is one of a few offered on Coursera that are currently available only to learners who have paid or received financial aid, when available.

    You will be eligible for a full refund until two weeks after your payment date, or (for courses that have just launched) until two weeks after the first session of the course begins, whichever is later. You cannot receive a refund once you’ve earned a Course Certificate, even if you complete the course within the two-week refund period. See our full refund policyS’ouvre dans un nouvel onglet.

    Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

    Plus de questions

    Visitez le Centre d'Aide pour les Étudiants

    Aide financière disponible,

    Pied de page Coursera

    Technical Skills

    • ChatGPT
    • Coding
    • Computer Science
    • Cybersecurity
    • DevOps
    • Ethical Hacking
    • Generative AI
    • Java Programming
    • Python
    • Web Development

    Analytical Skills

    • Artificial Intelligence
    • Big Data
    • Business Analysis
    • Data Analytics
    • Data Science
    • Financial Modeling
    • Machine Learning
    • Microsoft Excel
    • Microsoft Power BI
    • SQL

    Business Skills

    • Accounting
    • Digital Marketing
    • E-commerce
    • Finance
    • Google
    • Graphic Design
    • IBM
    • Marketing
    • Project Management
    • Social Media Marketing

    Career Resources

    • Essential IT Certifications
    • High-Income Skills to Learn
    • How to Get a PMP Certification
    • How to Learn Artificial Intelligence
    • Popular Cybersecurity Certifications
    • Popular Data Analytics Certifications
    • What Does a Data Analyst Do?
    • Career Development Resources
    • Career Aptitude Test
    • Share your Coursera Learning Story

    Coursera

    • À propos
    • Ce que nous proposons
    • Direction
    • Carrières
    • Catalogue
    • Coursera Plus
    • Certificats Professionnels
    • Certificats MasterTrack®
    • Diplômes
    • Pour l'entreprise
    • Pour les gouvernements
    • Pour le campus
    • Devenir un partenaire
    • Impact social
    • Free Courses
    • ECTS Credit Recommendations

    Communauté

    • Étudiants
    • Partenaires
    • Testeurs bêta
    • Blog
    • Le podcast Coursera
    • Blog Tech
    • Centre d'enseignement

    Plus

    • Presse
    • Investisseurs
    • Conditions
    • Confidentialité
    • Aide
    • Accessibilité
    • Contact
    • Articles
    • Répertoire
    • Filiales
    • Déclaration sur l’esclavage moderne
    • Gérer les préférences en matière de cookies
    Apprendre partout
    Télécharger dans l'App Store
    Disponible sur Google Play
    Logo Certified B Corporation
    © 2025 Coursera Inc. Tous droits réservés.
    • Facebook Coursera
    • Linkedin Coursera
    • Twitter Coursera
    • YouTube Coursera
    • Instagram Coursera
    • TikTok Coursera
    Coursera

    S'inscrire

    Profitez de votre temps libre pour apprendre auprès des meilleures universités et entreprises.

    ​
    ​
    Entre 8 et 72 caractères
    Votre mot de passe est masqué
    ​

    ou

    Vous utilisez déjà Coursera ?


    J'accepte les Conditions d'utilisation et les Notification de confidentialité de Coursera. Vous rencontrez des difficultés pour vous connecter ? Centre d'Aide pour les Étudiants

    Ce site est protégé par reCAPTCHA Enterprise et la Politique de confidentialité Google et les Termes et Conditions s'appliquent.