NomadDesk

Senior Machine Learning QA Developer

Job Requisition ID #

26WD95654

The French translation can be found below!/La traduction en français se trouve plus bas!

Position Overview

As a Senior Machine Learning QA Developer in the Research Enablement team, you will work side-by-side with researchers, Machine Learning developers ad engineers, and software developers and engineers to define and uphold quality standards for ML systems. You are a quality-focused engineer who is passionate about reliable, repeatable evaluation of ML models and data. Your skills span test strategy, automation, and a little MLOps, with a strong software engineering base. You are excited to collaborate across research and product to ship ML capabilities with clear quality gates. You are comfortable working at the intersection of research and product and are competent in using Autodesk CAD software.

Reporting Structure: You will report to an Engineering Manager in Research Enablement.

Location: Toronto, Canada (Hybrid). We are a global team, located in London, San Francisco, Toronto, and remotely. Autodesk is a hybrid-first company, allowing workers to work remotely, in an office, or a mix of both.

Responsibilities

• Define ML quality strategy and acceptance criteria across data, model, and system levels
• Design and maintain model evaluation suites, metrics, and test datasets
• Evaluating CAD RL model outputs for geometric validity or policy stability
• Defining structured rubrics that translate qualitative findings into measurable evaluation gates
• Testing ML Models from product side
• API Testing
• Automate ML QA workflows using Python and CI/CD (e.g., GitHub Actions, Jenkins)
• Create and maintain test harnesses for ML services and APIs
• Mentor teams on ML QA best practices and consistent evaluation standards
• Build quality gates for training and deployment pipelines (e.g., regression checks, drift detection)
• Contribute to multi-team projects and codebases, ensuring code quality and consistency
• Participate in code reviews and provide constructive feedback to peers
• Document and present findings and ideas across the company

• Bachelor's degree in Computer Science, Engineering, or equivalent experience
• 7+ years of professional experience in software engineering or QA for ML/AI systems
• Strong programming skills in Python, with experience in test automation
• Familiarity with popular CAD environments tooling
• Proficient in Automation and UAT test suite/framework
• Experience designing QA frameworks or platforms used by multiple teams
• Excellent problem-solving skills and attention to detail
• Strong communication and collaboration skills
• Understanding of software architecture and design patterns
• Ability to work in an agile development environment

• Experience with data validation tooling (e.g., Great Expectations) or labeling workflows
• Familiarity with ML frameworks (e.g., PyTorch, TensorFlow)
• Experience with CI/CD tools and processes
• Experience with data pipelines and orchestration tools (e.g., Airflow, Metaflow)
• Familiarity with MLOps practices (model monitoring, drift, deployment checks)
• Experience with ML evaluation methods, metrics, and benchmarking
• Passion for learning new technologies and improving existing systems
• Experience with cloud providers (e.g., AWS, Azure, Google Cloud Platform)
• Experience testing ML services in production environments
• Knowledge of experiment tracking tools (e.g., Comet, MLflow, Weights & Biases)

• You demonstrate initiative to provide solutions and to learn and develop new technologies
• Comfortable building QA systems from scratch and writing maintainable automation
• You enjoy learning and collaborating across global locations
• You are comfortable working in newly forming ambiguous areas
• You are comfortable building scalable and maintainable systems that will be relied on by others
• You can communicate well with others

• Définir la stratégie de qualité ML et les critères d'acceptation au niveau des données, des modèles et des systèmes
• Concevoir et maintenir des suites d'évaluation de modèles, des métriques et des ensembles de données de test
• Évaluer les résultats des modèles CAD RL pour vérifier leur validité géométrique ou la stabilité des politiques
• Définir des rubriques structurées qui traduisent les résultats qualitatifs en critères d'évaluation mesurables.
• Tester les modèles ML du côté produit.
• Tester les API.
• Automatiser les workflows de QA ML à l'aide de Python et CI/CD (par exemple, GitHub Actions, Jenkins).
• Créer et maintenir des harnais de test pour les services ML et les API.
• Encadrer les équipes sur les meilleures pratiques en matière de QA ML et les normes d'évaluation cohérentes.
• Mettre en place des critères de qualité pour les pipelines de formation et de déploiement (par exemple, contrôles de régression, détection de dérive).
• Contribuer à des projets et des bases de code multi-équipes, en garantissant la qualité et la cohérence du code
• Participer à des revues de code et fournir des commentaires constructifs à ses pairs
• Documenter et présenter les résultats et les idées à l'ensemble de l'entreprise

• Licence en informatique, ingénierie ou expérience équivalente
• Plus de 7 ans d'expérience professionnelle en génie logiciel ou en assurance qualité pour les systèmes ML/IA
• Solides compétences en programmation Python, avec une expérience dans l'automatisation des tests
• Bonne connaissance des outils d'environnements CAO courants
• Maîtrise des suites/cadres de tests d'automatisation et d'UAT
• Expérience dans la conception de cadres ou de plateformes d'assurance qualité utilisés par plusieurs équipes
• Excellentes compétences en matière de résolution de problèmes et souci du détail
• Solides compétences en communication et en collaboration
• Compréhension de l'architecture logicielle et des modèles de conception
• Capacité à travailler dans un environnement de développement agile

• Expérience avec les outils de validation des données (par exemple, Great Expectations) ou les workflows d'étiquetage
• Connaissance des cadres ML (par exemple, PyTorch, TensorFlow)
• Expérience avec les outils et processus CI/CD
• Expérience avec les pipelines de données et les outils d'orchestration (par exemple, Airflow, Metaflow)
• Connaissance des pratiques MLOps (surveillance des modèles, dérive, vérifications de déploiement)
• Expérience avec les méthodes d'évaluation, les métriques et les benchmarks ML
• Passion pour l'apprentissage de nouvelles technologies et l'amélioration des systèmes existants
• Expérience avec les fournisseurs de cloud (par exemple, AWS, Azure, Google Cloud Platform)
• Expérience dans le test de services ML dans des environnements de production
• Connaissance des outils de suivi des expériences (par exemple, Comet, MLflow, Weights & Biases)

• Vous faites preuve d'initiative pour fournir des solutions, apprendre et développer de nouvelles technologies
• Vous êtes à l'aise pour créer des systèmes d'assurance qualité à partir de zéro et écrire des automatisations faciles à maintenir
• Vous appréciez l'apprentissage et la collaboration à l'échelle internationale
• Vous êtes à l'aise pour travailler dans des domaines nouveaux et ambigus
• Vous êtes à l'aise pour créer des systèmes évolutifs et faciles à maintenir sur lesquels d'autres pourront compter
• Vous communiquez efficacement avec les autres