Читайте документацию по react-scripts, для фронта он используется. Если просто тестовый сертификат сгенерировать, то запускаете HTTPS=true yarn start. Если использовать сторонний рабочий сертификат, то я лично настраиваю его на уровне nginx.