{Object.keys(profile.contacts).map((key) => {
                  return (
                    <React.Fragment>
                      <TextField
                        key={key}
                        className={classes.gutters}
                        margin='dense'
                        fullWidth
                        variant='outlined'
                        id='standard-basic'
                        name={`contacts.${key}`}
                        label={key}
                        value={`values.contacts.${key}`}
                        onBlur={handleBlur}
                        onChange={handleChange}
                        error={`touched.contacts?.${key}` && Boolean(`errors.contacts?.${key}`)}
                        helperText={`touched.contacts?.${key}` && `errors.contacts?.${key}`}
                      />
                    </React.Fragment>
                  )
})}

Вы можете использовать тег, у которого display: inline, к примеру: span
или явно задать тегу с текстом display: inline