Как правильно реализовать удаление элемента из массива?

Алексей Милютин, тогда уж лучше так:

handleClose = (index) => {
  this.setState(({ text: prevText }) => ({
    text: [...prevText.slice(0, index), ...prevText.slice(index + 1)]
  }));
}

Здесь вы не копируете массив в отдельную переменную, а напрямую изменяете state:

const array = this.state.text;
array.splice(index, 1);

Объекты: передача по ссылке

Также используйте функцию при изменении состояния на основе предыдущего, так как setState «не всегда обновляет компонент сразу, он может группировать или откладывать обновление до следующего раза».

Документация
Примеры