В общем, немного не правильно расценивал доступ к файлу по ссылке - думал, что это должен быть один параметр, а на самом деле - это отдельный самостоятельный пермишн.
По итогу - решил проблему с доступом - методом
permissions().delete(fileId, permissionId).execute();
Который на вход принимает 2 параметра:
* id файла/папки
* id пермишана
По факту - добавил цикл - проверяющий наличие в id пермишана куска anyone
if (permission.getId().contains("anyone")){
}
Если условие выполняется - то методу удаления передаются 2 необходимых параметра удаляются.
Проверяется наличия куска "anyone" - потому что доступ всем в интернете "anyone", а доступ всем, кто имеет ссылку "anyoneWithLink".