Почему выводит ошибку 500 на сервере?

Question

[Вергилий Меркель]

Есть простой чекер сайта https://github.com/CptWasp/PGBonusParser
Cromedriver заходит на сайт https://qrfinex.com/stocks, нажимает на вкладку BGBONUS, получает текст с элемента, и скидывает вконтакте личным сообщением.

На localhost всё работате превосходно, после чего я залил это на heroku.com,
Вернуло ошибку 500

This application has no explicit mapping for /error, so you are seeing this as a fallback.

Fri Aug 07 12:48:20 UTC 2020
There was an unexpected error (type=Internal Server Error, status=500).
Timed out waiting for driver server to start. Build info: version: 'unknown', revision: 'unknown', time: 'unknown' System info: host: 'cfdb7b7d-f689-44d6-aeb5-2be9e9d6f3b2', ip: '172.16.92.142', os

Comments

[Вергилий Меркель]

Есть такой JSON
https://github.com/CptWasp/PGBonusParser/blob/mast...
вот скрин как это выглядело бы xml

вытаскиват json я научился, осталось
СДЕЛАТЬ КЛАССЫ, которые принимал бы этот json
Есть наработки, но они не работаю или возвращают null

public class Actions {
    private int id;
    private String action;
    private Actions provider;
    private String date_from;
    private String date_to;
    private String info;
    private String payment_info;
    private String url;

    @JsonProperty("id")
    public int getId() {
        return id;
    }

    @JsonProperty("id")
    public void setId(int id) {
        this.id = id;
    }

    @JsonProperty("action")
    public String getAction() {
        return action;
    }

    @JsonProperty("action")
    public void setAction(String action) {
        this.action = action;
    }

    @JsonProperty("provider")
    public Actions getProvider() {
        return provider;
    }

    @JsonProperty("provider")
    public void setProvider(Actions provider) {
        this.provider = provider;
    }

    @JsonProperty("date_from")
    public String getDateFrom() {
        return date_from;
    }

    @JsonProperty("date_from")
    public void setDateFrom(String date_from) {
        this.date_from = date_from;
    }

    @JsonProperty("date_to")
    public String getDateTo() {
        return date_to;
    }

    @JsonProperty("date_to")
    public void setDateTo(String date_to) {
        this.date_to = date_to;
    }

    @JsonProperty("info")
    public String getInfo() {
        return info;
    }

    @JsonProperty("info")
    public void setInfo(String info) {
        this.info = info;
    }

    @JsonProperty("payment_info")
    public String getPaymentInfo() {
        return payment_info;
    }

    @JsonProperty("payment_info")
    public void setPaymentInfo(String payment_info) {
        this.payment_info = payment_info;
    }

    @JsonProperty("url")
    public String getUrl() {
        return url;
    }

    @JsonProperty("url")
    public void setUrl(String url) {
        this.url = url;
    }
}

public class Provider {
    private int id;
    private String name;
    private String icon;
    private String web;
    private String ios;
    private String android;

    @JsonProperty("id")
    public int getId() {
        return id;
    }

    @JsonProperty("id")
    public void setId(int id) {
        this.id = id;
    }

    @JsonProperty("name")
    public String getName() {
        return name;
    }

    @JsonProperty("name")
    public void setName(String name) {
        this.name = name;
    }

    @JsonProperty("icon")
    public String getIcon() {
        return icon;
    }

    @JsonProperty("icon")
    public void setIcon(String icon) {
        this.icon = icon;
    }

    @JsonProperty("web")
    public String getWeb() {
        return web;
    }

    @JsonProperty("web")
    public void setWeb(String web) {
        this.web = web;
    }

    @JsonProperty("ios")
    public String getIos() {
        return ios;
    }

    @JsonProperty("ios")
    public void setIos(String ios) {
        this.ios = ios;
    }

    @JsonProperty("android")
    public String getAndroid() {
        return android;
    }

    @JsonProperty("android")
    public void setAndroid(String android) {
        this.android = android;
    }
}

public class RootObject {
    private Provider[] providers;
    private Actions actions;

    @JsonProperty("providers")
    public Provider[] getProviders() {
        return providers;
    }

    @JsonProperty("providers")
    public void setProviders(Provider[] providers) {
        this.providers = providers;
    }

    @JsonProperty("actions")
    public Actions getActions() {
        return actions;
    }

    @JsonProperty("actions")
    public void setActions(Actions actions) {
        this.actions = actions;
    }
}

Как можно решить эту проблему?

Answer 1

[Орхан Гасанлы]

Timed out waiting for driver server to start.
У вас драйвер не стартовал и произошел тайм-аут. Проверьте пути к chromedriver для начала

Comments

[Вергилий Меркель]

там установлен

<dependency>
            <groupId>io.github.bonigarcia</groupId>
            <artifactId>webdrivermanager</artifactId>
            <version>3.3.0</version>
        </dependency>

который сам узнает ОС и скачивает chromedriver

[Вергилий Меркель]

Перешел на линукс, чтобы было понятнее. Там пишет chromedriver start successfull. А потом выходит ошибка что он не находит Chrome в PATH

[Орхан Гасанлы]

Вергилий Меркель, ну вот, уже стало еще понятнее. Значит, он не видит браузер хром и ему нечего стартовать. Установите хром на устройство

[Evgeny Novoselov]

Вергилий Меркель, на java есть более популярный пакет для запросов http https://github.com/square/okhttp как вариант можно попробовать воспользоваться им

[Вергилий Меркель]

Evgeny Novoselov, а что если тот сайт который я парсю строится на js?
Там же обычный jsoup не справляется, тк сайт рендерится на js.
Есть тогда другой парсер, чтобы следить за появлением новых чеков на сайте

[Орхан Гасанлы]

Вергилий Меркель, в общем-то все индивидуально. Например, если сайт строится на js, то скорее всего контент может "поставляться" в виде json файла. Можно спарсить этот json файл.

[Вергилий Меркель]

azerphoenix, какмим средствами порекомендуете получать json?)

[Орхан Гасанлы]

Вергилий Меркель, стандартными средставми java или okhttp. Изучите вкладку "Сеть" браузера и найдите внутренний апи сайта. Далее получите json, ну и распарсите его при помощи jackson || gson

[Вергилий Меркель]

azerphoenix,
Есть такой JSON
https://github.com/CptWasp/PGBonusParser/blob/mast...
вот скрин как это выглядело бы xml

вытаскиват json я научился, осталось
СДЕЛАТЬ КЛАССЫ, которые принимал бы этот json
Есть наработки, но они не работаю или возвращают null

public class Provider {
    private int id;
    private String name;
    private String icon;
    private String web;
    private String ios;
    private String android;

    @JsonProperty("id")
    public int getId() {
        return id;
    }

    @JsonProperty("id")
    public void setId(int id) {
        this.id = id;
    }

    @JsonProperty("name")
    public String getName() {
        return name;
    }

    @JsonProperty("name")
    public void setName(String name) {
        this.name = name;
    }

    @JsonProperty("icon")
    public String getIcon() {
        return icon;
    }

    @JsonProperty("icon")
    public void setIcon(String icon) {
        this.icon = icon;
    }

    @JsonProperty("web")
    public String getWeb() {
        return web;
    }

    @JsonProperty("web")
    public void setWeb(String web) {
        this.web = web;
    }

    @JsonProperty("ios")
    public String getIos() {
        return ios;
    }

    @JsonProperty("ios")
    public void setIos(String ios) {
        this.ios = ios;
    }

    @JsonProperty("android")
    public String getAndroid() {
        return android;
    }

    @JsonProperty("android")
    public void setAndroid(String android) {
        this.android = android;
    }
}

public class RootObject {
    private Provider[] providers;
    private Actions actions;

    @JsonProperty("providers")
    public Provider[] getProviders() {
        return providers;
    }

    @JsonProperty("providers")
    public void setProviders(Provider[] providers) {
        this.providers = providers;
    }

    @JsonProperty("actions")
    public Actions getActions() {
        return actions;
    }

    @JsonProperty("actions")
    public void setActions(Actions actions) {
        this.actions = actions;
    }
}

Принимаю я их вот так

URL url;
        URLConnection uc;
        StringBuilder parsedContentFromUrl = new StringBuilder();
        String urlString = "https://api.qrfinex.com/v1.1/actions";
        System.out.println("Getting content for URl : " + urlString);
        url = new URL(urlString);
        uc = url.openConnection();
        uc.connect();

        uc = url.openConnection();
        uc.addRequestProperty("User-Agent",
                "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)");


        uc.getInputStream();
        BufferedReader in = new BufferedReader(new InputStreamReader(uc.getInputStream(), "UTF-8"));
        int ch;

        while ((ch = in.read()) != -1) {
            parsedContentFromUrl.append((char) ch);
        }

        System.out.println(parsedContentFromUrl);

        Gson gson = new Gson();

// 2. JSON string to Java object

        RootObject response = gson.fromJson(String.valueOf(parsedContentFromUrl), RootObject.class);

        System.out.println(response.getActions());

[Вергилий Меркель]

azerphoenix, я вот дня 2 назад переделал полностью проект, сейчас он работает без селениума и хром драйвера. Запустил у себя на локалхосте, все работает прекрасно, залил на хероку, не работает, пишет 403 ошибка.
Я сделал ещё один вопрос на тостере Почему выходит 500 ошибка на heroku?, так как способ получения информации отличается от предыдущего, но его зачем то склеили с этим вопросом

[Орхан Гасанлы]

Вергилий Меркель,
что написано в логах-то?

[Вергилий Меркель]

azerphoenix, https://pastebin.com/77YMJj9T

[Вергилий Меркель]

azerphoenix, по видимому на хероку запрещены внешние http запросы, раз когда я перехожу на другой сайт он выдает мне

2020-08-11T13:24:09.643386+00:00 heroku[router]: at=info method=POST path="/greeting" host=lolipopi.herokuapp.com request_id=f182ba6d-5e48-4584-ba11-094ef4301759 fwd="178.205.243.66" dyno=web.1 connect=1ms service=656ms status=500 bytes=538 protocol=https
2020-08-11T13:24:09.595504+00:00 app[web.1]: 2020-08-11 13:24:09.594 ERROR 4 --- [io-33966-exec-3] o.a.c.c.C.[.[.[/].[dispatcherServlet]    : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception
2020-08-11T13:24:09.595539+00:00 app[web.1]: 
2020-08-11T13:24:09.595540+00:00 app[web.1]: java.io.IOException: Server returned HTTP response code: 403 for URL: https://api.qrfinex.com/v1.1/actions
2020-08-11T13:24:09.595542+00:00 app[web.1]: 	at sun.net.www.protocol.http.HttpURLConnection.getInputStream0(HttpURLConnection.java:1900) ~[na:1.8.0_262-heroku]
2020-08-11T13:24:09.595542+00:00 app[web.1]: 	at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1498) ~[na:1.8.0_262-heroku]

[Орхан Гасанлы]

Вергилий Меркель, может быть и так...
вот, тут вроде бы про это говорится...
https://stackoverflow.com/questions/59846209/403-a...
https://stackoverflow.com/questions/31038740/reque...
https://github.com/psf/requests/issues/1542

[Вергилий Меркель]

azerphoenix, то есть надо во вкладке api узнать request header и добавить в запрос?

[Вергилий Меркель]

azerphoenix, сделал вот так
жобавил headerы и на request и на response
тоже выходит 403 ошибка