Почему вылетает мой python скрипт?

Question

[HexUserHex]

Приветствую,
сразу хотелось бы уточнить что я не жду одного чудо ответа который сразу поможет решить данную проблему(а было бы здорово), меня интересует больше последовательность действий для дебага подобного рода ошибок, весь вывод логов/скринов итд постараюсь предоставлять оперативно.

Есть скрипт(парсер) весь код в котором покрыт Exception-ами(сделал это в надежде что пойму на каком этапе работы вылетает ошибка) который использует СУБД для сохранения результата своей работы, и который постоянно стабильно вылетает выкидывая при этом разные ошибки(пока встречал только эти три):

1 ошибка:
Segmentation fault

2 ошибка:
malloc(): corrupted top size

3 ошибка:
free(): corrupted unsorted chunks

Версия python:

Python 3.9.2

СУБД:

mysql Ver 15.1 Distrib 10.5.11-MariaDB, for debian-linux-gnu (x86_64) using EditLine wrapper

Что первым пришло в голову посмотреть(увы пусто):

ls -la /var/log/mysql/
total 0
drwxr-s--- 1 mysql adm     0 Sep 27 08:35 .
drwxr-xr-x 1 root  root 2114 Nov 14 04:16 ..

dmesg | grep -i error
grep -i error
[    1.477432] [drm:vmw_host_log [vmwgfx]] *ERROR* Failed to send host log message.
[    1.478244] [drm:vmw_host_log [vmwgfx]] *ERROR* Failed to send host log message.
[12341.367106] traps: python3[101238] general protection fault ip:заменил sp:7fda215383f0 error:0 in libc-2.31.so[7fda37268000+14b000]
[163619.052223] python3[510959]: segfault at 10 ip заменил sp 00007fae7f6a1480 error 4 in _dlib_pybind11.cpython-39-x86_64-linux-gnu.so[7fae8a6a6000+8df000]

Насколько мне удалось(это только предположение) понять ошибка вылетает из за не верной адресации памяти при работе со следующими библиотеками:

libc-2.31.so
_dlib_pybind11.cpython-39-x86_64-linux-gnu.so

Comments

[Михаил Кростелев]

ну тут же все экстрасенсы. Код сам где?

[Дмитрий Шицков]

general protection fault ip:заменил

instruction pointer заменили, а stack point - нет

[Vindicar]

SEGFAULT - это уже не косяк в скрипте, ты на какой-то баг налетел - то ли в питоне, то ли в либе для mysql...
Сама СУБД жива? Можешь к ней подцепиться другим клиентом?

[HexUserHex]

Дмитрий Шицков,
был уверен что этой мой ip v6 ))

Vindicar,
Да, база жива и нормально работает, единственное что я не совсем понял почему по дефолту mariadb не ведет логи в:
/var/log/mysql

или где их искать/включить что бы исключить хотя бы возможную проблему с СУБД.

[HexUserHex]

Включил логи в конфиге mariadb:
и обнаружил что в момент работы скрипта постоянно вылетает вот такая штука:

2021-11-20 8:44:10 2509 [Warning] Aborted connection 2509 to db: 'test' user: 'root' host: 'localhost' (Got an error reading communication packets)
2021-11-20 8:44:10 2510 [Warning] Aborted connection 2510 to db: 'test' user: 'root' host: 'localhost' (Got an error reading communication packets)
2021-11-20 8:44:10 2511 [Warning] Aborted connection 2511 to db: 'test' user: 'root' host: 'localhost' (Got an error reading communication packets)
2021-11-20 8:44:10 2512 [Warning] Aborted connection 2512 to db: 'test' user: 'root' host: 'localhost' (Got an error reading communication packets)
2021-11-20 8:44:10 2513 [Warning] Aborted connection 2513 to db: 'test' user: 'root' host: 'localhost' (Got an error reading communication packets)
2021-11-20 8:44:11 2514 [Warning] Aborted connection 2514 to db: 'test' user: 'root' host: 'localhost' (Got an error reading communication packets)

[HexUserHex]

Почитал на stackexchang при похожей проблеме вроде советуют в конфиге увеличивать значение параметра:
max_allowed_packet=256M

Что я и сделал + на данный момент мой конфиг имеет вот такой вид.

#
# These groups are read by MariaDB server.
# Use it for options that only the server (but not clients) should see
#
# See the examples of server my.cnf files in /usr/share/mysql

# this is read by the standalone daemon and embedded servers
[server]

# this is only for the mysqld standalone daemon
[mysqld]

#
# * Basic Settings
#
user                    = mysql
pid-file                = /run/mysqld/mysqld.pid
socket                  = /run/mysqld/mysqld.sock
#port                   = 3306
basedir                 = /usr
datadir                 = /var/lib/mysql
tmpdir                  = /tmp
lc-messages-dir         = /usr/share/mysql
#skip-external-locking

# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
bind-address            = 127.0.0.1

#
# * Fine Tuning
#
#key_buffer_size        = 16M
key_buffer_size         = 256M

max_allowed_packet     = 1G

#thread_stack           = 192K
thread_stack           = 10M

#thread_cache_size      = 8
thread_cache_size       = 200

# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
#myisam_recover_options = BACKUP
#max_connections        = 100
#table_cache            = 64
thread_concurrency     = 30
wait_timeout           = 620


#
# * Query Cache Configuration
#
#query_cache_limit      = 1M
query_cache_limit       = 10M

query_cache_size        = 16M

#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
general_log_file       = /var/log/mysql/mysql.log
general_log            = 1
#
# Error log - should be very few entries.
#
log_error = /var/log/mysql/error.log
#
# Enable the slow query log to see queries with especially long duration
#slow_query_log_file    = /var/log/mysql/mariadb-slow.log
#long_query_time        = 10
#log_slow_rate_limit    = 1000
#log_slow_verbosity     = query_plan
#log-queries-not-using-indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
#       other settings you may need to change.
#server-id              = 1
#log_bin                = /var/log/mysql/mysql-bin.log
expire_logs_days        = 10
#max_binlog_size        = 100M
#binlog_do_db           = include_database_name
#binlog_ignore_db       = exclude_database_name

#
# * Security Features
#
# Read the manual, too, if you want chroot!
#chroot = /var/lib/mysql/
#
# For generating SSL certificates you can use for example the GUI tool "tinyca".
#
#ssl-ca = /etc/mysql/cacert.pem
#ssl-cert = /etc/mysql/server-cert.pem
#ssl-key = /etc/mysql/server-key.pem
#
# Accept only connections using the latest and most secure TLS protocol version.
# ..when MariaDB is compiled with OpenSSL:
#ssl-cipher = TLSv1.2
# ..when MariaDB is compiled with YaSSL (default in Debian):
#ssl = on

#
# * Character sets
#
# MySQL/MariaDB default is Latin1, but in Debian we rather default to the full
# utf8 4-byte character set. See also client.cnf
#
character-set-server  = utf8mb4
collation-server      = utf8mb4_general_ci

#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!

#
# * Unix socket authentication plugin is built-in since 10.0.22-6
#
# Needed so the root database user can authenticate without a password but
# only when running as the unix root user.
#
# Also available for other users if required.
# See https://mariadb.com/kb/en/unix_socket-authentication-plugin/

# this is only for embedded server
[embedded]

# This group is only read by MariaDB servers, not by MySQL.
# If you use the same .cnf file for MySQL and MariaDB,
# you can put MariaDB-only options here
[mariadb]

# This group is only read by MariaDB-10.3 servers.
# If you use the same .cnf file for MariaDB of different versions,
# use this group for options that older servers don't understand

проводя тесты я увеличил почти все значения) но результат по-прежнему тот же ...

[HexUserHex]

Вот что я узнал, дело оказывается вовсе не в запросах, данный кусок кода кидает аналогичную ошибку(warning) в логах

ошибка:

[Warning] Aborted connection 11 to db: 'mysql' user: 'root' host: 'localhost' (Got an error reading communication packets)

#!/usr/bin/env python3

import mariadb

conn = mariadb.connect(
       host="127.0.0.1",
       user="root",
       password="password",
       port=3306,
       database="steam"
    )
    
cur = conn.cursor()

Info:

mariadb Ver 15.1 Distrib 10.3.31-MariaDB, for debian-linux-gnu (x86_64) using readline 5.2
Python 3.8.10
Linux tester-VirtualBox 5.11.0-40-generic #44~20.04.2-Ubuntu SMP Tue Oct 26 18:07:44 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

запустил wireshark в момент запуска скрипта:

Answer 1

[Andy_U]

Судя по имени so-файла, Вы, похоже используете пакет (dlib) для доступа к БД. Попробуйте спросить там. Или переходите на "официальный" коннектор.

Comments

[HexUserHex]

Не совсем, в своем скрипте я использую python модуль dlib для распознавания образов на изображениях, и дальнейшем сохранении полученной информации в БД.

[Andy_U]

HexUserHex, Опс, это, похоже, мне музыка из комментариев к вопросу навеяла, да и Вы только про работу с БД рассказали. Ну, тогда остается пытаться сконструировать минимальный воспроизводимый пример (без БД) и показать его автору библиотеки на гитхабе.