Как мне в Python добавить таблицу, учитывая формулу?

Question

[Dato38it]

Мне нужно найти соседство из базовых станций первой таблицы.
У меня программа выдает 2 таблицы через Pandas:

Корректирую данные из файла
 - Добавляю словарь с названиями базовых станций и координатами.
    newBs longitude  latitude
0  IR021  105.99870  52.78068
1  IR048  102.14958  53.17582
2  IR066  105.46800  54.04308
 - Добавляю таблицу из словаря.
Корректирую данные из rdb
Считываю данные из файла:  IR.kml
Корректирую данные из rdb файлов:
 - Добавляю словарь с названиями соседних базовых станций и координатами, LAC И BSC.
       oldBs longitude         latitude     BSC   LAC
0     IR055   104.278286633  52.255474988944  396402  5244
1     IR107  104.2863944009  52.284744395507  396402  5244
2     IR100  104.2058703968  52.310800749578  396402  5307
3     IR103  104.3358510877  52.219410098781  396402  5319
4     IR100  104.2639053885  52.273995078092  396402  5244
...      ...            ...              ...     ...   ...
1394  IR294  103.8349640892  52.574271985462  401257  5272
1395  IR295  105.5618886914  54.095100603944  401257  5251
1396  IR299  103.7831487935  52.420066254791  401257  5259
1397  IR290  103.8418234894   52.69637656718  401257  5272
1398  IR291  103.8440774559  52.517154218339  401257  5272

Есть формула определения расстояния: sqrt((x1-x2) * (x1-x2) + (y1-y2) * (y1-y2)). x1, y1 координаты из первой таблицы, а x2, y2 координаты из второй таблицы.
Как мне в Python добавить таблицу, которая дублирует первую таблицу, добавляет данные из второй таблицы, учитывая формулу выше.
Примерно такую таблицу пытаюсь получить:

newbs longitude1 latitude1   oldbs      longitude2        latitude2     BSC   LAC
0  IR021  105.99870  52.78068   IR055   104.278286633  52.255474988944  396402  5244
1  IR048  102.14958  53.17582   IR103  104.3358510877  52.219410098781  396402  5319
2  IR066  105.46800  54.04308   IR299  103.7831487935  52.420066254791  401257  5259

У меня получилось это реализовать через словарь. но на данный момент теперь два словаря, которые никак между собой не связаны, у меня сейчас работает через таблицу.

Comments

[GavriKos]

Если что - формула неверна. Это расстояние между точками на плоскости. А вам нужно расстояние между точками на сфере.

[Vindicar]

Для начала сформулируй, что значит "добавляет данные из второй таблицы"?
Просто подклеивает вторую таблицу в конец первой?
Или делает join, т.е. сопоставление для каждой строки первой таблицы какой-то строки из второй таблицы?
Во втором случае тебе нужно чётко сформулировать принцип подбора ("учитывая формулу" - нихрена не понятно).
А заодно ответить на вопрос, что делать со строками каждой из таблиц, для которых не нашлось пары.

[Dato38it]

Vindicar, я видимо зря написал про данные из соседства. одинаковых данных тут нету нигде. в этом и задумка по формуле отсортировать данные.

например из этого:

newbs longitudeX1 latitudeY1   oldbs       longitudeX2        latitudeY2     BSC   LAC
0     IR021  105.98790  52.78068     NaN               NaN               NaN     NaN   NaN
1     IR048  102.19558  53.17582     NaN               NaN               NaN     NaN   NaN
2     IR066  105.48000  54.04308     NaN               NaN               NaN     NaN   NaN
0        NaN         NaN        NaN  IR055   104.2578286633  52.255474988944  396402  5244
1        NaN         NaN        NaN  IR107  104.29863944009  52.284744395507  396402  5244
...      ...         ...        ...     ...               ...               ...     ...   ...
1394     NaN         NaN        NaN  IR294  103.84349640892  52.574271985462  401257  5272
1395     NaN         NaN        NaN  IR295  105.57618886914  54.095100603944  401257  5251
1396     NaN         NaN        NaN  IR299  103.77831487935  52.420066254791  401257  5259
1397     NaN         NaN        NaN  IR290  103.82418234894   52.09637656718  401257  5272
1398     NaN         NaN        NaN  IR291  103.85440774559  52.517154218339  401257  5272

получить это:

newbs longitudeX1 latitudeY1   oldbs      longitudeX2       latitudeY2     BSC   LAC
0     IR021  105.98790  52.78068     IR055   104.2578286633  52.255474988944  396402  5244
1     IR048  102.19558  53.17582     IR299  103.77831487935  52.420066254791  401257  5259
2     IR066  105.48000  54.04308     IR290  103.82418234894   52.09637656718  401257  5272

[Vindicar]

Dato38it, ты не ответил на мой вопрос.
Вот почему строка IR021 из первой таблицы сопоставлена именно строке IR055 из второй?
Просто потому что это первая строка и там и там?

[Dato38it]

Vindicar, это для примера. как раз по формуле он и вычитает. допустим IR021 находит ближашего соседа IR055 по формуле.

[Vindicar]

Dato38it, вот. Т.е. ты делаешь join, а условие - ближайший сосед.
Тут я повторю рекомендацию из ответов. Используй специализированные либы для работы с геоданными.
Причина очень простая: один градус долготы имеет разную длину в километрах в зависимости от широты. Так что наивное евклидово расстояние тут не стоит использовать.

[Dato38it]

Vindicar, loin с какой иаблицей?

Answer 1

[Максим Припадчев]

Совершенно непонятно формулируешь вопрос.

1. Кого считать соседями? Если пункт А находится в радиусе или на расстоянии R от пункта B, то они соседи.

2. Земля не плоская, твоя формула евклидовой дистанции при чем здесь? для расчета дистанций есть другие специальные формулы.

3.

Как мне в Python добавить таблицу, которая дублирует первую таблицу, добавляет данные из второй таблицы, учитывая формулу выше.

Реляционные операции они происходят на основе ключа или ключей. На основании чего ты тут собрался собирать. Ты можешь найти потенциально соседей для любой взятой точки. Возникает вопрос а зачем тогда вообще две таблицы их можно просто слить в одну. Возможно связь есть, а ты о ней не рассказал.

4. По итогу из того что есть задача видится как нахождения соседей для каждой точки датасета. Я бы брут форсем, такое не решал, а использовал бы базы с approximate nearest neighbor. Построить индексы O(n log(n)), запросы O(log(n) ), ну и вся задача для каждой точки датасета O(n log(n)).

5. Используй подходящие базы ну или хотя бы geopandas. В этих случаях все инструменты уже есть.

Comments

[Dato38it]

я видимо зря написал про соседей. мне просто из таблицы можно вывести данные?

[Максим Припадчев]

Dato38it, ключ какой, или условие какое?
строки из таблицы А по какому принципу совмещаются со строками из таблицы Б?

[Dato38it]

Максим Припадчев, вот таким образом соединил таблицы:

newbs longitudeX1 latitudeY1   oldbs       longitudeX2        latitudeY2     BSC   LAC
0     IR021  105.98790  52.78068     NaN               NaN               NaN     NaN   NaN
1     IR048  102.19558  53.17582     NaN               NaN               NaN     NaN   NaN
2     IR066  105.48000  54.04308     NaN               NaN               NaN     NaN   NaN
0        NaN         NaN        NaN  IR055   104.2578286633  52.255474988944  396402  5244
1        NaN         NaN        NaN  IR107  104.29863944009  52.284744395507  396402  5244
...      ...         ...        ...     ...               ...               ...     ...   ...
1394     NaN         NaN        NaN  IR294  103.84349640892  52.574271985462  401257  5272
1395     NaN         NaN        NaN  IR295  105.57618886914  54.095100603944  401257  5251
1396     NaN         NaN        NaN  IR299  103.77831487935  52.420066254791  401257  5259
1397     NaN         NaN        NaN  IR290  103.82418234894   52.09637656718  401257  5272
1398     NaN         NaN        NaN  IR291  103.85440774559  52.517154218339  401257  5272

Но вопрос, как мне из той таблицы получить это:

newbs longitude1 latitude1   oldbs      longitude2        latitude2     BSC   LAC
0  IR021  105.99870  52.78068   IR055   104.278286633  52.255474988944  396402  5244
1  IR048  102.14958  53.17582   IR103  104.3358510877  52.219410098781  396402  5319
2  IR066  105.46800  54.04308   IR299  103.7831487935  52.420066254791  401257  5259

[Максим Припадчев]

Dato38it, Ну если у тебя две таблицы, одинаковой формы. Нет никакого принципа. либо простая конкатенация, pd.concat([df1,df,2],axis=1), либо можешь свжойнить по индексу df1.join(df2), по умолчаниию будут все индексы из df1, если только пересекающееся индексы то how='inner'. Если нужгы предварительные фильтры то используешь loc. Если есть колонки с одинаковыми именами то задаешь параметр lsuffix, rsuffix, какой суффикс добавить к левой и правой.

[Dato38it]

Максим Припадчев, в том то и дело что тут нету одинаковых данных. Конкатинацией я уже соединил в одну таблицу... нужно только посчитать. По формуле я пытаюсь координаты например для IR021 вычислить расстояние со координатами из IR055,IR107, ..., IR291, аналогично для координат IR048 с координатами из IR055,IR107, ..., IR291 и так далее в третьем. И потом уже в столбец написать резльуиат наимешьих данных IR021, IR291, IR048

[Максим Припадчев]

Dato38it, ладно проехали не услышал ты меня.
Когда мы осуществляем операции соедения двух таблиц, нам нужен принцип.
например таблица А имеет две колонки А1, А2 мы рассмтриваем строку 0 (первую)
Таблица Б имеет колоки Б3, Б4 что бы нам в результате иметь таблицу.
A1, A2, Б3, Б4 мы должны определить принцип какие строки подтягивать, если я раасматриваю таблицу А и ее первую строку, какую строку из таблицы Б мне подтянуть. Если принцип отсутвует вообщето это один и тот же набор данных их просто сливают в одну таблицу то есть конечное количество строк стоновится n1 + n2. при этом предварительно переименовав колонки что бы их имена совпали.

Если прицнип формирования есть то используют реляционные операции. Но нужно знать принцип, где инлескы равны, где колонка А1 = B1 или любая другая, где какое то условие истинно и т.д.

[Dato38it]

Максим Припадчев, Видимо я не понимаю. а если таблица одна:

newbs longitudeX1 latitudeY1   oldbs       longitudeX2        latitudeY2     BSC   LAC
0     IR021  105.98790  52.78068     NaN               NaN               NaN     NaN   NaN
1     IR048  102.19558  53.17582     NaN               NaN               NaN     NaN   NaN
2     IR066  105.48000  54.04308     NaN               NaN               NaN     NaN   NaN
0        NaN         NaN        NaN  IR055   104.2578286633  52.255474988944  396402  5244
1        NaN         NaN        NaN  IR107  104.29863944009  52.284744395507  396402  5244
...      ...         ...        ...     ...               ...               ...     ...   ...
1394     NaN         NaN        NaN  IR294  103.84349640892  52.574271985462  401257  5272
1395     NaN         NaN        NaN  IR295  105.57618886914  54.095100603944  401257  5251
1396     NaN         NaN        NaN  IR299  103.77831487935  52.420066254791  401257  5259
1397     NaN         NaN        NaN  IR290  103.82418234894   52.09637656718  401257  5272
1398     NaN         NaN        NaN  IR291  103.85440774559  52.517154218339  401257  5272

тут все в одной таблице. здесь есть такая возможность добавить столбец, по формуле считать как я писал?

[Максим Припадчев]

Dato38it,
Каким образом нет никаких гарантий что совмещение строк прошло правильно.
1. Какое количество строк в первой таблице и во второй таблице?
2. Что это за таблицы. В плане что заданные там?