Как создать словарь со списком машин без повторений?

Question

[DrPalmer]

Есть словарь с списком ВМ, их нужно распределить по списку nodes = {1: 0, 2: 0, 3: 0, 4: 0, 5: 0}, так что есть машина с именем aff создалась на цифре 1, то больше на 1-ом быть aff не должно. Т.е следующий aff уже будет на любой другой цифре node

import requests
import random
import json
import re

def check_language(current_hostname):
   return  ('-java-' in current_hostname or '-go-' in current_hostname)

def check_os_version(current_os):
    current_os = vm['distribution']['description']
    if re.match(r"Debian 11", vm['distribution']['description']):
        return False
    return True

def get_next_hostname(current_hostname):
    parts = current_hostname.split('-')
    index = int(parts[-1].split('.')[0])
    new_name = '{}-{}-{}.node.eu.consul'.format(parts[0], parts[1], index + 6)
    return new_name

def get_service_name(current_hostname):
    parts = current_hostname.split('-')
    service_type = '{}'.format(parts[0])
    return service_type

response = requests.get('http://127.0.0.1/asl_real.json')
asl_vms = json.loads(response.text)

vm_to_create = {}
ready_for_nodes = {}
nodes = {1: 0, 2: 0, 3: 0, 4: 0, 5: 0}

for vm in asl_vms:
    if check_language(vm['name']) and check_os_version(vm['distribution']['description']):
        fst_part = get_service_name(vm['name'])
        vm_res = {'1st_part_name:' : fst_part,'os:' : vm['distribution']['description'],'memory:' : vm['memory'],'cpu:' : vm['cpu'],'cpuNumber:' : vm['cpuNumber'],'disk:' : vm['disk']}
        for num in nodes:
            if fst_part in vm_res:
                continue
            else:
                new_vm_name = get_next_hostname(vm['name'])
                vm_to_create[new_vm_name] = vm_res
                ready_for_nodes[num] = vm_to_create

print(json.dumps(ready_for_nodes))

вывод программы: у меня сейчас пока все машины создаються на всех цифрах node, проверка по имени (чтобы пропускать повторяющиеся имена не работает)

{
  "1": {
    "aff-java-7.node.eu.consul": {
      "1st_part_name:": "aff",
      "os:": "Debian 10.1 x64",
      "memory:": 1536,
      "cpu:": 2,
      "cpuNumber:": 2,
      "disk:": 8192
    },
    "aff-java-9.node.eu.consul": {
      "1st_part_name:": "aff",
      "os:": "Debian 10.1 x64",
      "memory:": 1024,
      "cpu:": 2,
      "cpuNumber:": 2,
      "disk:": 8192
    },
    "tgbot-go-7.node.eu.consul": {
      "1st_part_name:": "tgbot",
      "os:": "Debian 10.1 x64",
      "memory:": 2048,
      "cpu:": 4,
      "cpuNumber:": 4,
      "disk:": 8192
    }
  },
"2": {
    "aff-java-7.node.eu.consul": {
      "1st_part_name:": "aff",
      "os:": "Debian 10.1 x64",
      "memory:": 1536,
      "cpu:": 2,
      "cpuNumber:": 2,
      "disk:": 8192
    },
    "aff-java-9.node.eu.consul": {
      "1st_part_name:": "aff",
      "os:": "Debian 10.1 x64",
      "memory:": 1024,
      "cpu:": 2,
      "cpuNumber:": 2,
      "disk:": 8192
    },
    "tgbot-go-7.node.eu.consul": {
      "1st_part_name:": "tgbot",
      "os:": "Debian 10.1 x64",
      "memory:": 2048,
      "cpu:": 4,
      "cpuNumber:": 4,
      "disk:": 8192
    }
  }

Comments

[DrPalmer]

Dr. Bacon, все принты я убирал для форума, да и в целом программы выводит json мне. ПО поводу режет глаза, учусь, поправлю, ок. Но это все не решение проблемы, есть мысли по поводу проблемы, с которой я обращаюсь?

[DrPalmer]

Dr. Bacon, я знаком с программированием 2 недели, код постепенно превращается из говна и палок в говно и палки с бантиком.

[PavelMos]

DrPalmer, сделать так же, как делал бы человек по алгоритму
1. смотреть текущий номер машины в цикле (номера расположены по порядку, хотя словарь, в общем случае, сам по себе не предполагает упорядочивания, и это также зависит от версии питона), например, 1
2. взять первую часть сокращенного названия текущей машины в цикле, например, aff
3. проверить, есть ли в словаре по ключу "1" элемент-вложеный словарь (он в данной схеме состоит из одного элемента), которого будет ключ (в dict.keys() будет 1 элемент, но это всё равно будет итерируемая последовательность), который начинается с этих трёх букв
то есть

re.match(r'aff', list(d1.keys())[0])  #True в случае совпадение

если будет, пропустить цикл перебора в nodes и перейти на следующий номер в нём

[DrPalmer]

PavelMos, видимо я не понимаю логику цикла, потому что, вывод все равно такой же:
на всех цифрах node, все машины

nodes = {1: 0, 2: 0, 3: 0, 4: 0, 5: 0}

for vm in asl_vms:
	if check_language(vm['name']) == True and check_os_version(vm['distribution']['description']) == True:
		fst_part = get_service_name(vm['name'])
		vm_res = {'1st_part_name:' : fst_part,'os:' : vm['distribution']['description'],'memory:' : vm['memory'],'cpu:' : vm['cpu'],'cpuNumber:' : vm['cpuNumber'],'disk:' : vm['disk']}
		for num in nodes:
			if re.match(r'aff', list(vm_res.keys())[0]):
				continue
			else:
				new_vm_name = get_next_hostname(vm['name'])
				vm_to_create[new_vm_name] = vm_res
				ready_for_nodes[num] = vm_to_create

print(json.dumps(ready_for_nodes))

[artempawww]

А почему Bы не используете f для форматирования?

[PavelMos]

DrPalmer,
еще -

fst_part = get_service_name(vm['name'])
        vm_res = {'1st_part_name:' : fst_part,'os:' : vm['distribution']['description'],'memory:' : vm['memory'],'cpu:' : vm['cpu'],'cpuNumber:' : vm['cpuNumber'],'disk:' : vm['disk']}
        for num in nodes:
            if fst_part in vm_res:

fst_part in vm_res проверяет на нахождение в ключах словаря vm_res и совпадений тут не будет.

[DrPalmer]

artempawww, подскажите, о чем речь

[DrPalmer]

PavelMos, если я делаю if re.match(r'aff', list(vm_res.keys())[0]): или if fst_part in vm_res: с любой итерацией словаря vm_res, vm_to_create, ready_for_nodes, он не тригерит continue ни в одном случае. Как в итоге правильно написать это, не понимаю...

[artempawww]

DrPalmer, да, я просто пытаюсь код разобрать. Кстати, по питоновским стандартами писать if someth == True неправильно. Надо писать if someth:

Пример форматирования с f

a = "s"
b = "g"
c = f"w{a}{b}j"

[DrPalmer]

artempawww, не знал, ок, спасибо

[PavelMos]

fst_part = get_service_name(vm['name']) 
# получили имя машины ,которое потом надо проверять по нахождению в узле с номером. 
#Идём дальше, перебираем ноды
for i in nodes : #перебираются ключи - 1,2,3...
    if first_part not in [x.split('-')[0] for x in nodes[i].keys()]: # в примере в nodes[1] 
#находится словарь, у которого в свою очередь есть ключи
# aff-java-7.node.eu.consul"  
# aff-java-9.node.eu.consul,  
# tgbot-go-7.node.eu.consul....
#Получаем список этих ключей - nodes[i].keys().  
#Далее берем из них первую часть [x.split('-')[0] for x in nodes[i].keys()].
#Далее проверка  if first_part not in [x.split('-')[0] for x in nodes[i].keys()]
        nodes[i][first_part]=vm_res #добавляет в  nodes во вложенный словарь в nodes[i] запись например 
        #{ "aff-java-7.node.eu.consul": {  "1st_part_name:": "aff",....

[DrPalmer]

DrPalmer, кстати, если сделать так if fst_part in vm_res.values():, то итерация пропуска начинает работать. он видит значения, но.... он пропускает вообще все машины и выводит пустой словарь. почему он вообще все пропустил я вроде понимаю, но как это исправить?

[PavelMos]

DrPalmer,
vm_res.values это значения словаря, то есть самого словаря первого уровня, который состоит из записей ключ:значение
1:..., 2...
В данном случае значение это вложенный словарь.
Попробуй сделать vm_res.values - выдадутся все значения по всем ключам. Значит, условия ЕСЛИ X ЕСТЬ В .... будет проводить проверку по всем записям, а не только в узле с таким-то номером.

[DrPalmer]

PavelMos,

AttributeError: 'int' object has no attribute 'keys'

и вопрос, разве там keys; не к value, мы обращаемся?

[PavelMos]

DrPalmer, тогда нужна проверка, есть ли что-то в словаре nodes на момент итерации
в первом проходе в nodes['1'], nodes['2']..... записей-вложенный словарей не будет, значит не будет и их ключей. В пока что нетронутом словаре пары 1:0, 2:0...

for i in nodes : #перебираются ключи - 1,2,3...
    if type (nodes[i]) = dict:   # если словарь уже есть
   # или другой вариант - если значение  в номере такой-то равно нулю if nodes[i]==0 тк сначало было {1:0, 2:0...
         if first_part not in [x.split('-')[0] for x in nodes[i].keys()]: # в примере в nodes[1] 
               #то вносим запись
    else: ... #раз пусто, значит, можно смело вносить запись

[DrPalmer]

PavelMos, правильно ли я понимаю, что это верная запись кода?

nodes = {1: 0, 2: 0, 3: 0, 4: 0, 5: 0}

for vm in asl_vms:
	if check_language(vm['name']) and check_os_version(vm['distribution']['description']):
		first_part = get_service_name(vm['name'])
		vm_res = {'os:' : vm['distribution']['description'],'memory:' : vm['memory'],'cpu:' : vm['cpu'],'cpuNumber:' : vm['cpuNumber'],'disk:' : vm['disk']}
		for num in nodes:
			if type (nodes[num]) is dict:
				if first_part not in [x.split('-')[0] for x in nodes[num].keys()]:
					nodes[num][first_part]=vm_res
			else:
				nodes[num][first_part]=vm_res
print(json.dumps(nodes))

потому как сейчас ошибка та же, ругается на int в node

TypeError: 'int' object does not support item assignment

[DrPalmer]

а если смещать else, то node остается пустым, я что-то потерялся уже, и не соображаю где мы vm_res обнулили так

if type (nodes[num]) is dict:
	if first_part not in [x.split('-')[0] for x in nodes[num].keys()]:
		nodes[num][first_part]=vm_res
	else:
		nodes[num][first_part]=vm_res

[PavelMos]

DrPalmer, nodes[num][first_part]=vm_res
значит нельзя так сразу добавлять
надо nodes[num]=dict(first_par:vm_res) или = {first_par:vm_res}

if type (nodes[num]) is dict:
is это не равно, а специальная вещь (а я опечатался, равно-то два раза ставится if type (nodes[i]) == dict: )
https://qna.habr.com/q/346640

if 
  if
     вносим запись
else
    вносим запись

Такая конструкция всегда будет вносить запись, значит, нужно сделать условия пропуска (перехода на следующий цикл)

[DrPalmer]

PavelMos,
по поводу is, ок, спасибо.
ошибка на этой строке:

nodes[num][first_part]=vm_res
TypeError: 'int' object does not support item assignment

[PavelMos]

DrPalmer, я выше написал - добавить в словарь ключ и значение (вложенный словарь целиком).

nodes[num]=dict(first_par:vm_res) или = {first_par:vm_res}

А обращаться уже выражением nodes[num][first_part] можно будет

[DrPalmer]

PavelMos, про логику построения понял. Но сейчас этот код, если посмотреть логи, последовательно перезаписывает сам себя и в итоге:

{
  "1": {
    "tgbot": {
      "new_name:": "tgbot-go-7.node.eu.consul",
      "os:": "Debian 10.1 x64",
      "memory:": 2048,
      "cpu:": 4,
      "cpuNumber:": 4,
      "disk:": 8192
    }
  },
  "2": {
    "tgbot": {
      "new_name:": "tgbot-go-7.node.eu.consul",
      "os:": "Debian 10.1 x64",
      "memory:": 2048,
      "cpu:": 4,
      "cpuNumber:": 4,
      "disk:": 8192
    }
  },

Есть другой вариант написания:

vm_to_create = {}
nodes = {1:0,2:0,3:0,4:0,5:0}

for vm in asl_vms:
    if check_language(vm['name']) and check_os_version(vm['distribution']['description']):
        first_part = get_service_name(vm['name'])
        new_vm_name = get_next_hostname(vm['name'])
        vm_res = {'first_part_name:' : first_part, 'os:' : vm['distribution']['description'],'memory:' : vm['memory'],'cpu:' : vm['cpu'],'cpuNumber:' : vm['cpuNumber'],'disk:' : vm['disk']}
        for num in nodes:
            if first_part not in nodes.values():
                vm_to_create[new_vm_name] = vm_res
                nodes[num] = vm_to_create
            else:
                continue
print(json.dumps(nodes))

Он работает, но возвращает весь списко машин под каждым идексом node, т.е. моя псевдо проверка: if first_part not in nodes.values(): не работает.

Суть в том, что на каждом индексе node не должно быть повторяющихся имен. Т.Е. вывод должен выглядеть так:

1 node:
aff-java-1.node.eu.consul
tgbot-go-1.node.eu.consul #tg bot не конфликтует по имени, поэтому записывается на 1 node
2 node: 
aff-java-3.node.eu.consul #он не на первом, так как там уже есть aff
3 node: 
0
4 node:
0
5 node: #3,4,5 создаются, но пустые, просто в данном случае машины кончились
0

Моя логика в данном варианте, на каждой итерации проверять, есть ли на таком-то node уже такое-то имя или нет