Как использовать питон в сборе и анализе данных финансисту?

Question

[Наталья]

Если финансист (бизнес аналитик) хочет собрать данные например из 1с и анализировать их, он может использовать питон? В какой части?
У меня нет образования и опыта в ИТ. Что мне нужно выучить для этих целей? Или есть какие то шаблоны запросов?

Comments

[Александр Нестеров]

Что мне нужно выучить для этих целей?

Прежде всего - название поисковых систем.
Примерено в 100% случаев ответы на подобного рода вопросы находятся по первым ссылкам в выдаче.
1.Вы пытались воспользоваться поисковиком?
2.Если да, то почему не указали в вопросе, какую информацию нашли и почему считаете, что ее недостаточно?

[Наталья]

Ваш комментарий содержит сарказм?
Я шла таким путём в поисковых системах: бизнес аналитик (экономика) что ему нужно знать кроме экономики и финансов. Получила ответ - питон и sql. Далее искала что это такое, где используется, далее нашла бесплатный вводный курс питона для новичков. Начала смотреть, мало что понимаю. В терминах теряюсь. Хотелось бы узнать есть ли в практики финансисты, ко опыт используют в своей работе язык запросов. Если да, то какой уровень знаний языка для этого необходим? Или таковых нет и в помощь им приходят просто ИТ специалисты.
Я хочу понять нужно мне углубляться в изучении языков, на каком уровне или не стоит.и в практически это не работает: финансист это финансист, программист это программист. Может мне для этого достаточно будет изучить Гугл таблицы и в тандеме с 1с мне будет достаточно данных для сбора и анализа. Интересны все мнения, даже с сарказмом!

[Александр]

Наталья, в Гугл Таблицах появилась функция LAMBDA, с помощью которой из формульщика можно превратиться в программиста. Условно, конечно, но можно.

[Наталья]

Александр спасибо!
Видела ее когда слушала про питон.
Поизучаю как она работает.)

[Александр Нестеров]

Наталья,

Ваш комментарий содержит сарказм?

Нет *. Просто как минимум есть п.2.2 правил:

2.2 Убедиться в том, что в сети Интернет, и на страницах Сервиса в частности, отсутствуют ответы на данный вопрос.

Поиск в яндексе по заголовку вопроса:

Первая же ссылка на статью на хабре с введением. Да, там чисто про анализ, про получение данных из 1С там речь не идет, но для общего понимания процесса должно хватить. К тому-же, в статье описано, какие форматы данных "пригодны" для анализа и вторым запросом можно было бы найти, как получить данные из 1С в нужном формате (в частности, CSV).
* - Ну, может отчасти. Просто, может я требую слишком многого, но потратив буквально пять минут на изучение результатов, можно задать куда более осмысленный вопрос c учетом полученной инфы.

[Наталья]

Александр, я с вами согласна!
Но в силу того что совсем ничего не понимаю в этом, я даже не знаю как в том же поисковике задать запрос чтобы получить ответ.
Но я задала его здесь ь и благодаря этому, пусть с небольшими упреками, но все же получила хоть какой то вектор куда мне двигаться дальше.
Вы же меня в целом поняли, несмотря на мой неосмысленный вопрос.
Да у меня полный раскардаш в голове на эту тему. То что я находила и как я задавала запросы меня приводили к чему то неэффективному.

[Александр Скуснов]

Вообще-то подпись Натальи (бухгалтер) и бизнес-аналитик (в вопросе) это разные возможности: первый знает 1С, второй умеет программировать.

[Наталья]

Александр Скуснов, Александр, есть бизнес аналитик в ИТ, а есть бизнес аналитик в экономике, который занимается сбором инфы, оценкой рисков, нахождение слабых мест компании, дача рекомендаций. Все эти бизнес процессы объять и проанализировать довольно сложно без автоматизации процесса. А порой донести или ждать когда у ИТ отдела руки дойдут до моей задачи - нет времени. По сложным задачам согласна, я даже лезть туда не хочу, каждый должен заниматься своим делом. Но какие-то досягаемые вещи я бы хотела понимать и уметь ими пользоваться не прибегая к помощи ИТ специалиста.

Answer 1

[mgearr]

Есть очень большой смысл использовать питон для анализа данных, но для этого желательно владеть техническим английским без словаря, потому что почти вся документация - на инглише

В само программирование не обязательно заквпываться глубоко. Синтаксис на питоне не шибко сложный, ну а математика - она и в Африке математика, почти одинаковая на компе и на бумаге

Самые популярные прибамбасы для расчётов на питоне называются pandas и SciPy. Ещё надо рисовать графики. Инструментов для рисования - вагон и маленькая тележка, но для начала можно глянуть в сторону Plotly. В самом простом варианте графики рисуются в одну строчку кода

Для чтения из 1С надо настроить читалку данных, но это, в общем, несложно, тоже, скорее всего, 1-2 строчки, причём, не меняющихся

Всё это безобразие надо где-то запускать, делать быстрые прикидки, проверять гипотезы. Специально для таких целей разработана невероятно удобная среда - Jupyter Notebook. Написал формулу и тут же увидел результат

Для начала работы, конечно, было бы неплохо, чтобы более опытные товаризчи всё это установили, настроили и показали, как ставить недостающие модули, потому что обязательно захочется дополнительных модулей. В принципе, ставится не сложнее, чем винда или линукс, но с нуля ставить всё-таки сложновато

Сами выборки и рисование, по мне, делаются проще, чем на экселе (у экселя язык запросов, по мне, совершенно инопланетянский). Пример графика численности населения из штатной документации Plotly. Я немножко упростил для наглядности и добавил комментарии:

data_canada = px.data.gapminder().query("country == 'Canada'") # выборка по Канаде
px.bar(data_canada, x='year', y='pop') # собственно рисование

В отличие от Excel, на питоне нет визуальных конструкторов запросов. Все выборки делаются ручками с клавиатуры. Зато сколько-то сложные расчёты делать в разы удобнее, чем в ёкселе. И наоборот: простые графики как раз-таки удобнее рисовать на ёкселе

Comments

[Наталья]

Спасибо огромное! Почитаю про все что вы упомянули!
Да мне очень сложно пока, потому что ни на каком уровне до сих пор не сталкивалась с языками программирования.
Но я хочу ознакомится. Если не получится мне с этим работать. Из за отсутствия понимания. То хотя бы смогу ставить задачу прогам более осознано, так как хотя бы уде буду иметь представление с чем имеет дело программист.
Спасибо!

[mgearr]

Наталья, сложных вещей тут, на мой взгляд, две штуки: компуктерный инглиш (мозги должны адаптироваться) и поиск подходящих примеров. Благо, для pandas, scipy и plotly примеров - как грязи. И документация у них превосходная

Сам питон как таковой особо учить не придётся, потому что тут он выступает просто в качестве связки расчётов и рисования. Так что, если что и учить, то математику и расчётно-рисовальные библиотеки. Там тыща миллиардов функций и в каждой функции по сто триллионов параметров. Поди найди в этой куче то, что нужно

Раньше подобные вещи делали на matlab и R, потом народ потихоньку переполз на питон, потому что он ну типа удобнее что ли, универсальнее. Бесплатный, опять же. Хотя, конечно, никто не запрещает делать на R, он тоже бесплатный и достаточно популярный. Матлаб - платный. Из платных есть ещё Stasistica, говорят, хороша

Я, когда начинал изучать всякие там анализы, первым под руку подвернулся как раз-таки R, но не понравился, а питон, наоборот, понравился. Это строго на вкус и цвет. Нельзя сказать, что питон лучше, чем эр или эр лучше питона. Они просто разные. Ещё есть очень неплохой бесплатный язык - Julia, но я до неё толком так и не добрался, питона хватает за глаза

Answer 2

[Dimonchik]

Автоматизация рутинных задач с помощью Python. практическое руководство для начинающих

Comments

[Наталья]

Да есть такая мысль и у меня.
Не поддаётся мне практически совсем область программирования.
Но это простой путь.)

[Dimonchik]

это название книги

[Наталья]

Dimonchik, спасибо

[mgearr]

Наталья, попробуйте начать с рисования графиков. Оно и несложно, и весело. Попросите местных технарей поставить вам Jupyter notebook (работает в браузере) и развлекайтесь

[Наталья]

mgearr, спасибо) попробую развлечься))

[mgearr]

Наталья, можно погуглить что-нибудь типа "plotly примеры", и там, действительно, попадаются несложные примеры. Например, такое вот кажется мне вполне подходящим для "совсем начинающих"

Если Jupyter уже установлен, то достаточно просто скопировать пример и нажать Ctrl-Enter - график нарисуется. Тамошняя статейка как раз и сделана при помощи Jupyter, видно по нумерованным ячейкам In[] и Out[]

Если сразу можно увидеть результат, то легче сохранить интерес, нежели ковыряясь две недели безрезультатно

cereals - это просто какая-то тестовая выборка по злакам. Наиграетесь со злаками, попросите своих туземцев, чтоб они сделали небольшую выгрузку из 1С, и дальше сможете играться уже на своих данных

Или можно качнуть другие тестовые наборы данных (датасеты, datasets). Гуглится, например, как "sample dataset"

Answer 3

[Griboks]

Конкретно для вас - никак, только нанять программиста.

Comments

[mgearr]

Золотые слова! Задача-то сверхсложная (скачать пример в инете и адаптировать). Самому такие вещи ну никак не осилить

[Griboks]

mgearr,

Но в силу того что совсем ничего не понимаю в этом, я даже не знаю как в том же поисковике задать запрос чтобы получить ответ.

Сначала автору придётся осилить навык поиска информации.

[mgearr]

Griboks, абсолютно не понимать чего-то - нормально, но исходный-то вопрос задан вполне чётко, а это значит, что шансы на успех достаточно неплохие

[Griboks]

mgearr, безусловно, возможно самостоятельно выучить все необходимые технологии, API или просто попросить на форуме написать куски требуемой программы. Но вот в финтехе, пока автор всё это делает, рынок уйдёт далеко вперёд, а автор, наверное, успеет сменить работу несколько раз.

[mgearr]

Griboks, да какая там ещё программа, какие апи, какие технологии? Это ж не риалтайм-3д-рендер написать. Сделать выборку из готовых данных и запихнуть в готовую формулу - это технологии? По сложности примерно как заполнять ведомость или пальцами тыкать в кнопочный калькулятор

Сложности, конечно, есть. Но не программные, а статистические и методические. Ну и дизайнерские в какой-то степени. Графики-то должны быть наглядными

[Griboks]

mgearr, вы так думаете, потому что уже знаете все необходимые технологии. Но представьте, что вы захотели создать свою собственную вакцину от короновируса и сейчас пытаетесь составить план своих исследований в свободное от основной 9-ти часовой ежедневной работы время.

[mgearr]

Griboks, если есть желание закопаться именно в программирование, то, конечно, для этого имеется всё необходимое. Но можно ведь и не закапываться. Расчёты и рисование на питоне можно делать абсолютно мартышкинcким переписыванием примеров из интернетиков. Как, собственно, и поступают физики и разные прочие генетики с астрономами. Нафиг бы им сдалось изучать наследование с полиморфизмом, других забот хватает

Програмизьм в этой сфере нужен, в основном, для оптимизации. Память там сэкономить, вычисления ускорить и т.д. Но в самом кривом и примитивном варианте всё равно ведь будет считать-рисовать. И кого колышет, что, например, памяти оно расходует 10 гигов вместо гига, а считает за 15 с вместо 150 мс. Вот как начнёт жрать терабайт и считать по 15 суток, тогда и можно начинать беспокоиться. Ну так и то, для оптимизации существуют специально обученные люди

Что сложно, так это найти нужную функцию в завалах pandas/scipy. Но к программированию это практически не имеет отношения. Гораздо больше похоже на собирание моделек из кубиков лего, что под силу даже детям 2-3 лет

[Griboks]

mgearr, зачем собирать лего? Есть ведь no code! Просто напишите им в поддержку, чтобы они добавили нужные вам блоки, а затем соедините их мышкой с блоком рисования графиков. Это ведь так тривиально, не правда ли?

[Наталья]

Ребята, спасибо вам огромное за абсолютно противоположные мнения. В каждом мнении и взгляде есть доля истины. Единственное что мне непонятно так это совет - освоить поисковую систему. Безусловно задать вопрос четко, может только человек который уже на каком-то уровне владеет информацией, опытом, умением в конкретной области. Я сразу сказала, что я очень далека от этого. И поэтому я не знаю даже что искать в поисковой строке, чтобы получить то что мне нужно. Конечно я получу рано или поздно информацию, перелопатив тонну информации которая может быть ненужной вовсе. Я не хочу придумывать велосипед. Поэтому спросила здесь сразу у опытных юзеров. Мне не нужно на пальцах разжёвывать весь объём. Мне нужно было понять в каком направлении двигаться. Нужен ли мне вообще питон. Или финансист это финансист а программист это программист и нечего лезть куда не надо. Или все же для поставленных задач мне достаточно знать в общих чертах и уметь делать элементарные (для программиста) вещи и я как финансист уже продвинусь, при этом не изучая квантовую физику и высшую математику. Конечно когда буду ходить по темам, которые мне уже озвучили здесь у меня появятся более осмысленные вопросы, которыми как раз я и смогу потестить поисковую строку браузера)

[mgearr]

Griboks, поздравляю, вы изобрели многоуровневые таблицы Excel