Каким способом посчитать частоту сигнала по нескольким сэмплам?

Question

[eegmak]

Даны сэмплы(несколько массивов с данными)
У ацп частота дискретизации больше частоты которую ожидаем получить (ориентировочно 60кгц).
Нужно узнать только частоту сигнала (функция частотомера).
Для увеличения точности имеется набор сэмплов, а не один сэмпл. Т.е. записали частоту в разные моменты времени в разные массивы сэмпл1 сэмпл2 сэмпл3 итд
Какую функцию и библиотеку вы посоветуете чтобы вычислить частоту и как за счет долговременной записи сигнала (не непрерывно, а через промежутки времени) вычислить частоту более точно?

Comments

[Алан Гибизов]

Всё это чудесно, но если нет кода python, не надо ставить тэг python.

[Николай Китаев]

Я бы пошел следующим образом.

Сначала надо попытаться аппроксимировать сэмпл гармоничной функцией. Это можно сделать разными способами. Например, тем же фильтром Калмана, у которого будет в качестве априорной модели установлена синусоида. Результат точности апроксимации тоже не сложно оценить по тому же средне-квадратичному отклонению.

Если так получится, то и измерять и считать особо ничего больше не надо. По подобранным коэфф.для апрокс. функции можно сразу посчитать частоту.

Если вы на 100% уверенны, что в сэмплах синусоида, а частота дискретизации точно в 3 раза, а лучше в 10 раз выше предполагаемой частоты гармоники сэмпла.

[eegmak]

Николай Китаев, для чего апроксимировать?

[Николай Китаев]

eegmak, это оно из решений, прием такой.

Подменяем зашумленную ревльную кривую математически правильной синусоидой, у которой уже легко и абсолютно точно можно определить период. Достоверность апроксимации тоже можно оценить точно. Помнится, что то такое нам в институте рассказывали... Единственное ограничение этого метода - сэмпл должен быть действительно синусоидальным, а не переменной частоты.

Все это легко программируется.

Это лишь один из способов решения, который мне пришел в голову, при тех условиях которые вы привели. Может вам еще какие подскажут или вас натолкнут на другие решения.

[eegmak]

Николай Китаев, разве зашумленная кривая и синусоидальный сэмпл это не одно и тоже?
В чем смысл уточнения

сэмпл должен быть действительно синусоидальным

?
Когда на ваш взгляд сэмпл перестает быть синосоидальным?

[eegmak]

Николай Китаев, вторая часть, это постоянность частоты в сэмпле.
Вопрос сложный, т.к. исходим из параметров ацп а не из параметра опорного генератора (например gps do)

Answer 1

[pfg21]

если искомый сигнал синусоидальный, то прогнать данные через преобразование фурье.
из получившихся данных взять частоту с максимальной амплитудой.

Comments

[eegmak]

А если не совсем синусоида?

[pfg21]

eegmak, значит используешь преобразования для сигнала необходимой формы :)

в простом случае частотомер может высчитывать частоту по интервалам перехода сигнала через ноль.
или по переходе сигнала через "линию" среднего значения для интервала измерения, если сигнал не симметричный.

[eegmak]

pfg21, самая близкая форма это синусоида

Т.к. это почти синусоида то сигнал можно посчитать по переходу через "0"
Как выбрать ноль для подобного рассчета будет задачей не проще изначальной

[Александр Скуснов]

Преобразование Фурье выдаёт не только гармоники, но и постоянную составляющую.

[pfg21]

eegmak, если сигнал достаточно периодичен, то достаточно посчитать интервалы между переходом "сверху-вниз" через ноль (или среднее значение) даже в случае пилообразного сигнала даст вполне близкую частоту.

[eegmak]

pfg21, пример данных изначально это синусоида

[eegmak]

pfg21, какие предложения по подсчету нуля в таком сигнале?

[Сергей П]

eegmak,
Не возитесь с подсетом перехода. Сигнал выглядит как очень шумный синус. Просто постойте спеки сигнала с помощью БПФ и посмотрите на пики. Вот в вашем примере по факту какая частота?

[eegmak]

Сергей П, это относительно хороший вариант сигнала.
По факту на источнике 67кгц чистого синуса

[pfg21]

eegmak, а хз :) два я предложил: и трудный и простой.
мпробуйте реализовать - не понравится - ищите свое :)

[Сергей П]

eegmak, Вижу на вашей картинке очень шумный сигнал с частотой 7.5 килогерц и частотой дискретизации примерно как вы указали. Просто постройте фурье-спектр вашего сигнала и увидите.
По теореме котельникова у вас тут частота дискретизации низковата для 67 кгц

[eegmak]

Сергей П, как выпосчитали 7.5 кгц?
Для такой частоты должно быть 7.5 экстремума за миллисекунду, а тут за десятую долю примерно столько.
Какой библиотекой и функцией лучше воспользоваться на питоне для фурье спектра?
Это картинка от одного массива (сэмпла со значениями) а у меня набирается количество таких массивов для избавления от шума.
Какая логика вычисления для набора сэмплов?
Среднее считать делением суммы частот на количество как мне кажется не вариант. Нужно как то агрегировать массивы в одну вычислительную функцию которую мне пока не подсказали. Про математическую функцию упомянули все а реализацию в питоне не упомянули.
Частота дискретизации 400 кгц

[pfg21]

eegmak, каждый семпл прогоняешь через фурье, набор результирующий АЧХ усредняешь - получаешь результат.

[eegmak]

pfg21, рассматриваю вариант когда один из сэмплов вообще может не получиться и тогда усреднение с этим сэмплом будет сильно уводить итог.
Поэтому предполагаю что нужно применять фурье сразу к набору массивов. Именно к набору и нельзя "склеить" массивы потому что фаза начала и конца в этих массивах точно не совпадает

[Сергей П]

Для 400 МГц слишком угловатый у вас график. Между пиками прямые отрезки. Что-то вы путаете. Или так топорно отображаете график с шагом пропуская полезные показания. Отобразите кусок сырых данных на графике без пропусков и без интеполяции, пиксель в пиксель гистограммой.
Сейчас библиотеку уже не подскажу, задача давно не актуальная для меня, а искать в гугле вы и сами можете.
Попробуйте для начала в рамках исследования найти простой онлайн инструмент и посмотреть что там со спектром.
Сэмплы записанные в разное время соединить как-то для анализа не получится. Меряйте их отдельно, близкие результаты усредняйте, а не близкие отбрасывайте. Если все семплы дают разброс хуже требуемой погрешности, значит надо менять средства измерения, или укрощать амбиции и ожидания=)

7.5кГц я увидел чисто глазами и прикинул по шкале. Присмотритесь, ваш график выглядит сумма двух сигналов: высокочастотного шума и синусоиды порядка 7.5 кГц, если я верно "спичечным коробком" к экрану прикинул=)

Сделайте скользящее среднее, чтобы погасить высокочастотный шум и посмотрите что получится. Это называется фильтрация. Или постройте фурье спектр сигнала и посмотрите какие там будут частоты.

[eegmak]

Сергей П, килогерц 400 опечатка)
Эти прямолинейности присутствуют в сыром сигнале без использования каких то параметров преобразования например усиление итд.
Т.е. это сырой сигнал
Показометры показывают на пиках фурье нужную частоту не в нужном пике, как я понял из общения с сообществом параметр сигнал/шум не в пользу сигнала
это частотное разложение для картинки выше
Это довольно хороший сэмпл в выборке. Бывает что попадаются очень четкие синусоиды но это я на глаз вижу а для питона они видятся все одинаково.
Как вы думаете есть функция которая может определить "синусоидальность" сигнала чтобы по ней фильтровать хорошие сэмплы от плохих?

[Сергей П]

А откуда такой чудовищный шум? И не понятно почему при дискретизации, якобы, в 400кГц у вас вот эти вот линейные переходы между значениями? Что-то не верится, что они есть в сырых данных. Мне кажется вы что-то путаете при отображении в виде графика.

[pfg21]

eegmak, есть алгоритмы отбрасывания неудачных экземпляров.

[eegmak]

Сергей П, откуда такой чудовищный шум- нагрев кварца ацп как минимум
А в целом не могу знать.
pfg21, неудачность экземляра определяется как сильное отклонение визуально от синусоиды а как ещё?

[eegmak]

Сергей П, можно посчитать количество точек в сэмпле и там действительно около 400 тысяч в секунду. Точнее сказать можно если измерить частоту сэмпла. Если частота сэмпла будет сильно меньше 67 кгц значит частота дискретизации вполне может быть и 300 кгц

[eegmak]

Сергей П, тонкость в том, что питон запрашивает не выборку за секунду, а количество точек. Поэтому наверное было бы верным считать время за которое эти 400к точек поступят кнам от ацп что сделать не так то просто

[eegmak]

Сергей П, вполне может быть ошибка в библиотеке. Задаешь одну частоту дискретизации а по факту другая. Недоверие какое то присутствует :)
Как будто черный ящик. Единственое в чем можно быть уверенным что частота источника сигнала 67 кгц

[Сергей П]

А что там за железка и чем измерение делается? Что-то выглядит пипец подозрительно.
Если между двумя переломами графика ровная линия, и на этой линии есть семплы с АЦП, то значит имеет место где-то линейная интеполяция. Что это за переходный процесс такой идеально линейный между показателями может быть? Так вот, эта линейная интерполяция вам всю погоду и портит, вносит дофига гармоник лишних в спектр сигнала, и, по факту, эти 400 килогерц - просто цифра где-то, а фактическая дискретизация не отличается сильно от частоты сигнала, отчего он на синусоиду вообще не похож никак. Надо разбираться со средствами и методикой измерения, а то вы ищете решение проблемы "под фонарём", а проблема, наверно, ещё в измерениях затесалась.

Знаете анекдот как один другому часа два ночью помогал ключи искать под фонарём. А потом выяснилось, что тот вообще не знает где их потерял, а под фонарём ищет потому, что в другом месте и подавно не найдёт

[eegmak]

Сергей П, средства измерения можно забыть там всё впорядке.
В библиотеке стоит цифра 400
Может вы имеете в виду глубину битности а не дискретизацию?
Сигнал сырой и занимает малую часть доступного диапазона. Он без каких либо усилений, преобразований.
Единственное вначале вырезается кусок, когда после старта всплеск по питанию идёт и данные абсолютно бесполезны. Но это вроде учитывается в разметке графика(в шкале времени в миллисекундах)

[Сергей П]

eegmak, А измеряется что? Какая физика процесса?

[eegmak]

Сергей П, я вот ищу функцию которая бы определяла насколько сэмпл является синусоидой и не нахожу

[eegmak]

Сергей П, физика работы ацп мне не особо понятна. сигнал поступает с генератора в виде переменного напряжения частотой 67 кгц

[Сергей П]

eegmak, да как вы себе представляете такую функцию?
Чтобы сравнить два вектора (а сигнал - это у нас вектор некоторой длины), нужно придумать нормирующую функцию.
К примеру, можно вычесть синус из синуса в нужной фазе, и вы получите насколько функция отличается от этого синуса в каждый момент времени. Можно проинтегрировать и получить численное значение. Но что вам это даст?

Любой сигнал - это сумма бесконечного числа синусоид разной частоты с разными коэффициентами. Частоты в ряду отличаются вдвое каждая последующая от предыдущей.
Фурье образ как раз показывает для каждой частоты какая амплитуда в этой сумме присутствует.
То есть, в каждой точке фурье-образа мы видим значение коэффициента при синусе конкретной частоты.
Что вы хотите определять близость? Интегрировать спектр за рамками какого-то участка?

[eegmak]

Сергей П, у меня же много записей одного и того же сигнала и некоторые из них визуально более похожи на синусоиду. Если бы была возможность без помощи человека выбирать сигнал который больше похож на синус то если сделать частотное разложение по фурье то будет без ошибок.
Еще недавно я не знал о существовании такого метода как бпф не исключаю что есть и метод определения формы сигнала.

[eegmak]

Сергей П, вот вы увидели "ровные палки" там где должны были быть округлые.. мб такие палки считать.. и если линейного вектора мало то значит будет меньше ошибок

[Сергей П]

eegmak, а покажите сигнал, который, по-вашему, сильно похож на синусоиду.

[eegmak]

Сергей П, он похож на синусоиду потому что я заранее знаю что это синусоида.
Сейчас посмотрел у меня идеального сэмпла не осталось..
Это нужно стенд собирать и глазами выбирать сэмплы с хорошей синусоидой.
Времени сейчас не очень много.
Вам для чего смотреть на синусоиду?
Если она идеальная то там ничего необычного вы не увидите как из гугла

[pfg21]

eegmak, если вам нужно опрделеить форму сигнала, то это сАвсем другое.
вообще оцифрованный сигнал отличается от исходного - это естественные искажения квантования непрерывного сигнала, в зависимости от типа АЦП они могут быть разными.

если сигнла заранее известно что он синусоидальный. то засовываете семпл в фурье получаете на выходе разложение сигнала на по синусоидальному спектру, точнее две таблицы АЧХ иФЧХ. если точно уверены что исходный сигнал - единичная синусоида без обертонов. берете из АЧХ частоту с максимальной амплитудой.
дальше начинаются требования, что частота дискретизации ацп должна быть более чем в два раза больше частоты сигннла, тогда можно было отделить обертона преобразования от самого сигнала.
и т.д и т.п.

если исходный сингнал не синусоида, а к примеру треугольник, пила, меандр или другие периодические фнкции, то теоритически для них возможно разложение....
память подкидывает требование ортогональность функций на которые можно разложить, дальше пустота забвения. изучай высш.мат и все будет.

[eegmak]

pfg21, вы правы во всём, кроме того, что выбирать среди набора сэмплов где наличествует плохо оцифрованная синусоида это не задача получения частоты.
Сперва нужно определить какие сэмплы хорошие чтобы потом из них получить частоту.
Нельзя по частоте определять качество сэмплов.
Поэтому нейросети вместо человеческого отбора в первой части задачи единственное решение.
Т.к. больше мне ничего не предложили для определения синусоидальности сигнала. Ведь с этого начался ваш ответ.
И как итог до меня действительно дошло что главный параметр качества сэмпла это его близость к известной форме.
Форма сигнала это то что является препятствием для правильного разложения на спектр для задачи получить из него частоту.
Напомню что отношение сигнал шум в широких пределах.
И именно параметр сигнал/шум является критерием отбора. А так как частота не может быть априори таким критерием им является форма сигнала, которая определяется "на глаз"

[eegmak]

pfg21,
Вот поясните мне свою логику
Имеется сэмпл1 с частотой по фурье 10
Сэмп2 = 20
Сэмпл3=50
Какие из этих сэмплов "хорошие" а какие "плохие" ?
Вы статистически предполагаете что хороших сэмплов больше, с правильно посчитаной частотой?

[eegmak]

pfg21, по касательной к теме идёт тот факт что формула прямой y=kx+b которая в данном увеличении видется нам как "рубленность" , "интерполяция" промежуточных значений, недостаточность частоты дискретизации:при глобальном рассмотрении может быть также синусоидой с огромной амплитудой и\или сверхнизкой частотой

[eegmak]

pfg21, подытожив сделал вывод
Что ваш ответ

если искомый сигнал синусоидальный, то прогнать данные через преобразование фурье.

Делится на две части.
Где в первой нужно определить синусоидальный ли сигнал в сэмпле

[pfg21]

eegmak, подытожив модно сделать вывод если ты не знаешь что измеряешь то намеришь неизвестно что.
если измеряемый сигнал заранее неизвестен - то все теоретические измерения разбираютсчя об енту стенку измерения в полный ноль.
информативности в них будет как в "средней температуре по больнице".
ты определись что желаешь то, а то разливаться мыслью по древу можно еще очень долго...
когда "ТЗ == ХЗ" (техническое задание == х.. знает) то и результат будет таким же.

тут вообще то система ответа на вопросы, а звездеж по теориям. иди в форумы высш.мата dsp и подобного, там найдутся люители тебя просветить.
я до сих пор так и не полня что ты желаешь выковырять из своих семплов.

[eegmak]

pfg21, так вы уже ответили на вопрос вполне точно

[eegmak]

pfg21, единственный минус это отсутствие кода.
Я конечно могу добавить в вопрос питон код какой функцией и библиотекой провожу преобразование фурье.
Но ошибок то в этом коде нет. Поэтому вопрос без тэга #python
А так вроде понятно в вопросе написано посоветовать конкретную библиотеку и функцию.
Где тут хз?

Answer 2

[Максим Припадчев]

чтобы вычислить частоту

Сначала нужно определится о природе нашей проблемы. Стохастическая, детерминистическая, стохастическая + детерминистическая. Стохастическая значит - содержит вероятность (осуществляется моделирование посредством случайных величин), детерминистическая не какой вероятности нет, ну и третье проблема содержит и то и другое.

Глянем примеры.
f(x) = 2*x+3 - детерминистическая
Normal(0,1) - стохастическая даст случайное значение из Гаусовго распределения с параметрами среднее 0 и стандартное отклонение 1.
f(x) = 2*x+3 + Normal(0,1) - это третий кейс, когда мы накладываем шум на некую функцию.

В машинном обучении мы делаем допущении что наша проблема имеет вид Y = F(X) + E.
Где X - это наши данные на вход, Y - это результат и E это определенная случайная ошибка. Мы говорим существует некая функция F которая детерминистическая и она сопоставляет данные на вход и результат. Так вот задача определить функцию и подобрать параметры которые минимизирует ошибку E.

То есть на выходе у нас не точная частота, а предсказание частоты (возможно довольно точная).
В зависимости какие методики и какими свойствами должная обладать оценочная функция это либо scikit-learn либо statsmodels либо нейронки Tensorflow + Keras.

Если идет поиск точной частоты (отсутствует вариативность в задаче) то это поиск обычных параметров функции. То есть все это должно быть представлено как система уравнений (при условии достаточности информации) и просто решено. это scipy, numpy, sympy.

Comments

[eegmak]

Не очень понятно как нейронки применить к этой задаче, но очень интересно.
В моем представлении для "обучения" нейросети нужно вручную разметить датасет. Однако, вручную посчитать какая частота в сэмплах я не умею.
А проблема одновременно детерменистическая и стохастическая.
Так как с одной стороны существует зависимость "ухода частоты" от температуры (кстати, к этому параметру нет доступа) а с другой стороны имеются искажения

[Максим Припадчев]

eegmak, То есть как я понял, у вас нет "примеров" самой частоты, есть некие данные которые вы "предполагаете" позволяют (предсказывать или даже посчитать) частоту?

[eegmak]

Максим Припадчев, есть опорный генератор по которому нужно сделать калибровку.
Известно всё. Неизвестна частота которая "видна" через призму ацп

[Максим Припадчев]

eegmak, Есть данные на вход - есть некая неизвестная детерминистическая функция со стохастической составляющей и есть результат этой функции, но наблюдений по результату этой функции у нас нет. Задача смоделировать эту функцию. Мало данных. Нужно собрать данные которые видны через призму ацп и затем это задача регресии и решать ее можно чем угодно в том числе и нейронками.

Максимум, это можно произвести дискретизацию проблемы. То есть иметь не неприрывное значение частоты, а некие группы в разумных пределах, например 10 групп или меньше. То есть сделать unsupervised learning нейронки это тоже умеют.

Но сначла я бы сделал понижение размерности, scikit-learn это хорошо умеет (dimensionality reduction до 2) и просто визуализировал бы это дело, а вдруг там будет серьезный паттерн просматриваться.

[eegmak]

пример данных

[Максим Припадчев]

eegmak,

Вот все таки мы говорим на разных языках. Я мыслю математически и пытаюсь классифицировать проблему, что бы осуществить подходящий подход к ее решению (если оно есть). Ты мыслишь, категориями специфичными для твоей области.

Ты говоришь, что проблема имеет вид.частота = F(наши данные) + E. И говоришь надо смоделировать F и ее параметры. При этом говоришь что не одного наблюдения частоты у нас нет. Задача не решаемая и никогда не будет решаемая. Если есть эти наблюдения, то это задача регрессии и решается она многими способами.

По твоим данным они мне не о чем не говорят перед нами временная последовательность. Мы можем декомпозировать ее, убрать из нее шум. Все это умеет прекрасно statsmodels а именно модуль tsa (time series analysis). https://www.statsmodels.org/stable/tsa.html. Все фильтры, трансформации, декомпозции и т.д. там есть еще и с хорошими примерами.

[eegmak]

Максим Припадчев, вы все верно вначале поняли.
частота = F(наши данные) + E.
Задача решаема многими способами.
Вы написали что нужно собрать данные которые видны через призму ацп и далее эта задача регрессии которую в том числе можно решить с помощью нейронок.
В моем понимании основная проблема не в шуме (E) а в функции ухода от частоты в зависимости от температуры (F)

[eegmak]

Максим Припадчев, как изначально указал в вопросе сэмплов с сигналом несколько. Частота сигнала по данным из сэмпла разная, источник частоты стабилен, функция F стабильна

[Максим Припадчев]

eegmak, Ну если шум минимальный, и самое главное стабильный то есть размер шума постоянный, то нейронка будет работать очень точно (при условии если собрать наблюдения частоты). В машинном обучении есть такое понятие как feature engineering (создание предикторов из сырых данных), так нейронные сети делают это за нас, и это единственный из всех алгоритмов которые это делают. Я к чему ваша функция это функция многих переменных и вы не знаете взаимотношей между ними, вы не знаете возможно из тех переменных что есть надо создать дополнительные переменные и эти дополнительные переменные послужат предикторами, так вот нейронки за счет нахождения полезных геометрических трансформаций в многомерном пространстве делают это лучше всех алгоритмов. Нейронные сети не интерпретируемы модели то есть в конце оно просто прогнозирует довольно точно но нельзя сформулировать взаимоотношение между отдельным предиктором и частотой. И когда это важно иметь возможность сформулировать взаимоотношения между отдельным предиктором и целью, то их не используют.

[eegmak]

Максим Припадчев, можно сказать есть массив частот=нашиданные
Модель остается прежней
Частота=модельацп(нашиданные)+шум

[AVI-crak]

Преобразование Фурье уже отменили?