Прореживатель данных с логгеров

В последнее время при осуществлении опытно-фильтрационных работ для замера уровней (или еще каких параметров — минерализации, к примеру) в скважинах все чаще используются т.н. логгеры. Производят их много кто, вроде бы даже есть отечественные производители, но у меня есть опыт работы только с устройствами от фирмы Solinst. Не буду цитировать рекламные буклеты, просто скажу, что штука это невероятно удобная, настоятельно рекомендую попробовать — потом за уши не оттащишь. Стоят они однако весьма негуманных денег.

Однако у этих устройств кроме цены есть еще один недостаток, хотя и весьма условный: по-умолчанию замеры там сохраняются с постоянным шагом по времени, который хоть и задается в настройках, но при ОФР, очевидно, специалистами выставляется не очень большим. Как следствие на выходе мы получаем огромный CSV файл с кучей замеров с шагом в 5-10 секунд на протяжении 2-3-10 суток. Очевидно, что уже к концу первого часа такая частота замеров становится избыточной, особенно если возникнет необходимость в оформлении журнала откачки. 

Хочу поделиться своим инструментом для прореживания данных с логгера. Надеюсь, никому не потребуется инструкция к применению — там все предельно просто: вставляем исходные данные во вкладку Input, выставляем настройки во вкладке Options, копируем прореженный результат из вкладки Output.

Убедительная просьба: не надо присылать мне запросы на разрешение редактирования документа — все-равно не дам. Либо сделайте копию на свой Drive, либо сохраните в виде XLS на локальный диск. Все это можно сделать через меню File.

Расчет количества блоков модели

Сначала о грустном: ввиду претензий правообладателей пришлось удалить рубрику «Книжная полка гидрогеолога». Жалко конечно, но ничего не поделаешь.
Дабы подсластить пилюлю хочу поделиться одним расчетом, который будет полезен при обосновании смет на моделирование. В последнее время, в экспертизе довольно остро встал вопрос обоснованности размеров модели, размеров блоков и их количества. К счастью, в СП 250.1325800.2016 есть конкретные (ну не совсем уж конкретные, но хоть что-то) указания, какие надо брать величины.
По ссылке можно скачать Расчет количества блоков геофильтрационной модели согласно рекомендациям СП 250.1325800.2016. Документ открыт только для чтения, поэтому для ввода своих значений вам надо либо его скачать на локальный диск (если сохраните в формате Excel, то надо будет поиском и заменой заменить в документе pow на power), либо сохранить на свой персональный Google Drive. Но можно оставлять комментарии, особенно если обнаружились ошибки. Для сметного расчета я использовал такие значения параметров, дабы цена получалась наименьшая (но можно ввести любые, только будьте готовы к проблемам с их обоснованием в сметной экспертизе).

Учитесь программировать

На днях привалило мне «счастье» - 100 с гаком гигабайтов базы данных. Очень важных и очень интересных. Однако сразу всплыло несколько "но":

1. База создана в Borland Interbase 7.5.
2. Сами важные данные хранятся в виде BLOB-записей в графическом формате.

Сначала пришлось изрядно повозиться только для того, чтоб просто открыть базу, т.к. общедоступный Firebird этого формата не понимает. Потом выяснилось, что ни одна из популярных программ для работы с базами Interbase не умеет в пакетном режиме выуживать из оттуда BLOB-записи и сохранять их в виде файлов. Задача еще усложнялась тем, что мало выудить файл, надо еще его сохранить под правильным именем, которое хранится в отдельном столбце в таблице.
Делать нечего, пришлось экспортировать базу в формат SQLite. В принципе, на этом можно было бы и остановиться, SQLite вполне себе общеупотребимый и удобный формат, но опять проблемы:

1. BLOB-записи из Interbase почему-то сконвертировались в HEX-строки SQLite (хотя тоже в формате BLOB). Т.е. из бинарного вида они превратились в ASCII: "04В458A4C1...". Т.е. напрямую с этими данными работать не получится — придется извлекать, конвертировать в бинарный вид и уже после этого открывать в графическом редакторе. Либо, как вариант, можно пройтись по базе и перекодировать данные.
2. Сама идея хранить файлы в базе данных мне кажется сугубо порочной. Для файлов уже создана отличная база данных и называется она — файловая система.
3. Программы, которые я подобрал для извлечения BLOB-записей из SQLite, отлично работают на маленьких базах, но на больших либо денег просят, либо падают от недостатка памяти при экспорте >1000-й строки (а всего там их около 80 тысяч), а часто и то и другое.

Помог скрипт sqlite-blob-dumper.py. Пришлось его немного модифицировать (о слава тем далеким годам, когда я занимался программированием), чтобы имена экспортируемых файлов брались из базы, а не генерировались на основе номера строки, названия базы и столбца с данными и все заработало. Причем довольно быстро и без проблем с памятью.
Скрипт уже выгрузил 80% базы, когда я понял, что могу сэкономить еще одну итерацию: ведь файлы сохранялись все в том же HEX-виде и для перекодирования в бинарный вид я собирался использовать отдельную программу xxd.exe — хорошую, но медленную под Windows. Тормознул скрипт, модифицировал, добавив в него функцию перекодирования. Теперь файлы сразу сохраняются в нужном бинарном виде — существенная экономия времени и дискового пространства.

P.S.: Для особо прозорливых, кто догадался, что это за база: извините, не моё — не дам.

Решение обратных задач с помощью Visual Modflow

На днях со мной связался автор одной очень любопытной программы, предназначенной для автоматизации решения обратной задачи геофильтрации с помощью Visual Modflow. С любезного согласия автора я выложил саму программу и её описание у себя на соответствующей странице (она всегда доступна в меню справа).

От себя добавлю, что лично мне кажется такой подход к решению ОЗ не отличается «физичностью» результата. Да, в результате получается очень похожая на фактическую модельная карта гидроизогипс, но это крайне редко бывает самоцелью. Считать какие-либо прогнозы на такой модели следует крайне осторожно. Тем не менее, в качестве первого приближения к решению обратной задачи такой подход имеет все права на существование.

Сертификат для Modflow дубль два

К моей давнишней записи появилось существенное дополнение.
На сайте сертификационного центра выложен список сертифицированных программ: csert.ru/list.php. Вот цитата из него:

Обозначение программной продукции	Название программной продукции	№ сертификата соответствия и срок его действия.	Нормативные документы, на соответствие которым выдан сертификат соответствия
Подкласс 2.41. Защита от опасных геофизических воздействий.
Программа PMWIN. Версия 5.3	Геофильтрационные и геомиграционные расчеты на основе численных методов конечных элементов.	РОСС RU.СП15.Н00551 (28.11.2012 – 27.11.2014)	СНиП 2.04.02-84*, СНиП 22-02-2003, СП 116.13330.2012 (СНиП 22-02-2003), СНиП 2.06.15-85

Таким образом, у одной из версий PMWIN (древней, но к счастью бесплатной) таки есть сертификат. Осталось раздобыть где-нибудь его копию, дабы от экспертов отвязаться раз и навсегда. Хотя бы по этому вопросу.

Ссылки

Groundwater Science Textbook. Еще один вариант обработки откачек с помощью Excel.
EPA on-line tools for deliniating plumes and site assessment. Замечательная подборка онлайновых (даже так!) модулей с миграционными расчетами:

Formulas:

• Hydraulic Gradient
• Vertical Gradient
• Moisture Content
• Solubility, Vapor Pressure, Henry’s Constants for petroleum hydrocarbons estimated from the SPARC Performs Automated Reasoning in Chemistry
• Henry’s Law Constants for a variety of chemical types
• Retardation Factor
• Estimated Longitudinal Dispersivity
• Estimated Diffusion Coefficients
• Darcy’s Law 
• Seepage Velocity
• Effective Solubilities 
• Temperature-Dependent Effective Solubility
• Mass Distribution 

Models

• Plume Diving
• Borehole Concentration Averaging
• Steady State Plume Length
• One-Dimensional Transport from a Continuing or Pulse Source
• Concentration Uncertainty Calculator
• Domenico Steady-State, Centerline Model
• Domenico Unsteady Three-dimensional Model

Русско-английский гидрогеоэкологический словарь

Тут у меня недавно спрашивали, где достать упомянутый мною гидргеологический англо-русский словарь. Я в ответ написал, что про существование такого не слышал. Однако, добрые люди указали мне на оплошность и прислали таки русско-английский гидрогеоэкологический словарь. Не англо-русский, конечно, но всяко лучше, чем ничего. Он немного неудобен в использовании — там все внутренние ссылки ведут на внешний сервер, который сейчас недоступен, я в ближайшее время это исправлю, а пока качайте как есть.

Сертификат соответствия для Modflow

Есть у наших доблестных экспертов и представителей СРО такой пунктик: требовать от гидрогеологов сертификат соответствия и лицензию на расчетные программы. Вообще, согласно нашему законодательству, сертификация программных средств является добровольной и экспертам рекомендовано интересоваться наличием этих самых сертификатов соответствия. Насколько я помню, из всей массы программ для геофильтрационного моделирования сертификат есть только у Geolink ModTech, да и то не факт, что он до сих пор действителен. Modflow, являясь некоммерческой разработкой Геологической Службы США, такой сертификации не проходил. Кроме того, почему-то сертифицируют у нас не сам расчетный модуль (что было бы логично), а т.н. пре- и постпроцессоры. Вот, две полезные ссылки по теме:

1. http://csert.ru/doc/r3.htm
2. http://csert.ru/doc/letter.htm

Так что же делать, если эксперт требует этот несчастный сертификат. Первым делом — насторожиться, поскольку по моему личному опыту такой вопрос чаще всего возникает в случаях, когда эксперту поручено «зарезать» отчет. В качестве отписки могу лишь посоветовать отправить эксперту нижеследующий текст — иногда срабатывает. А вот что делать, если в уставе СРО прописано обязательное использование исключительно сертифицированных программных средств, я не знаю.

Справка об используемых программных средствах

В настоящее время наиболее разработанными и широко используемыми во всем мире для решения задач связанных с моделированием движения подземных вод являются программа MODFLOW и связанные с ней программы MODPATH, MT3DMS,PEST и некоторые другие. Начало разработки этого пакета программ положено более 20 лет и в настоящее время он является наиболее оттестированным и надежным. MODFLOW и связанные с ней программы фактически являются мировым стандартом для решения задач фильтрации и массопереноса. Большая часть задач, связанных с поземной гидросферой, решается на основе использования этих моделей. При порождении международных экспертиз часто требованием экспертов является именно использование этих программ.
В США MT3D и MODFLOW рекомендуются к использованию Агентством окружающей среды и Геологической службой. На сайтах этих организаций представлены тестовые примеры, подтверждающие правильность результатов расчетов, выполненных с помощью MODFLOW и связанных с ней программ.
Согласно Федеральному закону от 27 декабря 2002 г. N 184-ФЗ «О техническом регулировании»: сертификация делится на обязательную и добровольную. Программные средства для гидрогеологических расчетов не включены «Перечень продукции, подлежащей обязательной сертификации». Таким образом, сертификация таких программ является добровольной.
В России MODFLOW и связанные с ней программы широко применяются в таких уважаемых организациях как: ГИДЭК, МГУ, СПГУ, НИИ ВОДГЕО, Гидропроект и многих других. Для подготовки данных и визуализации результатов расчетов при использовании MODFLOW и связанных с ней программ в нашей организации используется следующее программное обеспечение:

• PMWIN 5.1 — распространяется бесплатно.
• ModelMuse 2.13.0.0 — распространяется бесплатно.

Что же касается лицензий на дорогостоящие программные комплексы типа PMWIN 8.0, Visual MODFLOW, GMS и т.п., то все что я могу посоветовать — это купить их. Других вариантов у меня нет.

Важное дополнение! На сайте сертификационного центра выложен список сертифицированных программ: http://csert.ru/list.php. Вот цитата из него:

Обозначение программной продукции	Название программной продукции	№ сертификата соответствия и срок его действия.	Нормативные документы, на соответствие которым выдан сертификат соответствия
Подкласс 2.41. Защита от опасных геофизических воздействий.
Программа PMWIN. Версия 5.3	Геофильтрационные и геомиграционные расчеты на основе численных методов конечных элементов.	РОСС RU.СП15.Н00551 (28.11.2012 – 27.11.2014)	СНиП 2.04.02-84*, СНиП 22-02-2003, СП 116.13330.2012 (СНиП 22-02-2003), СНиП 2.06.15-85

Таким образом, у одной из версий PMWIN (древней, но к счастью бесплатной) таки есть сертификат. Осталось раздобыть где-нибудь его копию, дабы от экспертов отвязаться раз и навсегда.

Excel для гидрогеологов

Наткнулся на еще одну очень интересную подборку полезных для гидрогеолога табличек в Excel. Что характерно: опять американцы и опять USGS. А остальным должно быть стыдно, да.
Кстати, вот еще одна интересная программа (это даже не программа, а большой такой макрос для MS Office Access), предназначенная для оптимизации расположения наблюдательных скважин при мониторинге распространения загрязнения — MAROS. Бесплатная, если не врут.

The Monitoring and Remediation Optimization System (MAROS) software has been developed by GSI and UH for the Air Force Center for Environmental Excellence (AFCEE) in accordance with the AFCEE Long-Term Monitoring Optimization guide. The software provides site managers with a strategy for formulating appropriate long-term groundwater monitoring programs that can be implemented at lower costs. MAROS is a decision support tool based on statistical methods applied to site-specific data that accounts for relevant current and historical site data as well as hydrogeologic factors (e.g. seepage velocity) and the location of potential receptors (e.g., wells, discharge points, or property boundaries). Based on this site-specific information the software suggests an optimization plan for the current monitoring system in order to efficiently achieve the termination of the monitoring program. This public domain software was developed for the Air Force Center for Environmental Excellence through a Broad Agency Announcement (BAA) contract with GSI Environmental Inc. Inc. of Houston, TX and the University of Houston. MAROS is programmed in Microsoft Access.

Обработка откачки-восстановления из одиночной скважины по схеме Тейса-Джейкоба

Вот, как и обещал, добавил обработку данных откачки-восстановления с использованием схемы Тейса-Джейкоба (однородный изолированный неограниченный пласт).
Скачать можно тут: pump_Theis_Jacob.7z

Мой метод не лишен недостатков, основным из которых является, что он дает большую ошибку, если среди исходных данных присутствуют сильно выпадающие из общего ряда значения. Их следует предварительно убрать из рассмотрения. Этот недостаток является прямым следствием достоинства этого метода — он почти полностью автоматический — от специалиста требуется только внести исходные данные и явно задать начало и конец линейного участка на графике S(lg t). Заодно мне удалось избежать классической ошибки, когда расчет углового коэффициента делается по фактическим данным из журнала откачки, а не из уравнения прямой, аппроксимирующей линейный участок графика.

Шаблон журнала откачки

Вот, решил поделиться «наработкой». Простая табличка в формате MS Excel. Без каких-либо расчетов (есть мыслишка адаптировать мериканские таблицы обработки откачек для наших реалий), а пока только шаблон для заполнения «в полях». Вроде удобно, сам проверял. pumping.7z

Таблички для обработки и анализа откачек

Spreadsheets for the Analysis of Aquifer-Test and Slug-Test Data. И как я их раньше не замечал. Настоятельно рекомендую почитать сперва FAQ — сразу отвалится куча глупых вопросов.

Несколько интересных ссылок

A groundwater model is a hypothesis; A hypothesis can be disproved by never proven. Как-раз то, что я всегда ощущал на уровне понимания, но так и не додумался сформулировать. Геофильтрационная модель - не истина в последней инстанции, а всего-лишь предположение ее создателя о том, как все там под землей устроено. И это предположение нельзя доказать - только опровергнуть.

“The word model has so many meanings and is so overused that it is sometimes difficult to know what one is referring to. For this discussion, we define a model as a representation of a real system or process…We define a conceptual model as a hypothesis for how a system or process operates. The idea can be expressed quantitatively as a mathematical model.”

Sharing MODFLOW Models on ArcGIS Online. Что творят, черти. Кажется, действительно пора изучать ArcGIS. А то я со своей мапинфой совсем от жизни отстану.

Groundwater simulation models are mathematical models that help us understand and predict how water behaves in subsurface aquifers. Groundwater models, such as MODFLOW, are commonly used in the industry to predict different aspects of groundwater management including water availability, effects of pumping, contaminant transport, and more.

One of the challenges facing organizations is the communication of information regarding groundwater systems from professional modelers to others within the organization or to the public. Usually, visualization of groundwater models is achieved with specialized software packages. The model input and output files are a set of text or binary files that are difficult to interpret and map without specialized tools.

The workflow presented enables organizations to quickly create maps and GIS layers of MODFLOW models and to publish those on ArcGIS Online. By posting on ArcGIS Online you can share MODFLOW inputs and outputs with anyone within your organization, or share the model results with the public.

Несколько полезняшек для гидрогеолога

Carlos Molano опубликовал на своем сайте несколько полезных таблиц с гидрогеологическими расчетами:

1D analytical transient flow in confined aquifers
Automatic fit for pump test data to the Theis equation
Capture type curves for wells Hantush leaky aquifer test analysis
Inverse particle tracking
Neuman unconfined aquifer test analysis
Piper diagram
Superposition Thiem well field
The Theis test for confined aquifers
The Theis fit for variable pumping rates
The Theis-Jacob Test

Автоматическое составление формулы Курлова

Это не совсем программа - просто экселевская табличка, но думаю будет полезна коллегам и студентам.
Я ее заблокировал от редактирования, но без пароля, так что если кто-то захочет что-то под себя подправить, то ничего взламывать не надо.
При редактировании обратите внимание, что часть строк скрыта - там и ведутся все расчеты, я их убрал, чтоб глаза не мозолили.

Скачать можно по ссылке:
http://narod.ru/disk/10190350001/kurlov_0.2.xlsx.html либо Google Docs (Меню File/Download as/Microsoft Excel(.xlsx)).

"Программа" распространяется по лицензии GPL.


Инструкция по применению: вбиваете значения в оранжевенькие ячейки, получаете формулу Курлова в зелененьких (там получается сокращенный вариант формулы - только состав и минерализация, если надо что-то еще добавить, а сами не можете - пишите, я сделаю).
Вопросы, дополнения и исправления крайне приветствуются.

В версии 0.2:

• Убрал глюк с пустыми скобочками.
• Пока не придумал, что делать если % мг-экв какого-либо компонента полностью до тысячного знака после запятой равны % мг-экв другого. Изящно решить не получается, а городить трехэтажные вложенные проверки не хочется. 

Оригинал этого сообщения был опубликован мною на форуме Все о геологии.