Все любят Одувана

• 04Feb

  4 js строчки счастья

  Django View Comments

  Мы продолжаем дарить добро.

  1. django.jQuery(function(){
  2.     $('body').append('<iframe name="fast_save" width="1" height="1"></iframe>');
  3.     $('.submit-row').append('<input class="fast_save" type="button" value="Fast save">');
  4.     $('.submit-row .fast_save').click(function(){
  5.         $('#task_form').attr('target','fast_save').submit().removeAttr('target');
  6.     })
  7. })

  А от какого гемороя избавляют эти красавцы – догодайтесь сами. Обязательно курить вместе со “4мя css строчками счастья”

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]

  Tags: django, django-admin, JavaScript, JQuery, Python

• 03Feb

  4 css срочки к Django-Admin и и жизнь налаживается

  Django View Comments

  Меня за….ло скролить длинные админки туда-сюда ради сабмита и вот

  1. .submit-row{
  2.     position: fixed;
  3.     z-index: 100;
  4.     left: 220px;
  5.     top: 0;
  6. }

  

  И панель наконецто просто начинает за вами кататься

  

  А чем ты занимаешься в свой выходной?

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]

  Tags: admin, django, Python

• 14Aug

  DneprPy #0 – понеслась!!!

  Python View Comments

  Ура. Мы всетаки раскачались на полноценный Event и не без помощи наших друзей из Харькова и Киева.

  Формат city.py – доклады, прерываемые дебошем и кофебрейками.

  Наш официальный сайт dneprpy.org.ua

  Мы в соц. сетях – FaceBook, Twitter, Google+

  Хотелось бы встретися со старыми друзьями, которых давно не видел. А также познакомится с новыми. Незабываем регистрироваться.

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]
• 29Jul

  Dnepr.py – начнем?

  Python View Comments

  
  Вся вы знаете, что PyCon Ukraine неудержимо приближается к нам. И для всего украинского python сообщества это чуть ли не самое ожидаемое событие. И это не только возможность услышать доклады питон-гуру, которых, благодаря организаторам, съезжается очень много и из разных точек мира ( В прошлом году uapycon шел в 2х залах одновременно и 2 дня под ряд ) . Но еще и это возможность встрериться с теми, с кем вы общались в чатах, форумах, твитерах. Встретится с теми, кто оценивал ваши вырвимозг идеи и давал ценные советы. И наконец-то поболтать в живую с ними за чашечкой чего-нибудь вкусного

  Перед самим PyCon по Украине проходит волна city.py. Donetsk.py организатор CNC, Odessa.py организатор Mikhail Kashkin, kharkiv.py организатор Ivan Kolodyazhny и kyiv.py организовывается Volodymyr Hotsyk. На все из них можете попасть и вы, и участие в них абсолютно бесплатно. Да и те из вас, кто захочет выступить на PyCon – может быть отличной практикой сделать это сначала на одно из city.py

  Меня давно не покидает мысль – что Днепр тоже не хуже. И вообще не понятно, почему днепровcкие питонщики до сих пор не собрались на пивко.

  Многие из нас делаю что-то необычное – самое время об этом рассказать! Или открыли для себя что-то новое – поделитесь, возможно вас отговорят это использовать

  Я знаю довольно много питонщиков-земляков, но с еще большими хотел бы познакомится.

  Что скажите народ? Есть кому что рассказать? Поделится опытом? Идеями? Может кто-то хочет попробовать себя в роли докладчика впервые?

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]

  Tags: dneprpy

• 13Oct

  Python. Json. Как не сериализировать уже сериализированое

  Python, tips View Comments

  Бомбезное название придумал!

  Проблема. У меня в таблице в 2х полях лежить жсон. А в ответ на запрос пользователю я должен вернуть другой дсон, некоторыми ключами которого будут жсоны из наших полей.

  Решение в лоп – загрузится с этих полей данные и использовать их в формировании жсона. Но получается дурная работа

  1. return json.dumps({
  2.     'user_id':request.user.id
  3.     'user_data':request.user.data(),
  4.     'info_1':json.loads(model_obj.info1),
  5.     'info_2':json.loads(model_obj.info2)
  6. })

  тут получается мы гоняем данные из жсона и обратно в холостую. Я тут наклепал небольшой модулик с использованием json чтоб этого не делать

  1. import json
  2. loads = json.loads
  3.  
  4. class JSONotEncode(object):
  5.     def __init__(self,data):
  6.         self.str = data
  7.  
  8. def simple(data):
  9.     return JSONotEncode(data)
  10.  
  11. class JSONEncoderSimple(json.JSONEncoder):
  12.     def _iterencode(self,obj,*args,**kwargs):
  13.         if isinstance(obj, JSONotEncode):
  14.             return obj.str
  15.         return json.JSONEncoder._iterencode(self,obj,*args,**kwargs)
  16.  
  17. def dumps(data):
  18.     return json.dumps(data,cls=JSONEncoderSimple)
  19.  
  20. def loads(data):
  21.     return json.loads(data)
  22.  
  23. if __name__ == '__main__':
  24.     print dumps({'a':1,'b':'sdr','c':simple('{"v":1}')})

  Как видите, теперь данные, которые и так JSON просто оборачиваем в функцию simple и холостого хода не происходит.

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]

  Tags: json, Python

• 12Jul

  Django. Быстрый способ сохранить копию объекта

  Django View Comments
  1. from money.models import Trans
  2. cur_model = Trans.objects.all()[0]
  3. // and make a copy
  4. cur_model.pk = None
  5. cur_model.save() //ha ha

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]

  Tags: django, Python, tips

• 10Jun

  Методология написания тестов в Django с использованием fixtures

  Django View Comments

  В Django есть такая удобная вещь для написания тестов — это fixtures. Удобство состоит в том, что ваши тесты могут входить в уже заполненный данными проект. Например тестируем работу админчасти статистики, надо иметь готовый массив данных, с которым оперируем и проверяем результаты. Неудобство состоит в том, что эти фикстуры надо где взять, надо поддерживать актуальными, такими-же актуальными как и тесты. Вот как раз и про неудобную часть, а также паре подводных камней я бы и хотел вам рассказать.

  Получаем фикстуру

  1. python manage.py dumpdata > all_data.json

  Рассказывать, что это означает я не буду, но то есть хорошая документация по фикстурам у самой Django .

  Я «обплетал» тесты уже готового написанного проекта. В нагрузку с проектом идет дамп базы, которая, как это не удивительно, может быть не целостная. Самый часты бок — это когда записи по форенключу нет. Например у Вас есть профиль, но нет юзера или есть транзакция между не существующими счетами.

  Самое обидное, что Джанго Вам не поможет решить эту проблему. И получите что-то типа
  Error: Unable to serialize database:

  Нагугил тикет в Django Code:
  https://code.djangoproject.com/ticket/6773

  К которому прилагается команда, которая показывает Вам «разбитые модели», т. е. модели не полные с неверными данными в ForeignKey .
  Я ее немного приукрасил возможностью удалять их автоматом https://gist.github.com/1018947. Для реальных данных удаление автоматом — это не очень обдуманный шаг, но мне сейчас надо получить хоть какую-то фикстуру.

  Подержание актуальности фикстуры

  Для поддержки актуальности базы между всеми разработчиками используется django-south, мне кажется это уже давно стало стандартом Django разработки. Тот же механизм можно использовать для поддержки актуальности с фикстурами, поэтому я одну фикстуру полностью перегоняю в sqlite3 базу, которую как и фикстуру держу в репозитарии проекта и для доступа к которой использую отдельный сетингс.

  Сеттингс файл для этого состоит из 3х строчек (settings_lights.py):

  1. from settings import *
  2. DATABASES['default']['ENGINE'] ='django.db.backends.sqlite3'
  3. DATABASES['default']['NAME'] = 'lights.db'

  Как известно, в любую команду можно передать не стандартное имя сетингс модуля.

  Например, для того, чтоб запустить его и добавить новых данных:

  1. python manage.py runserver 0:8001 –settings=settings_lights
  2. python manage.py dumpdata –setting=settings_lights > all_data.json

  А поддерживать актуальность фикстуры можно через миграции, которые вы создаете после изменения структуры базы

  1. python manage.py migrate –settings=settings_lights
  2. python manage.py dumpdata –setting=settings_lights > all_data.json

  Тестирование

  Для тестирования я использую тот-же settings_lights.py для того, чтобы использовать sqlite3 в тестах, при этом для тестов вся база будет держаться в памяти, что существенно ускорит процесс написания тестов и тестирования их.

  1. python manage.py test –settings=settings_lights

  Но я думаю как финальную проверку, после того, как вы закончили с разработкой ( доработкой ) тестов можно использовать и реальный Engine.

  1. python manage.py test

  А собственно сам текст тестов может выглядить так:

  1. from django.test import TestCase
  2. from django.test.client import Client
  3. from django.contrib.auth.models import User
  4.  
  5. class SimpleTest(TestCase):
  6.     fixtures = ['all_data.json']
  7.     def setUp(self):      
  8.         self.client = Client()
  9.  
  10.     def test_details(self):
  11.         print User.objects.all()

  Этот пример ничего не тестирует, а просто показывает Вам, что данные на момент запуска тестов в базе уже есть. Фикстуры можно хранить как в папке fixtures любой апы, не только тестируемой. А еще в сетингсах можно прописать:

  1. FIXTURE_DIRS = (
  2.    '/path/to/myapp/fixtures/',
  3. )

  Проблема с сигналами

  Про сигналы в Django вы можете почитать в документции.

  Фикстура — это по сути сериализация ОРМ объектов, т. е. объект будет сохранен как json, как просто текст. А значит загрузка из фикстуры — это поочередное добавление всех объектов, а добавление объектов связано с вызовом сигналов, которые в свою очередь могу сами создавать объекты моделей или изменять существующие.

  Например. У Вас есть 2 модели счета и транзакции. При добавлении транзакции — дергается сигнал, по которому изменяются балансы счетов участников этой транзакции. При подготовке фикстуры вы создали одну транзакцию между двумя счетами на сумму 100 рублей, т. е. после ее проведения на одном счету прибавится 100 рублей, а на другой вычтится. Вы сохраните полученные данные в файл фикстуры, в которой будут готовые записи со счетами и транзакциями. Во время тестирования этот файл будет загружаться и вначале загрузятся модели счетов – на одном 100, на другом -100. После загрузятся транзакции и дернут сигнал, который еще раз изменит балансы на счетах и мы во время тестирования увидим состояния на счетах 200 и -200.

  Решение у джанги есть , но почему-то не документированное, и как по мне — очень не удачное.

  В обработчик сигнала передается параметр raw который True во время загрузки фиксутры.

  Так что, если вы не хотите, чтоб обработчик сигнала работал в момент загрузки фикстуры, то первые 3 строчки вашего обработчика могут выглядит так:

  1. def trans_save(sender, instance, raw,  **kwargs):                                                                                                                                  
  2.     if raw:                
  3.         return

  Как по мне — это недокументированную возможность надо огромными буквами задокументировать в обоих разделах — тесты и сигналы, но я думаю будут решения и лучше этой проблемы.

  У меня все. Я описал то, как с фикстурами работаю я, и очевидно, что они могут сэкономить очень много времени Вам при разработке тестов, а также могут помогать Вам делать более качественные и реальные тесты.

  Хотелось бы в комментариях увидеть критику такого подхода, дополнения, подводные камни, с которым вы сталкиваетесь. Буду дополнять статью Вашими цитатами и идеями.

  Спасибо, и удачных Вам выходных.

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]

  Tags: django, fixtures, Python, testing

• 03Jan

  UCSVLOG

  Python View Comments

  Я уже когда-то писал и думал о системе логирования на основе csv формата. С начало идею, а потом первую версию для джанги.

  Но в процессе пользования этой системы вылезло несколько недостатков.

  1. В таком формате легко потерять целостность логов. Например скрипт ведения логов упал в момент из записи. Срока разорвалась в момент записи одно из полей и все. Вся БД логов потеряна
  2. Надо заранее знать количество полей в логе

  Поэтому я разработал другой формат – UCSV. И модуль для ведения логов на его основе python-ucsvlog.

  В этом формате нет конца ни у записи ни у ячейки, есть только начало записи и начало ячейки. В этом случае конец ячейки — это просто начало следующей или начало следующей строки.

  Начало записи — это перевод строки
  а начало ячейки — это просто ”
  ну и из csv формата — кавычка в данных ячейки заменяеться двумя

  В этом случае нам не надо волноваться за целостность всех логов. В случае падения мы потеряем только одну строку

  Вместе с логером я написал потоковый парсер. Ему не надо знать, какого размера у тебя файл, он читает файл порционно и порционно импортирует данные в БД. Все это происходит довольно просто и без регекспов.

  Класс импорта в SQLite — ReaderSqlite. Правда во время импорта данных у которых в записи неограниченное число ячеек столбцы добавляются по ходу.

  Из csv логов я забрал идею древовидности логов. Когда у каждой записи есть ключ, привязанный ко времени создания и ключ парент записи. За это отвечают 2 первые ячейки в записи. А также авторендеринг — имя файла логов можно задавать в виде шаблона. Например ‘/logs/%(syear)s-%(month)s-%(day)s.ucsv’

  Для джанги я создал отдельный пакет django-ucsvlog. Те кто пользовался django-csvlog смогут легко перескочить. Поддержку последнего я осуществлять более не буду.

  По мере пользования этой системы логирования я буду собирать еще один компонент django-ucsvlog-analytics. В нем будут собраны скрипты для анализа логов. Например профилирование, оно очевидно из-за привязки ко времени логов. Можно сводить статистику — самые тяжелые страницы + самые часто запрашиваемые и получать то, что надо оптимизировать в первую очередь. Или например анализ юзабилити. Можно вычислять точки не возврата, страницы, которые пользователь посещал в последний раз, или на какую страницу переходят после указанной ( иногда только такая сухая статика может убедить клиента в неюзабельность предложенного им варианта ). Можно делать каунтеры посещений определенных страниц, сколько уникальных просмотров было на этом альбоме. Можно увидеть путь по сайту определенного пользователя.

  Такие логи дают много возможностей, и список «можно» – можно продолжать бесконечно. Пробуйте.
  python-ucsvlog, django-ucsvlog, django-ucsvlog-analytics

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]

  Tags: analytics, django, logs, Python, ucsv, ucsvlog

• 03Jul

  Можно быстрее и красивее?

  tips View Comments

  Как поменять местами ключи и значения в дикте?

  1. d = {1:2,3:4,5:6}
  2. dict(zip(d.values(),d.keys()))

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]
• 01Jul

  Допоплнительные точки расширения Вашего апа

  Django View Comments

  при создании нового джанго проекта я всегда выделяю две папки apps – для моих апов и compat – для сторонних апов, к разработки которых я не имею никакого отношения. Идея в том, что эти апы всегда остаются неприкосновенными для меня, и единственной точкой расширения остаются сеттингсы и возможно доп параметры, при инклюде урлов.

  А представьте, что вы создаете апу с именем catalog, ее вы потом хотите выложить в общее пользования, и необходимо для нее сделать больше точек расширения. Структура такого апа может быть

  • catalog
  • urls.py
  • views.py
  • models.py
  • settings.py
  • tests.py

  для 4 первых файлов можно просто вконце файла добавить строку, которая станет универсальной точкой расширения. Например для views.py

  1. try:
  2.     from ex_catalog.views import *
  3. except ImportError:
  4.     pass

  таким образом, если кто-то будет использовать Вашу апу — точкой расширения будет дополнительная апа ex_catalog, в котором вы можете переопределить некоторый функции из view.py, и при этом ex_catalog не надо добавлять в список апов в настройках.

  А теперь главный вопрос этого поста. Почему так не делают?

  Share and Enjoy:

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 

  Rating 3.00 out of 5

  [?]

  Tags: apps, django, Python, tips

« Previous Entries