Заметочки

Python datetime to javascript Date

2010-07-23T18:45:00.000+03:00

В Django есть DjangoJSONEncoder, который используется при конвертировании данных в json-формат. Он форматирует дату в строку. Пришлось написать свой енкодер, что бы на клиенте получать обьект Date, а не строку.

Copy Source | Copy HTMLfrom django.utils import simplejson class DatetimeJSONEncoder(simplejson.JSONEncoder): class DateInt(int): ''' Наследуемся от int, потому что тогда значение будет без "". В других случаях получим: "new Date(100500)" и при eval будет просто строка. ''' def __str__(self): return 'new Date(%s)' % (self*1000) def default(self, o): from django.utils import datetime_safe from datetime import datetime import time if isinstance(o, datetime): d = datetime_safe.new_datetime(o) return self.DateInt(int(time.mktime(d.timetuple()))) else: return super(DatetimeJSONEncoder, self).default(o) #example from datetime import datetime from django.utils import simplejson data = dict(date=datetime.now()) json = simplejson.dumps(data, cls=DjangoJSONEncoder)

Ковертируем текст из файла в utf8

2010-07-21T18:30:00.002+03:00

Понадобилось читать из файлов субтитры, парсить и складывать в БД. Как всегда проблемы с кодировкой. Гугл подсказал вот такой вот модуль: сhardet.

Copy Source | Copy HTML
import chardet

text = subtitles.read()
text = unicode(text, chardet.detect(text)['encoding'])

Подгрузка связанных моделей, ч.2

2010-07-20T19:10:00.002+03:00

Собственно пылятся еще две функции, неизвестной полезности, для подгрузки связаных моделей: для GenericForeignKey и ForeignKey(null=True). Работало на Django 1.1. Думаю с небольшим "допилом" будет и на 1.2 работать. Все это делалось для комментариев. Первой ф-цией подгружали комментируемые обьекты, а второй - пользователей, которые комментировали.

Copy Source | Copy HTML
def load_related_generic(object_list, field='content_object'):
    if not object_list:
        return object_list

    related_field = getattr(object_list.model, field)
    ct_field = object_list.model._meta.get_field(related_field.ct_field).get_attname()
    fk_field = object_list.model._meta.get_field(related_field.fk_field).get_attname()

    result = {}
    to_retrive = {}
    for item in object_list:
        ct_id = getattr(item, ct_field)
        fk_id = getattr(item, fk_field)
        if ct_id not in to_retrive:
            to_retrive[ct_id] = {'model': getattr(item, related_field.ct_field).model_class(), 'pks': set([])}
        to_retrive[ct_id]['pks'].update([fk_id])

    for key in to_retrive:
        objects = to_retrive[key]['model']._default_manager.filter(pk__in=list(to_retrive[key]['pks']))
        result[key] = dict([[obj.pk, obj] for obj in objects])
    for item in object_list:
        setattr(item, field, result[getattr(item, ct_field)][int(getattr(item, fk_field))])

def load_related_fk(object_list, field):
    if not object_list:
        return object_list

    related_field = object_list.model._meta.get_field(field)
    attname = related_field.get_attname()

    pks = list(set([getattr(obj, attname) for obj in object_list if getattr(obj, attname)]))
    objects = related_field.rel.to._default_manager.filter(pk__in=pks)

    related_dict = {}
    for obj in objects:
        related_dict[obj.pk] = obj

    for obj in object_list:
        try:
            setattr(obj, field, related_dict[getattr(obj, attname)])
        except KeyError:
            pass

    return object_list

Copy Source | Copy HTML
#views.py
comments = Comment.objects.all()
load_related_generic(comments)
load_related_fk(comments, 'user')

Copy Source | Copy HTML
{% for item in comments %}
    {{ item.user.username|default: item.username }}
    <a href="{{ item.content_object.get_absolute_url }}">
        {{ item.content_object.name }}
    </a>
    {{ item.comment|striptags|truncatewords:10 }}
{% endfor %}

Собственно для подгрузки m2m. И то же для Django 1.2 от Анатолия Ларина.

Ошибки валидации для ExtJs

2010-04-29T10:04:00.004+03:00

Добавляем небольшую функцию для отображения ошибок в формах ExtJs. Названия полей Django-форма и ExtJs-должны совпадать, ну или переформатировать словарь ошибок. Такой же прием использовал и для jQuery.ajaxForm, только ошибки "врукопашную" отображал.

Copy Source | Copy HTML
class ExtJsForm(object)

    def get_errors(self):
        from django.utils.encoding import force_unicode
        output = {}
        for key, value in self.errors.items():
            output[key] = '/n'.join([force_unicode(i) for i in value])
        return output

class ContactForm(forms.Form, ExtJsForm):
    subject = forms.CharField(max_length=100)
    message = forms.CharField()
    sender = forms.EmailField()

    def save(self):
        pass

#views.py
def post(request):
    form = ContactForm(request.POST)
    if form.is_valid():
        form.save()
        return dict(success=True)
    else:
        return dict(success=False, errors=form.get_errors())

Copy Source | Copy HTML
//Пример отображения ошибок с jQuery.ajaxForm
$('#form').ajaxForm({
    dataType: 'json',
    success: function(data, status, xhr, $form){
        if (data.success){
            $form.resetForm();
        } else {
            for (key in data.errors){
                var $field = $('input[name="'+key+'"]', $form);
                var error = '<p class="error_list">'+data.errors[key]+'</p>';
                if ($field.length){
                    //показываем ошибки валидации над каждым полем
                    $('input[name="'+key+'"]', $form).before(error);
                }else{
                    //показываем глобальные ошибки, те которые __all__
                    $form.prepend(error);
                }
            };
        }
    },
    beforeSubmit: function(formData, $Form, options){
        $('p.error_list', $Form).remove();
    }
});

Устанавливаем значение в context навсегда

2010-03-26T18:48:00.003+02:00

Собственно что натолкнуло
Самого удивило что значение установленное из Node в context сохраняется в пределах одного блока.

{% extends 'test/base.html' %}

{% load foo %}

{% block content %}
{% set_bar_value %}
{{ bar_value }} == 'BAR'
{% endblock %}

{% block menu %}
{{ bar_value }} == ''
{% endblock %}

Залез в код, оказалось что значение устанавливается в словарь, который после выхода из блока удаляется. Как-то вот так:

Copy Source | Copy HTML
class BlockNode(Node):
    #....

    def render(self, context):
        context.push()
        # Save context in case of block.super().
        self.context = context
        context['block'] = self
        result = self.nodelist.render(context)
        context.pop()
        return result

Собственно вставляем свой словарик с нужным значением и значение попадет в глобальный контекст.

Copy Source | Copy HTML
class BarNode(template.Node):

    def __init__(self, name):
        self.name = name

    def get_value(self):
        return 'BAR'

    def render(self, context):
        d = context.pop()
        context.update({self.name: self.get_value()})
        context.update(d)
        return ''

Без права редактирования

2009-08-28T18:06:00.002+03:00

Опять же постил на djbook.ru.
Есть модель комментариев. Нужен интерфейс в админке для их модерирования. Модератор может только удалять комментарии, во избежания казусов "я такого не писал". Нужно убрать права на изменение записи и убрать все ссылки на страницу редактирования комментария.

#models.py

Copy Source | Copy HTML
class Comment(BaseComment):
    content_type = models.ForeignKey(ContentType, related_name="content_type_set_for_%(class)s")
    object_id = models.TextField('object ID')
    content_object = generic.GenericForeignKey(ct_field="content_type", fk_field="object_id")
    content_object.short_description = u'Статья'

    user = models.ForeignKey(User, related_name='%(class)s_comments')
    comment = models.TextField('Комментарий', max_length=COMMENT_MAX_LENGTH)
    ip = models.IPAddressField('IP', editable=False)
    created_at = models.DateTimeField('Добавлен', auto_now_add=True)

    class Meta:
        verbose_name = 'комментарий'
        verbose_name_plural = 'комментарии'

    def get_category(self):
        '''
        Возвращаем читабельное название раздела к которому принадлежит комментарий
        '''
        parts = {
            'news': u'Новости',
            'cinema': u'Киноафиша'
        }
        return parts[self.content_type.app_label]
    get_category.short_description = u'Раздел'

#admin.py

Copy Source | Copy HTML
class CommentAdmin(admin.ModelAdmin):
    list_display = ('user', 'comment', 'get_category', 'content_object', 'ip', 'created_at')
    list_select_related = True
    search_fields = ('comment', 'user__username')
    ordering = ('-created_at',)

    def has_change_permission(self, request, obj=None):
        '''
        Если просто возвращать False, django даже не пусть на страницу
        списка объектов, которая нам и нужна. Если obj не равно None, значит
        пользователь пытается зайти на страницу редактирования, иначе - страницу
        списка комменатариев.
        '''
        if obj:
            return False
        else:
            return super(CommentAdmin, self).has_change_permission(request, obj=None)

    def has_add_permission(self, request):
        #Запрещаем добавление комментариев через админский интерфейс
        return False

    def changelist_view(self, request, extra_context=None):
        '''
        Этот метод возращает таблицу комментариев.
        Вот здесь мы убираем ссылку на редактирование комментария на странице списка
        комментариев. В __init__ не получается, потому где-то после него ставится
        первая колонка по дефолту. (None,) потому что если передать пустой список,
        в теге шаблона ссылка добавится на checkbox.
        '''
        self.list_display_links = (None,)
        return super(CommentAdmin, self).changelist_view(request, extra_context=None)

Подгрузка связанных моделей (многие-ко-многим)

2009-08-28T17:59:00.004+03:00

Постил когда-то на djbook.ru решил и сюда добавить.
Select_related не работает для обратных связей. В мануале Django, в примере, используется обычный менеджер для обратных связаных таблиц, который посылает запрос при обращении к ним. Можно, конечно, использовать raw sql, когда нет доступа к методам моделей, например, get_absolute_url и др. Функция load_related_m2m для обьектов в object_list получает все связаные(m2m) через поле field обьекты и заносит в поле "all_" % field обьекта. В результате получаем всего один лишний запрос на каждую связаную таблицу.

Вот здесь Анатолий Ларин запостил версию для Django 1.2.

#models.py

Copy Source | Copy HTML
class Post(models.Model):
    name = models.CharField(max_length=255)
    tags = models.ManyToManyField('Tag', blank=True)
    genres = models.ManyToManyField('Genre', blank=True)

class Tag(models.Model):
    name = models.CharField(max_length=255, unique=True)

class Genre(models.Model):
    name = models.CharField(max_length=255, unique=True)

#views.py

Copy Source | Copy HTML
def test(request):
    from lib import load_related_m2m
    from app.models import Post
    p = Post.objects.all()[:10]
    load_related_m2m(p, 'tags')
    load_related_m2m(p, 'genres')
    return {'posts': p}

#test.html

Copy Source | Copy HTML
{% for item in posts %}
      <h3>{{ item.name }}</h3><br/>
      Теги:
      {% for tag in item.all_tags %}
          {{ tag.name }},
      {% endfor %}<br/>
      Жанры:
      {% for g in item.all_genres %}
          {{ g.name }},
      {% endfor %}<br/><br/>
{% endfor %}

#lib.py

Copy Source | Copy HTML
from django.db.models.sql.constants import LOOKUP_SEP
from django.db.models import sql
from django.db import connection

def load_related_m2m(object_list, field):

    select_fields = ['pk']
    related_field = object_list.model._meta.get_field(field)
    related_model = related_field.rel.to
    cache_name = 'all_%s' % field

    for f in related_model._meta.local_fields:
        select_fields.append('%s%s%s' % (field, LOOKUP_SEP, f.column))

    query = sql.Query(object_list.model, connection)
    query.add_fields(select_fields)
    query.add_filter(('pk__in', [obj.pk for obj in object_list]))

    related_dict = {}
    for row in query.results_iter():
        if row[2]:
            related_dict.setdefault(row[ 0], []).append(related_model(*row[1:]))

    for obj in object_list:
        try:
            setattr(obj, cache_name, related_dict[obj.pk])
        except KeyError:
            setattr(obj, cache_name, [])

    return object_list

Pro Django

2009-08-27T12:22:00.000+03:00

Скачал замечательнейшую книгу по Django. Нет никаких описаний типов переменных, операторов и других основ Python, а сразу про метапрограммирование и его приминение в Django. Правда многое уже изучено по исходникам Django :)
http://www.ebookslab.info/pro-django.html

"У нас профилактика."

2009-08-22T15:46:00.002+03:00

Когда обновляешь что-то на сервере, не всегда уверен что всё будет сразу работать(про тестирование, и автоматическое обновление можно и не мечтать). Показывать 500, пока правишь какую-то мелочь, про которую забыл не очень хочется. По-этому нужно закрыть доступ на время страницей "Мы обновляемся". Решил подменять ответ Handler-а Django(в нашем случае WSGIHandler) на эту самую страницу, если REMOTE_ADDR не входит в INTERNAL_IPS(мне то нужно обновить и проверить всё ли работает).Создаём два скрипта один из которых и будет подменять ответ. В настройках хостинга в AddHandler прописываем путь к симлинку на один из скриптов, симлинк будем менять консольной командой, например: python manage.py site off. Командой - python manage.py site on - логично, будем возвращать сайт на место.

Собственно наша команда, располагаем её в модуле любого установленого нами приложения в INSTALLED_APPS, в management/commands/syte.py:

Copy Source | Copy HTML
# -*- coding: utf-8 -*-
from django.core.management.base import BaseCommand, CommandError
from django.conf import settings
import os

class Command(BaseCommand):
    help = "Закрывает или открывает доступ на сайт."
    args = '[on or off]'

    templates = {
        'on': 'django_on.wsgi',    #wsgi-скрипт в режиме ON
        'off': 'django_off.wsgi'   #wsgi-скрипт в режиме OFF
    }

    def handle(self, flag, *args, **options):
        if flag not in self.templates:
            raise CommandError('Неизвестный параметр: %s' % flag)
        path = settings.PROJECT_ROOT
        os.chdir(path)
        #удаляем существующий симлинк
        try:
            os.remove('django.wsgi')
        except:
            pass
        #устанавливаем новый симлинк
        os.symlink(self.templates[flag], 'django.wsgi')
        if flag == 'off':
            print 'Сайт остановлен. Перезапустите сервер.'
        if flag == 'on':
            print 'Сайт запущен. Перезапустите сервер.'

django_off.wsgi

Copy Source | Copy HTML
import sys
import os
import os.path

def app(environ, start_response):
    path = os.path.dirname(__file__)
    sys.path.insert( 0, path)
    import settings

    #проверяем наличие REMOTE_ADDR среди дозволеных IP
    if environ['REMOTE_ADDR'] in settings.INTERNAL_IPS:
        from django.core.handlers.wsgi import WSGIHandler
        os.environ['DJANGO_SETTINGS_MODULE'] = 'settings'
        handler = WSGIHandler()
        return handler(environ, start_response)
    #возвращаем "страницу профилактики", которая леит в корне проекта
    else:
        start_response('200 OK', [('Content-type', 'text/html')])
        return open(path+'/off_template.html').read()
application = app